purge_non_existing_images

Utilisation de darktable Installation
1

Bonjour,

Après quelques années d’utilisation je me suis inévitablement retrouvé avec un certain nombres d’images orphelines de leur fichier (tête de mort)

J’ai d’abord utilisé la dernière version du script dt purge_non_existing_images.sh pour faire le nettoyage
https://github.com/darktable-org/darktable/blob/master/tools/purge_non_existing_images.sh

Très lent. J’ai cru qu’il s’était planté. En lisant le script, je me suis dit qu’il pouvait être amélioré en utilisant (g)awk

Benchmark
[list]
[]DB de 17000 fichiers/images (table images)
[]fichiers orphelins à purger: 80
[]script dt: 50 sec.
[]script awk: 5 sec.
[*]script gawk: 0.3 sec.
[/list]
Le problème du script dt est qu’il utilise un « read » shell séquentiel sur le fichier des images de la DB et surtout que chaque DELETE est exécuté en invoquant à chaque fois un process sqlite3 au lieu d’utiliser une seule transaction sqlite (begin…commit).

Mon script awk utilise un appel au shell (« system ») pour vérifier l’existence d’un fichier alors que le script gawk utilise « stat() » de la librairie filefunc de gawk. Bien plus rapide que l’appel « system ».

Version awk
https://gist.github.com/esperlu/cdad8e7ec2344f767c48f2ea4d06d4bb

Version gawk
https://gist.github.com/esperlu/3d4c58bd8de3b24f08ac6eac4144bd51

Quelqu’un pour valider ces scripts? J’ai testé, mais qu’en pensent les dev?

Note: utiliser, bien sûr, une copie de library.db pour tester.

Jean-Luc

2

Bonjour
Merci pour ces scripts, je les garde dans un coin pour tester ça quand j’aurai trop d’images orphelines :slight_smile:

3

Je viens de les télécharger, Je vais voir combien j’ai d’images orphelines dans ma base de données et faire un essai mais j’ai mais je ne crois pas que leur nombre soit significatif pour tes scripts.

4

N’ayant aucune image dans ce cas je ne peux pas tester.

5

Pour ceux qui aimeraient tester, il suffit de copier un répertoire de photos existantes vers un répertoire test, ouvrir ce répertoire test dans dt et ensuite de le supprimer (dans l’OS, pas dans dt évidemment). Plus le nombres d’orphelins est important, plus grand est le gain de temps. Ce n’est pas tellement le nombre de photos de la db qui joue quoique utiliser un « read » du shell sur le résulat du select de la table « images » puis trois pipes vers « cut » pour parser les données n’est pas ce qui est de plus efficace. (g)awk est vraiment fait pour ça.

Le gain de temps principal se trouve dans l’utilisation des transactions sqlite pour les delete. Si on aime pas awk, on peut facilement modifier le script officiel pour utiliser les tansactions sqlite. Je veux bien m’en charger.

6

et ensuite de le supprimer (dans l’OS, pas dans dt évidemment)

Ce que ne devrait jamais être fait, et du coup c’est pour cela que je n’ai aucune photo orpheline.

7

Il m’arrive parfois de perdre le lien entre dt et le RAW sans que je ne déplace, ni n’efface …
Du coup j’ ai quelques « têtes de mort » que je supprime (« enlever ») et réimporte … Mais il doit bien en rester ! :stuck_out_tongue:

8

Je ne suis pas aussi discipliné et j’ai parfois tendance à prendre les raccourcis de l’OS pour faire le ménage. Mauvaise idée, on est d’accord, mais ça m’arrive encore accidentellement. C’est sans doute pour des erreurs de ce type que dt propose d’utiliser un script pour nettoyer la db.

J’ai modifié ce script en gardant le read | cut | etc… mais en utilisant les transactions de sqlite. Le gain est moindre évidemment que pour les scripts utilisant awk, mais on gagne à peu près 30 sec. sur les 50 sec. du script « vanilla ».
https://gist.github.com/esperlu/4b5db44304aa8d5e4ec9d7a214ada781

En résumé:
Benchmark
[list]
[]DB de 17000 fichiers/images (table images)
[]fichiers orphelins à purger: 80
[]script dt (vanilla): 50 sec.
[]script dt + mode transaction: 21 sec.
[]script + awk: 5 sec.
[]script + gawk: 0.3 sec.
[/list]

En passant, merci à tous les dev’s présents et passés de nous avoir donné ce formidable outil qui m’a redonné goût à la photo. Du beau boulot assurément!

9

Je réactive ce sujet car il me parait aborder un point important d’UX de DT
Je crois que la fonction purger les images « tête de mort » devrait être un bouton dans DT et non un script purge_non_existing_images.sh
Lorsque que l’on est photographe pro comme moi on fait face à des montagnes d’images. La gestion des archives : dupliquer, changer les images de disques parcequ’ils sont vieux et peu rapide, reorganiser, renommer, supprimer le non-choix d’un reportage pas important après quelques mois, une fois que l’on est sûr que le client n’y reviendra pas, etc, etc… Toutes ces manip ne se font pas dans DT, qui comme les developpeurs le disent bien, n’est pas un systeme de fichier. Donc on utilise le systeme de fichier pour les transferts ou encore, pour ma part XnView pour elaguer, reorganiser les dossier, etc.
Tout cela produit beaucoup de « tête de mort » dans DT. Un bouton pour pouvoir les selectionner d’un coup serait top !

Voila pour mon avis. En attendant, le script c’est déjà très bien, pour les photographes aux tendences geek comme moi.
Cela dis pas assez geek pour comprendre les différences entre les différences proposées par JeanLucDelacroix .-).
Ni pour comprendre pourquoi je n’y arrive pas.

J’ai utilisé purge_non_existing_images.sh et aucun « skull » n’a été éffacé, j’ai toujours 24430 images dans DT, voici la sortie des commandes :

[code]ngux@ngux-pc:~$ ./purge_non_existing_images.sh
./purge_non_existing_images.sh: 12: ./purge_non_existing_images.sh: sqlite3: not found
Removing the following non existent file(s):

Remove following now-empty filmrolls:
./purge_non_existing_images.sh: 45: ./purge_non_existing_images.sh: sqlite3: not found

to really remove non existing images from the database call:
./purge_non_existing_images.sh -p
ngux@ngux-pc:~$ ./purge_non_existing_images.sh -p
./purge_non_existing_images.sh: 12: ./purge_non_existing_images.sh: sqlite3: not found
Removing the following non existent file(s):
./purge_non_existing_images.sh: 41: ./purge_non_existing_images.sh: sqlite3: not found
[/code]

le script de JeanLouis le bash me répond que je n’ai pas fermé DT, ce qui n’est pas le cas. J’ai bien vérifié dans HTop qu’il ne restait rien de DT.

ngux@ngux-pc:~$ ./purge_non_existing_images.gawk.sh -p ./purge_non_existing_images.gawk.sh: 13: ./purge_non_existing_images.gawk.sh: sqlite3: not found Removing the following non existent file(s): Please close darktable and run this script again. ./purge_non_existing_images.gawk.sh: 51: ./purge_non_existing_images.gawk.sh: sqlite3: not found ngux@ngux-pc:~$

Que puis-je faire? merci

10

Bonjour Ngux,

Certes darktable n’est pas un système de gestion de fichiers mais il les gère tout de même très bien. A l’exception du renommage de fichiers (peu utile pour les RAW en général), il est possible de faire toutes les manipulations dont tu parles depuis darktable. C’est même recommandé de le faire via darktable plutôt que via l’OS, tout simplement parce que le faire depuis darktable permet la mise à jour de la base de données en même temps, donc d’éviter les « têtes de mort ».

Tu peux faire toutes ces manipulations principalement depuis le module « images sélectionnées » de la table lumineuse :

  • dupliquer s’appelle « copier »
  • supprimer = « poubelle » (pour rappel, tu as dans les préférences de dt une option permettant de choisir si ça va à la poubelle ou si suppression définitive)
  • « enlever » n’enlève que de la base de données donc uniquement de darktable, et laisse les fichiers à leur place sur ton disque dur
  • etc…

Pour le renommage, tu peux le faire sur les RAW uniquement à l’import (depuis la carte mémoire ou l’appareil photo) et pour les JPG dans tous les cas à l’export.

Bref, le mieux est de réduire à la source ces têtes de mort en réduisant les manipulations depuis l’OS. Faisant toutes mes manipulations depuis darktable, je n’ai jamais de « tête de mort ».

Pour le nettoyage que tu as à faire, je pense qu’il te manque un paquet (gawk et/ou sqlite3). A installer via un ‹ apt install gawk sqlite3 ›

Pour l’erreur te disant qu’il te faut fermer darktable, vérifies dans ton dossier .config/darktable si tu n’aurais pas un fichier de verrouillage .lock.

11

Il te manque le paquet sqlite3

12

Oui c’était ça. merci beaucoup !

@nicoauffray
Merci pour tes explications, je suis en parti d’accord avec toi mais je plaide pour plus de souplesse. On est pas à l’abri d’un oubli, d’une mauvaise pratique un soir d’éditing tardif ;-). Et là paf! tu te traines des skulls et il faut passer sous le capot. :s
Je connais le module « images séctionnées » et je l’utilise ponctellement mais je persiste à dire que ce n’est pas pratique pour les « grands ménages ».
Ne serait-ce que pour laisser le choix aux utilistateurs , il faudrait donc une commade pour les têtes de mort. Comme le montre ma question, ce n’est pas évident de les virer. Je n’aime pas invoquer cet argument mais il est utile parfois : cette commande existe d’ailleur sur LR.
Je suis aussi prof de photo et je recommande régulièrement DT mais il y a beaucoup d’apprenti-photographes qui ne veulent pas utiliser le terminal ou le Powershell (« trop complexe ») et se tournent vers LR alors que de mon point de vu, DT est aujourd’hui supérieur.
Pour la poursuite de la diffustion grand public de DT, qui le mérite grandement, je crois sincèrement qu’il faut intégrer par des fonctions comme celle-ci.

Cela dit, mon point de vu ne doit pas masquer mon immense gratitude aux développeurs et le plaisir que j’ai à voir cette appli se developper ainsi que celui que j’ai à l’utiliser.
Merci à tous.

13

Je viens d’utiliser le script gawk, et 48 têtes de mort ont disparu.
J’utilise en générale le module de sélection pour mettre à la poubelle, mais je n’ai pas la rigueur de @pascal et il arrive que j’utilise l’OS. De plus la fonction mettre à la poubelle de DT ne supprime pas le xmp associé, et il faut donc malgré tout les supprimer par l’OS

14

Etrange, cette fonction a toujours supprimé le xmp associé à l’image associée. C’est normalement ce qui doit se passer pour les images importées par darktable et gérées uniquement dans darktable (en bref, tant que le lien perdure avec la base de données de darktable). Jamais eu de xmp resté sans l’image.

15

J’importe mes images sur le disque dur avec Digikam, je les renomme à l’importation, je fais un pré-tri, puis j’importe dans DT à partir du disque dur; les images importées ainsi n’ont pas de xmp associé par digikam je précise. Je ne me suis jamais posé de question à ce sujet, car j’ai toujours eu à revenir supprimer les xmp.