Détecter les images en double par hachage perceptuel

Vous envoyez une entrée par image — un nom et son hachage, sous forme de chaîne hexadécimale ou de chaîne de bits 0/1 — ainsi qu'une distance de Hamming maximale en bits. Chaque paire de hachages située dans cette distance est reliée, puis les paires reliées sont fusionnées en groupes connexes : une chaîne de quasi-doublons se replie ainsi en un seul cluster au lieu de paires qui se chevauchent. Le résultat détaille chaque groupe avec ses membres, les distances internes entre paires et la plus grande distance au sein du groupe, accompagnés de totaux : combien d'images sont des doublons et combien restent uniques. Rien n'est téléversé : les hachages que vous possédez déjà constituent toute l'entrée nécessaire.

D'une liste de hachages à des groupes de doublons

Un hachage perceptuel tel qu'un pHash de 64 bits encode l'apparence d'une image, si bien que deux photos qui ne diffèrent que par la compression, la taille ou un filigrane produisent des hachages ne différant que de quelques bits. Comparer ces hachages deux à deux est facile ; la partie délicate, c'est ce qui vient ensuite. L'image A correspond à B, et B correspond à C, mais A ne correspond pas tout à fait à C — s'agit-il d'un seul ensemble de doublons ou de deux ? Cette fonctionnalité tranche la question de la manière standard : elle traite chaque image comme un nœud, trace une arête entre deux hachages dont la distance de Hamming est au plus égale au seuil choisi, et renvoie les composantes connexes comme groupes de doublons. Vous obtenez une entrée par groupe avec les noms des membres, chaque paire sous le seuil avec sa distance exacte, ainsi que la plus grande distance interne, ce qui permet de vérifier pourquoi deux images ont été réunies. Le regroupement se faisant par transitivité, une chaîne de réenregistrements qui dérive bit par bit aboutit quand même dans un cluster unique — exactement le comportement attendu d'une détection de quasi-doublons sur de vraies photothèques.

Choisir le seuil et le format de hachage

Le seuil est une distance de Hamming maximale en bits, fixée par défaut à 5, un point de départ courant pour les hachages de 64 bits : les images identiques obtiennent 0, et les réencodages visuellement indiscernables restent généralement sous 5. Descendez vers 0 si vous ne voulez que des correspondances exactes ou quasi exactes, augmentez-le avec prudence si votre pipeline redimensionne fortement ou rogne les bords, car chaque bit de tolérance supplémentaire multiplie le risque de faux positifs sur les grandes collections. Les hachages sont acceptés en deux formats : chaînes hexadécimales, décodées à raison de quatre bits par caractère, ou chaînes littérales de bits 0/1. La seule règle absolue est la cohérence — tous les hachages d'une requête doivent utiliser le même format et se décoder à la même longueur en bits, sinon une distance entre eux n'aurait aucun sens et la requête est rejetée avec une erreur explicite. Un seuil négatif est également rejeté comme entrée invalide. Vous pouvez calculer les hachages eux-mêmes avec la fonctionnalité sœur image.phash, qui produit exactement les chaînes hexadécimales de 16 caractères attendues par ce point de terminaison.

Une sortie déterministe, comparable et archivable

La réponse est conçue pour être conservée à côté de votre catalogue et comparée dans le temps. Les groupes sont triés selon la position de leur premier membre dans votre liste d'entrée, les membres gardent l'ordre d'entrée, et les paires internes sont listées avec les deux noms et la distance exacte : deux exécutions sur la même liste produisent donc une sortie identique à l'octet près, et les régressions apparaissent comme des diffs propres. À côté des groupes, vous obtenez les compteurs dont les tableaux de bord ont besoin : nombre total d'images traitées, longueur en bits des hachages, nombre de groupes de doublons, nombre d'images appartenant à un groupe et nombre d'images restant uniques. Il n'y a ni hasard, ni horloge, ni réseau : la même entrée donne toujours la même réponse, dans l'API comme dans l'exécuteur gratuit de cette page, qui fait tourner exactement le même code. Cela rend l'outil sûr pour les pipelines CI qui font échouer un build quand de nouveaux doublons s'introduisent dans un dépôt d'assets, et pour les tâches planifiées qui envoient un rapport de déduplication par e-mail.