Detectar imágenes duplicadas por hash perceptual (pHash)

Envíe una entrada por imagen — un nombre y su hash, como cadena hexadecimal o como cadena de bits 0/1 — junto con una distancia de Hamming máxima en bits. Cada par de hashes dentro de esa distancia queda vinculado, y los pares vinculados se fusionan en grupos conexos, de modo que una cadena de casi duplicados colapsa en un solo clúster en lugar de pares solapados. El resultado enumera cada grupo con sus miembros, las distancias internas entre pares y la distancia máxima dentro del grupo, además de los totales: cuántas imágenes son duplicadas y cuántas permanecen únicas. No se sube nada: los hashes que usted ya tiene son toda la entrada que necesita.

De una lista de hashes a grupos de duplicados

Un hash perceptual, como un pHash de 64 bits, codifica el aspecto de una imagen, de modo que dos fotos que solo difieren en compresión, tamaño o una marca de agua producen hashes que difieren en apenas unos bits. Comparar esos hashes por pares es fácil; la parte molesta es lo que viene después. La imagen A coincide con B, y B coincide con C, pero A no llega a coincidir con C: ¿forman un solo conjunto de duplicados o dos? Esta capacidad resuelve esa cuestión de la forma estándar: trata cada imagen como un nodo, traza una arista entre dos hashes cualquiera cuya distancia de Hamming sea como máximo el umbral que usted elija, y reporta los componentes conexos como los grupos de duplicados. Usted obtiene una entrada por grupo con los nombres de los miembros, cada par dentro del umbral con su distancia exacta, y la distancia máxima dentro del grupo, de modo que pueda auditar por qué dos imágenes terminaron juntas. Como el agrupamiento es por transitividad, una cadena de regrabaciones que deriva un bit cada vez sigue cayendo en un único clúster, que es exactamente como se espera que se comporte la detección de casi duplicados en bibliotecas de fotos reales.

Cómo elegir el umbral y el formato del hash

El umbral es una distancia de Hamming máxima en bits y su valor predeterminado es 5, un punto de partida habitual para hashes de 64 bits: las imágenes idénticas puntúan 0, y las recodificaciones visualmente indistinguibles suelen quedar por debajo de 5. Bájelo hacia 0 cuando solo quiera coincidencias exactas o casi exactas, y súbalo con cautela cuando su pipeline redimensione de forma agresiva o recorte bordes, porque cada bit adicional de tolerancia multiplica la probabilidad de falsos positivos en colecciones grandes. Los hashes se aceptan en dos formatos: cadenas hexadecimales, decodificadas a cuatro bits por carácter, o cadenas literales de bits 0/1. La única regla estricta es la coherencia: todos los hashes de una solicitud deben usar el mismo formato y decodificar a la misma longitud en bits; de lo contrario, una distancia entre ellos carecería de sentido y la solicitud se rechaza con un error claro. Un umbral negativo también se rechaza como entrada no válida. Puede calcular los hashes con la capacidad hermana image.phash, que produce exactamente las cadenas hexadecimales de 16 caracteres que este endpoint espera.

Salida determinista que puede comparar y almacenar

La respuesta está diseñada para guardarse junto a su catálogo y compararse a lo largo del tiempo. Los grupos se ordenan según la posición de su primer miembro en su lista de entrada, los miembros conservan el orden de entrada y los pares internos se listan con ambos nombres y la distancia exacta, de modo que dos ejecuciones sobre la misma lista producen una salida idéntica byte a byte y las regresiones aparecen como diffs limpios. Junto a los grupos obtiene los conteos que necesitan los paneles: total de imágenes procesadas, longitud en bits de los hashes, número de grupos de duplicados, cuántas imágenes caen dentro de algún grupo y cuántas permanecen únicas. No intervienen ni azar, ni reloj ni red: la misma entrada siempre produce la misma respuesta, en la API y en el ejecutor gratuito del navegador de esta página, que ejecuta exactamente el mismo código. Esto hace que sea seguro usarlo en pipelines de CI que hacen fallar una compilación cuando se cuelan nuevos duplicados en un repositorio de recursos, y en trabajos programados de limpieza que envían por correo un informe de deduplicación.