Deduplicación difusa

Por qué la coincidencia exacta falla en silencio

Un simple DISTINCT en SQL o una deduplicación basada en hash solo detecta filas idénticas byte por byte, lo cual suena estricto pero en realidad es la garantía más débil: se le escapa cada duplicado que nace de la variación humana. Alguien escribió "Av." en vez de "Avenida", un formulario capitalizó un nombre distinto en una segunda visita, un contacto se reingresó con una inicial que la primera vez no llevaba. Ninguno de estos casos es exactamente un error; es simplemente el ruido normal de datos capturados por personas distintas en momentos distintos, y la coincidencia exacta trata cada uno como un registro separado y sin relación.

Cómo funciona la comparación

Llame a POST /data/dedupe-semantic con sus filas y la tarea calcula un puntaje de similitud entre pares de registros a lo largo de los campos que designe, usando técnicas que toleran errores de tipeo, palabras en distinto orden, abreviaturas y coincidencias parciales en lugar de exigir texto idéntico. En vez de una respuesta binaria de sí o no, cada par candidato recibe una señal de similitud, y las filas que superan el umbral que defina se agrupan como duplicados en la respuesta, mientras el resto del archivo pasa intacto.

Decidir qué cuenta como duplicado

No existe una respuesta universal a qué tan parecido es suficientemente parecido: un CRM que fusiona contactos puede querer un umbral flexible que capture apodos y errores de tipeo, mientras que una lista de cumplimiento que revisa entidades sancionadas necesita uno estricto que evite falsos positivos. Usted controla qué campos alimentan la comparación y con qué peso se ponderan, así que una coincidencia por nombre y correo puede tratarse distinto de una coincidencia por nombre y fecha de nacimiento, y la tarea se adapta a lo que "duplicado" realmente significa para su conjunto de datos en vez de aplicar una regla fija.

El vacío que llena la comparación difusa

Las herramientas de deduplicación determinista existen desde las primeras bases de datos relacionales, construidas para un mundo donde la captura de datos seguía formularios estrictos. Los datos reales nunca han cumplido del todo esa suposición, y la brecha entre lo limpio en teoría y lo desordenado en la práctica es justo donde se acumulan en silencio, durante años, los registros de clientes duplicados, los tickets de soporte repetidos y los contactos redundantes. La comparación semántica cierra esa brecha al aproximar el criterio que aplicaría una persona cuidadosa, a una escala que ningún equipo podría revisar fila por fila.

Su lugar dentro de un flujo de datos

Como la tarea corre de forma asíncrona y devuelve un task_id de inmediato, encaja en trabajos nocturnos de higiene del CRM, validaciones previas a una fusión de bases, o una limpieza puntual de una hoja de cálculo heredada, sin bloquear el proceso que la disparó. Los resultados llegan por webhook firmado o por un enlace firmado válido por 24 horas, listos para alimentar una fusión automática, una cola de revisión, o simplemente un conteo de cuánta duplicación carga realmente su conjunto de datos.