Quitar duplicados de un CSV

De dónde vienen realmente las filas duplicadas

Los duplicados casi nunca aparecen porque alguien escribió la misma fila dos veces a propósito; surgen de volver a correr una importación que no era idempotente, de combinar una exportación antigua con una nueva que se traslapa en el rango de fechas, de fusionar listas de prospectos de dos herramientas de marketing que capturaron el mismo registro, o de una sincronización programada que se disparó dos veces tras un reintento. Sin eliminarlos, los duplicados inflan los conteos de filas, distorsionan cualquier agregación o reporte basado en conteos y, peor aún en una lista de contactos, hacen que la misma persona reciba dos correos.

Cómo funciona la coincidencia por columnas

Llama a POST /data/dedupe-csv con su archivo y una lista de las columnas que definen una coincidencia, y recibe un task_id de inmediato ya que la tarea corre de forma asíncrona. Si especifica todas las columnas, solo se eliminan las filas idénticas en todo el registro; si especifica solo una columna de correo o de ID de pedido, cualquier fila que comparta ese valor con una fila anterior se descarta aunque otros campos difieran, algo relevante cuando el mismo cliente aparece dos veces con una dirección ligeramente actualizada. La coincidencia es exacta, no difusa, así que 'Acme Inc.' y 'ACME INC' se tratan como distintos a menos que normalice las mayúsculas antes, típicamente con un paso de limpieza de CSV primero.

Coincidencia exacta frente a coincidencia difusa, y por qué la exacta va primero

La deduplicación siempre se ha dividido en dos familias: la coincidencia exacta, donde la igualdad es inequívoca y el resultado es determinista, y la coincidencia difusa, donde registros casi idénticos se juzgan similares mediante alguna heurística de puntuación que puede no coincidir con el criterio de una persona. La deduplicación exacta por columnas es la opción correcta por defecto para la mayoría de las tuberías porque nunca produce una fusión falsa — dos filas solo se combinan cuando son comprobablemente iguales en las columnas que importan — y por eso debe ser el primer paso antes de recurrir a las técnicas difusas, que exigen más criterio.

Dónde encaja la deduplicación en una tubería automatizada

Ejecute este paso después de fusionar archivos de varias fuentes, después de limpiar un CSV para que las diferencias de espacios y mayúsculas no oculten duplicados reales, y antes de cargar los datos en cualquier sistema donde las filas duplicadas causen daño más adelante, como un CRM, un sistema de facturación o una lista de envío de correos. Se combina de forma natural como el segundo paso de una tubería de dos etapas: limpiar primero para normalizar los datos, y luego deduplicar según las columnas que definen unicidad para su caso de uso.

Entrega, precio y estado

El CSV deduplicado se entrega por un webhook firmado, recomendado para tuberías de importación, o un enlace firmado válido durante 24 horas; el origen y la salida se eliminan tras la ventana de retención y nunca se usan para entrenar modelos. El precio es un fijo de $0.002 por solicitud sin importar el número de filas, y una tarea fallida — por ejemplo, especificar el nombre de una columna que no existe en el archivo — nunca se cobra tras los tres reintentos estándar. Este endpoint está activo ahora.