Scraping con IA

El problema: el diseño cambia, el selector se rompe

Cualquiera que haya corrido un scraper basado en selectores por más de unos meses conoce la rutina: sale un rediseño del sitio, cambia el nombre de una clase, y un trabajo de monitoreo empieza a devolver nulos en silencio. Este endpoint apunta exactamente a ese modo de falla, además del caso puntual en que necesita datos de una página hoy mismo y no quiere pasar veinte minutos en las herramientas de desarrollador buscando el anidamiento correcto.

Cómo funciona realmente la extracción

Llama a POST /web/scrape-ai con una URL y una descripción en lenguaje natural de los campos que quiere; el task_id vuelve al instante mientras, detrás, se descarga la página, se prepara su contenido renderizado para un modelo de lenguaje, y a ese modelo se le indica devolver únicamente los campos que describió, en JSON, basándose en lo que realmente aparece en la página en vez de inventarlo a partir de conocimiento general.

Por qué la extracción en lenguaje natural ahora es práctica

Los modelos de lenguaje grandes apenas se volvieron lo bastante confiables para seguir instrucciones de salida estructurada sobre texto común en los últimos años; antes de eso, las únicas opciones eran selectores frágiles o expresiones regulares escritas a mano para cada dominio nuevo. Describir la intención en una frase, en lugar de codificarla como una ruta CSS, significa que la misma solicitud puede sobrevivir a un rediseño de sitio que habría roto en silencio un mapa de selectores.

Qué esperar del resultado y qué pasa cuando algo no coincide

La respuesta es un objeto JSON con las claves de los campos implícitos en su descripción; si la página genuinamente carece de un campo que pidió, vuelve como null en lugar de un valor inventado, porque el modelo está anclado al contenido de la página y se le instruye no fabricar datos. Como con cualquier tarea de la plataforma, una extracción fallida se reintenta automáticamente hasta tres veces antes de devolver un error claro, y solo se factura una vez que la tarea se completa con éxito.

Dónde encaja junto a los otros endpoints de scraping

Los equipos suelen recurrir primero a este endpoint al prototipar una nueva fuente de datos, y luego migran las páginas estables de alto volumen a scraping por selectores una vez que el diseño se conoce y no vale la pena redescribirlo en cada corrida. Para los casos donde necesita una forma estricta y verificable por máquina, con campos obligatorios, tipos fijos y valores enumerados, el endpoint de scraping con esquema añade esa garantía sobre la misma flexibilidad de lenguaje natural.