Scraping con esquema

Para datos que tienen que estar correctos, no solo presentes

Un campo que vuelve como texto cuando su base de datos espera un entero, o que falta por completo cuando su código asume que existe, es el tipo de error que aparece tres despliegues después, a las dos de la mañana. Este endpoint es para equipos a quienes ya les pasó eso y quieren que el propio paso de extracción haga cumplir el contrato, atrapando un resultado mal formado antes de que llegue a su sistema en vez de después.

Cómo el esquema moldea la extracción

Llama a POST /web/scrape-schema con una URL y un objeto JSON Schema, del tipo estándar, con tipos, arreglos de campos obligatorios, restricciones de enumeración y propiedades anidadas, y el task_id vuelve de inmediato. Internamente se descarga y lee la página, y la extracción se dirige a llenar exactamente la estructura que define su esquema; el resultado se valida contra ese mismo esquema antes de entregarse, así que lo que llega a su webhook está garantizado que coincide con el contrato que escribió, no solo que se le parece.

JSON Schema: una especificación hecha justo para este acuerdo

JSON Schema es la forma de facto para describir y validar la forma de un JSON desde mediados de la década de 2010, adoptada en herramientas de API, generadores de formularios y validadores precisamente porque permite que dos sistemas que nunca se conocieron acuerden un contrato sin que ninguno tenga que adivinar. Usarlo aquí significa que el esquema que ya mantiene para su base de datos o API se puede reutilizar tal cual para dirigir la extracción, en vez de escribir una segunda descripción informal de los mismos campos.

Cómo luce un resultado validado, y qué pasa si no coincide

Una tarea exitosa devuelve datos que cumplen su esquema sin rodeos: tipos correctos, todos los campos obligatorios presentes, valores de enumeración respetados. Si la página de origen realmente no puede aportar un campo requerido, la extracción se reintenta automáticamente hasta tres veces con lecturas nuevas antes de que la tarea devuelva un error claro explicando qué no se pudo satisfacer, y una tarea que nunca valida nunca se cobra.

Cómo encaja un contrato estricto en un sistema mayor

Este endpoint calza de forma natural con flujos donde el JSON extraído se inserta directo en una tabla de base de datos tipada, se reenvía a otra API con su propia validación, o lo consume código de aplicación fuertemente tipado, cualquier lugar donde un resultado de forma laxa haría fallar algo más adelante o exigiría una limpieza manual. Comparado con describir campos en lenguaje natural, escribir el esquema una vez al inicio cambia un poco de tiempo de configuración por resultados de extracción en los que puede confiar sin revisarlos de nuevo.