Analizar robots.txt

Un archivo diminuto con consecuencias enormes

Robots.txt es anterior a casi todo lo demás en el SEO moderno; el Protocolo de Exclusión de Robots se propuso en 1994, y su sintaxis se ha mantenido deliberadamente mínima desde entonces: un puñado de directivas, sin condicionales, sin comentarios que los rastreadores estén obligados a respetar. Esa simpleza es también el peligro. Un Disallow: / que quedó de un entorno de pruebas, una barra final que convierte una regla estrecha en una amplia, o una regla ordenada de forma incorrecta frente a un Allow más específico, puede desindexar en silencio secciones enteras de un sitio en producción.

Qué cubre el análisis

La tarea obtiene el archivo robots.txt, analiza cada bloque de user-agent y cada directiva, y reporta el conjunto de reglas efectivo por rastreador, ya que distintos grupos de user-agent pueden tener permisos distintos y un mismo archivo puede comportarse de una forma para rastreadores generales y de otra para rastreadores específicos. Si se entrega una lista de URLs de muestra junto con el archivo, también prueba cada ruta contra las reglas analizadas y reporta, para cada una, si está permitida o bloqueada y por cuál directiva exacta, sin ninguna ambigüedad sobre qué línea es responsable.

Los cruces que la gente pasa por alto

Robots.txt solo controla el rastreo, no la indexación; una URL bloqueada puede seguir apareciendo en resultados de búsqueda sin fragmento de texto si otras páginas la enlazan, una distinción que confunde a equipos que intentan usar Disallow como sustituto de una etiqueta noindex. También suele entrar en conflicto con la directiva sitemap ubicada al final del mismo archivo: un sitemap que lista URLs que las reglas anteriores bloquean es un patrón contraproducente y frecuente que el análisis marca directamente.

De dónde vienen los errores

La mayoría de los incidentes con robots.txt se remontan a una canalización de despliegue que promueve el robots.txt de pruebas a producción, o a un complemento del gestor de contenidos que regenera el archivo y reordena las directivas de forma que cambia cuál regla gana para una ruta determinada. Como el archivo vive en una URL fija y predecible y es consultado por cada rastreador importante con su propio calendario, un error ahí puede persistir y agravarse durante días antes de que alguien lo revise manualmente.

Verificarlo de forma automática

Dado el alcance desproporcionado de este archivo, verificarlo después de cada despliegue es una de las salvaguardas más baratas disponibles: se envía la URL del robots.txt junto con un conjunto de rutas representativas, se recibe un task_id de inmediato, y el veredicto por ruta llega al webhook cuando termina el procesamiento. A 0.002 dólares por solicitud, verificarlo cuesta menos que explicar una semana de cobertura de rastreo perdida.