ForHosting KIT · SEO

robots.txt analysieren

Die Funktion ruft die robots.txt einer angegebenen Domain ab und listet die Regeln je User-Agent, gefundene Sitemap-Verweise sowie Pfade, die möglicherweise versehentlich für Suchmaschinen gesperrt sind. Für alle, die vor einem Relaunch oder nach einer Änderung prüfen wollen, was die robots.txt tatsächlich erlaubt.

● Stabilpro Anfrage + pro Domain$0.002

Ausführen — $0.002 API ansehen

Nutzen Sie es über WebAPIE-MailApp baldTelegram bald

Online ausführen

Führen Sie dies mit Ihrem Konto auf unseren Servern aus. Kostenlose Tools laufen in Ihrem Browser; dieses wird zum oben genannten Preis von Ihrem KIT-Guthaben abgebucht.

Wie die robots.txt gelesen wird

Die Funktion ruft die Datei unter /robots.txt der angegebenen Domain ab und wertet jede Regel nach User-Agent aus, da unterschiedliche Suchmaschinen-Bots unterschiedliche Anweisungen erhalten können. Ausgegeben wird eine geordnete Liste: welcher Bot welche Pfade nicht besuchen darf, welche ausdrücklich erlaubt sind und ob ein Crawl-Delay gesetzt ist, der das Lesetempo eines Bots künstlich verlangsamt und so die Serverlast in Spitzenzeiten senkt.

Riskante Blockierungen erkennen

Ein häufiger Fehler nach einem Relaunch ist ein „Disallow: /“, das versehentlich aus einer Testumgebung in die Live-Domain übernommen wurde und die gesamte Seite für Suchmaschinen sperrt. Die Funktion markiert solche weitreichenden Sperrungen sowie Regeln, die wichtige Verzeichnisse wie Bilder oder CSS-Dateien blockieren, was das Rendern der Seite durch Suchmaschinen beeinträchtigen kann, ohne dass ein einzelner Test das sofort zeigt.

Sitemap-Verweise in der robots.txt

Viele robots.txt-Dateien enthalten eine oder mehrere Zeilen mit „Sitemap:“, die auf die XML-Sitemap der Domain verweisen. Die Funktion listet diese Verweise gesondert auf und prüft, ob die angegebene Sitemap-Adresse als absolute URL geschrieben ist, wie es der Standard verlangt, und ob die Datei unter der genannten Adresse überhaupt erreichbar ist, statt nur syntaktisch plausibel zu wirken, ohne tatsächlich zu existieren.

Ergebnis und Preis je Domain

Die Analyse ruft eine echte Domain über das Internet ab und steht deshalb nur gegen Bezahlung bereit, auf dieser Seite oder über die API, für $0.002 pro geprüfter Domain. Ein Ergebnis liegt üblicherweise innerhalb weniger Sekunden vor, unabhängig davon, wie umfangreich die geprüfte robots.txt-Datei ausfällt oder wie viele Bot-spezifische Regeln sie insgesamt enthält. Ein Abonnement ist für die einmalige oder wiederholte Nutzung nicht vorgesehen.

Anwendungsfälle

Kontrolle nach dem Relaunch

Weber Metallbau GmbH lässt die robots.txt direkt nach dem Relaunch der neuen Website prüfen, um ein versehentliches „Disallow: /“ aus der Testphase auszuschließen.

Sitemap-Verweis bestätigen

Eine Agentur prüft, ob die robots.txt eines neuen Kunden tatsächlich auf die aktuelle Sitemap-Adresse verweist, nachdem die Sitemap kürzlich umgezogen ist.

Bot-spezifische Regeln nachvollziehen

Jonas Weber prüft, ob ein bestimmter Suchmaschinen-Bot durch eine spezielle Regel anders behandelt wird als der allgemeine Standard-Bot.

Häufige Fragen

Was zeigt die Analyse konkret?

Alle Regeln je User-Agent, gefundene Sitemap-Verweise und Hinweise auf möglicherweise riskante, sehr weitreichende Sperrungen.

Erkennt die Funktion ein versehentliches Blockieren der ganzen Seite?

Ja, ein „Disallow: /“ für den allgemeinen Bot wird deutlich als weitreichende Sperrung hervorgehoben.

Ändert die Funktion die robots.txt?

Nein. Sie liest die Datei nur aus und zeigt das Ergebnis an, verändert wird nichts auf Ihrer Domain.

Was kostet eine Domain-Prüfung?

$0.002 pro geprüfter Domain.

Muss die Domain öffentlich erreichbar sein?

Ja, die Funktion ruft die robots.txt über das Internet ab.

Brauche ich für die Analyse ein Konto?

Nein. Es gibt derzeit keine Konten – Sie zahlen pro geprüfter Domain.

Für Entwickler — API-Zugang

Alles auf dieser Seite ist auch per API verfügbar. Dieser Abschnitt richtet sich an Teams, die es in ihre eigenen Systeme einbinden möchten; alle anderen nutzen einfach das Tool oben.

Endpunkt

POSThttps://api.kit.forhosting.com/seo/robots-analyze

Authentifizierung per Bearer-Token. Ein einziger POST stellt die Aufgabe in die Warteschlange; das Ergebnis erhalten Sie per Webhook oder über einen signierten Link.

Aufruf aus Ihrem Stack

curl -X POST https://api.kit.forhosting.com/seo/robots-analyze \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"domain":"ejemplo.com"}'

const res = await fetch("https://api.kit.forhosting.com/seo/robots-analyze", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "domain": "ejemplo.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/seo/robots-analyze",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "domain": "ejemplo.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/seo/robots-analyze", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"domain":"ejemplo.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"domain":"ejemplo.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/seo/robots-analyze", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

Beispiel-Anfrage

{
  "domain": "ejemplo.com"
}

Beispiel-Antwort

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "seo.robots_analyze",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

Die API arbeitet asynchron: Sie erhalten sofort eine task_id. Polling ist mit 1 Anfrage pro Sekunde erlaubt.

Preis

pro Anfrage$0.002

Der Preis steht auf der Seite – keine Tokens, keine Credits. Fehlgeschlagene Aufgaben werden nicht berechnet.

Fehler

HTTP	Code	Bedeutung
`401`	`unauthorized`	Der API-Schlüssel fehlt oder ist ungültig – prüfen Sie den Authorization-Header (Bearer).
`402`	`insufficient_balance`	Ihr Guthaben reicht für diese Aufgabe nicht aus – Aufladungen verfallen nicht.
`404`	`unknown_type`	Unbekannter Aufgabentyp – prüfen Sie das Feld „type“ gegen den Katalog.
`429`	`rate_limited`	Zu viele Anfragen – warten Sie kurz; Polling ist mit 1 Anfrage pro Sekunde erlaubt.

Vollständige KIT-Dokumentation lesen →