ForHosting KIT · SEO

File robots.txt

Legge il file robots.txt di un sito e ti spiega cosa stai davvero permettendo o bloccando ai motori di ricerca. Il robots.txt decide a quali parti del sito il crawler può accedere: una riga sbagliata può escludere sezioni intere da Google senza che tu te ne accorga, ed è un errore che capita più spesso di quanto sembri.

● Stabileper richiesta + per dominio$0.002

Esegui — $0.002 Vedi l'API

Usalo da WebAPIEmailApp prestoTelegram presto

Esegui online

Esegui questo sui nostri server con il tuo account. Gli strumenti gratuiti girano nel tuo browser; questo viene addebitato sul tuo saldo KIT al prezzo indicato sopra.

Cosa fa il robots.txt e cosa non fa

Il robots.txt è un file di testo alla radice del dominio che dice ai crawler quali percorsi possono visitare. Serve a evitare che il motore perda tempo su aree inutili — carrelli, pagine di ricerca interna, file tecnici. Attenzione a un equivoco diffuso: bloccare una pagina qui non la toglie da Google in modo affidabile. Se non vuoi che una pagina compaia nei risultati devi usare un noindex, non il robots.txt. Lo strumento chiarisce cosa il file sta effettivamente facendo, così non ti affidi a uno strumento per lo scopo sbagliato.

Le regole che bloccano più del previsto

La riga più pericolosa è un “Disallow: /” lasciato per errore, magari ereditato dal sito di prova: blocca l'intero dominio a tutti i crawler. Ma anche regole più sottili fanno danni, come bloccare la cartella dei fogli di stile o degli script, cosa che impedisce a Google di vedere la pagina come la vede l'utente. Lo strumento elenca ogni regola per ciascun user-agent, evidenzia i blocchi che riguardano sezioni importanti e ti fa notare le direttive che chiudono più di quanto probabilmente intendevi.

Sitemap e coerenza

Un robots.txt fatto bene indica anche dove trovare la sitemap del sito, così il motore parte con l'elenco degli URL da visitare. Lo strumento verifica che la sitemap sia dichiarata e che il file non contenga errori di sintassi che ne farebbero ignorare parti. Recupera il robots.txt direttamente dal dominio che indichi e te lo restituisce spiegato riga per riga.

Prezzo

$0.002 a dominio. Prezzo pubblicato, pagamento a consumo con PayPal, senza abbonamento. La lanci da qui dal browser oppure via API se vuoi tenere sotto controllo il robots.txt dopo ogni pubblicazione.

Casi d'uso

Sito nuovo che non viene indicizzato

Un sito appena pubblicato non compare su Google dopo settimane: l'analisi del robots.txt rivela un “Disallow: /” rimasto dalla fase di sviluppo, che bloccava l'intero dominio. Tolta quella riga, il sito comincia a essere scansionato.

Google non renderizza bene le pagine

Un e-commerce nota che le sue pagine appaiono “nude” negli strumenti di Google: il robots.txt bloccava la cartella degli script e dei fogli di stile, impedendo al motore di vederle con la grafica. Sbloccate quelle risorse, il rendering torna corretto.

Verifica dopo ogni rilascio

Un'agenzia che gestisce più siti controlla il robots.txt di ognuno dopo ogni aggiornamento, per assicurarsi che nessun rilascio abbia reintrodotto per sbaglio un blocco totale ereditato dall'ambiente di test.

Domande frequenti

Bloccare una pagina nel robots.txt la toglie da Google?

Non in modo affidabile: il robots.txt impedisce la scansione, ma una pagina bloccata può comunque comparire nei risultati se altri la linkano. Per escluderla davvero serve un noindex nella pagina, non una regola nel robots.txt.

Qual è l'errore più grave che può trovare?

Un “Disallow: /” che blocca l'intero sito a tutti i crawler, di solito rimasto dall'ambiente di sviluppo. È l'errore che azzera la visibilità su Google, e lo strumento lo segnala in cima ai problemi.

Controlla le regole per i diversi crawler?

Sì: il robots.txt può avere regole diverse per user-agent diversi. Lo strumento le separa e ti mostra cosa vale per Googlebot e cosa per gli altri, così vedi se un motore specifico è trattato in modo particolare.

Quanto costa?

$0.002 a dominio, prezzo pubblicato. Si paga a consumo con PayPal, senza abbonamento: analizzi i domini che ti servono e paghi solo quelli.

Analizza solo il mio sito o qualsiasi dominio?

Il robots.txt è un file pubblico, alla radice di ogni dominio: puoi analizzare il tuo sito e, se ti serve un confronto, anche quello di un concorrente, perché è liberamente accessibile a chiunque.

Il risultato dell'analisi viene conservato?

No: il file viene recuperato, spiegato e poi non trattenuto. L'analisi riguarda solo un file pubblico del dominio e nulla viene memorizzato dopo l'elaborazione.

Per sviluppatori — accesso via API

Tutto quello che vedi in questa pagina è disponibile anche via API. Questa sezione è per i team che vogliono integrarlo nei propri sistemi; chi non ne ha bisogno può semplicemente usare lo strumento qui sopra.

Endpoint

POSThttps://api.kit.forhosting.com/seo/robots-analyze

Autenticazione con Bearer token: un POST mette in coda l'attività e il risultato arriva via webhook o link firmato.

Chiamala dal tuo stack

curl -X POST https://api.kit.forhosting.com/seo/robots-analyze \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"domain":"ejemplo.com"}'

const res = await fetch("https://api.kit.forhosting.com/seo/robots-analyze", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "domain": "ejemplo.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/seo/robots-analyze",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "domain": "ejemplo.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/seo/robots-analyze", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"domain":"ejemplo.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"domain":"ejemplo.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/seo/robots-analyze", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

Esempio di richiesta

{
  "domain": "ejemplo.com"
}

Esempio di risposta

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "seo.robots_analyze",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

L'API è asincrona: ricevi subito un task_id e puoi fare polling fino a 1 richiesta al secondo.

Prezzi

per richiesta$0.002

Prezzo pubblicato, senza token né crediti. Se l'attività fallisce, non paghi.

Errori

HTTP	Codice	Significato
`401`	`unauthorized`	Chiave API mancante o non valida: controlla l'header Authorization.
`402`	`insufficient_balance`	Credito esaurito: ricarica per continuare a eseguire attività.
`404`	`unknown_type`	Tipo di attività sconosciuto: controlla il campo type della richiesta.
`429`	`rate_limited`	Troppe richieste in poco tempo: rallenta e riprova tra qualche secondo.

Leggi la documentazione completa del KIT →