ForHosting KIT · SEO

Robots.txt decifrado

O robots.txt é a portaria do seu site: diz a cada robô o que pode e o que não pode visitar. Essa ferramenta busca e interpreta o arquivo de qualquer domínio, mostrando regras, bloqueios e deslizes — como o Disallow que esconde o site inteiro. Via API, US$ 0,002 por chamada.

● Estávelpor domínioUS$ 0,002

Executar — US$ 0,002 Ver a API

Use pelo WebAPIE-mailApp em breveTelegram em breve

Rode online

Rode nos nossos servidores com a sua conta. As ferramentas grátis rodam no seu navegador; esta aqui é descontada do seu saldo do KIT pelo preço acima.

A linha que apaga um site do Google

A história se repete toda semana em algum lugar: o site novo entra no ar, as semanas passam, o tráfego não vem — e um dia alguém abre o robots.txt e encontra o Disallow: / que veio junto do ambiente de testes. Uma linha, escrita para proteger a homologação, virou um cadeado na porta da loja. A análise interpreta o arquivo e traduz o efeito prático de cada regra, para esse tipo de acidente aparecer no primeiro dia, não no terceiro mês.

O que a análise devolve

As regras agrupadas por robô (user-agent), o que cada grupo bloqueia ou libera, se há declaração de sitemap e onde estão as contradições — como liberar uma pasta num bloco e bloqueá-la no seguinte. O retorno vem estruturado e legível: em vez de decifrar a sintaxe de asteriscos e barras de cabeça, você lê o efeito de cada diretiva. Para quem audita sites de clientes, é o primeiro exame do check-up, antes de qualquer outro.

Google, robôs de IA e curiosos

Hoje o robots.txt faz mais do que falar com o Googlebot: é nele que muitos sites decidem o que robôs de IA e coletores de dados podem ler. A análise mostra o que cada agente declarado pode fazer segundo as regras — e ajuda a conferir se a política que você escreveu é a que está valendo. Vale lembrar o limite da ferramenta e do próprio arquivo: robots.txt é um pedido educado, não uma barreira; robô mal-intencionado simplesmente o ignora.

Quando rodar e quanto custa

No lançamento de qualquer site, depois de toda migração, ao assumir um cliente novo e sempre que a indexação se comportar de forma estranha. Cada chamada analisa um domínio e custa US$ 0,002 — auditar a carteira inteira de uma agência custa menos que um pastel. Não precisa de conta nem de assinatura: a compra é direta, o preço está publicado em dólar nesta página, e a resposta estruturada entra fácil em qualquer rotina de monitoramento.

Casos de uso

Site novo que não indexa

Três semanas no ar e nenhuma página no Google. A análise encontra o bloqueio herdado da homologação em dez segundos — o clássico que já custou meses de tráfego a muita empresa.

Pós-migração de agência

Ao virar a chave do site reformulado de um cliente, a equipe roda a análise no domínio e confirma que as regras novas liberam o que devem e continuam protegendo carrinho e busca interna.

Loja controlando o rastreio

Um e-commerce bloqueia /carrinho e /busca para não desperdiçar o rastreio do Google em páginas infinitas de filtro — e usa a análise para conferir se a regra pegou.

Política para robôs de IA

Um portal de conteúdo definiu quais coletores de IA podem ler o acervo. A análise periódica confirma que o arquivo publicado reflete a decisão editorial.

Perguntas frequentes

Meu site sumiu do Google. Pode ser o robots.txt?

Pode, e é um dos primeiros suspeitos: um Disallow amplo demais impede o rastreio de tudo. Rode a análise no seu domínio e veja em linguagem clara o que está bloqueado para o Googlebot.

Robots.txt impede mesmo o acesso?

Não como segurança: é uma convenção que robôs educados respeitam e mal-intencionados ignoram. Conteúdo sensível se protege com autenticação, nunca com robots.txt.

Bloquear uma página no robots.txt a tira do Google?

Não necessariamente — o bloqueio impede o rastreio, mas a URL pode continuar indexada se outros sites a linkarem. Para remover de verdade, o caminho é a tag noindex ou a remoção no Search Console.

Preciso dar algum acesso ao meu servidor?

Não: o robots.txt é público por definição, e a análise lê o arquivo como qualquer robô leria. Basta informar o domínio.

Como é a cobrança?

US$ 0,002 por chamada, um domínio por vez, pagamento direto via PayPal — sem conta, sem mensalidade, sem surpresa no extrato.

Para desenvolvedores — acesso via API

Tudo nesta página está disponível via API. Esta seção é para equipes que querem integrar a ferramenta aos próprios sistemas; quem não precisa disso pode simplesmente usar a ferramenta acima.

Endpoint

POSThttps://api.kit.forhosting.com/seo/robots-analyze

Autenticação por token Bearer. Um único POST coloca a tarefa na fila; o resultado chega por webhook ou link assinado.

Chame do seu código

curl -X POST https://api.kit.forhosting.com/seo/robots-analyze \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"domain":"ejemplo.com"}'

const res = await fetch("https://api.kit.forhosting.com/seo/robots-analyze", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "domain": "ejemplo.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/seo/robots-analyze",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "domain": "ejemplo.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/seo/robots-analyze", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"domain":"ejemplo.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"domain":"ejemplo.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/seo/robots-analyze", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

Exemplo de requisição

{
  "domain": "ejemplo.com"
}

Exemplo de resposta

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "seo.robots_analyze",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

A API é assíncrona: cada chamada devolve um task_id na hora. Se preferir polling, consulte o status a até 1 requisição por segundo.

Preço

por chamadaUS$ 0,002

Preço publicado, sem tokens nem créditos escondidos. Tarefa que falha não é cobrada.

Erros

HTTP	Código	O que significa
`401`	`unauthorized`	Token ausente ou inválido. Confira o header Authorization.
`402`	`insufficient_balance`	Saldo insuficiente para esta tarefa. Faça uma recarga e tente de novo.
`404`	`unknown_type`	Esse tipo de tarefa não existe. Confira o campo type no catálogo.
`429`	`rate_limited`	Muitas requisições em pouco tempo. Espere um instante e tente de novo.

Ver a documentação completa do KIT →