ForHosting KIT · SEO

Fichier robots.txt

Le fichier robots.txt, à la racine d’un site, dit aux robots des moteurs quelles zones ils peuvent explorer. Cet outil le récupère, explique chaque règle et signale les blocages dangereux : une directive trop large peut cacher tout un site à Google. Sans avoir à le déchiffrer ligne à ligne.

● Stablepar requête + par domaine$0.002

Lancer — $0.002 Voir l’API

Utilisez-le depuis WebAPIE-mailApp bientôtTelegram bientôt

Exécuter en ligne

Exécutez cette tâche sur nos serveurs, avec votre compte. Les outils gratuits tournent dans votre navigateur ; celui-ci est facturé sur votre solde KIT au prix affiché ci-dessus.

Ce que fait un robots.txt

Placé à l’adresse racine du site, le fichier robots.txt indique aux robots d’exploration quels chemins ils peuvent parcourir et lesquels éviter, agent par agent. Il ne protège rien — une page bloquée reste accessible à qui connaît son adresse — mais il oriente les moteurs. Une seule ligne trop large, un « Disallow: / » oublié après une mise en production, et c’est le site entier qui devient invisible pour Google sans que rien ne semble anormal côté visiteur.

Ce que l’outil vous montre

L’outil charge le fichier et traduit ses règles en clair : quels agents sont visés, quels chemins sont autorisés ou interdits, et comment se combinent des directives qui se recouvrent. Il repère les cas à risque — blocage de la racine, exclusion des ressources nécessaires au rendu, contradiction entre règles — et vérifie la présence d’un lien vers le sitemap, souvent déclaré ici. Vous savez enfin ce que votre robots.txt permet réellement.

Bloquer n’est pas cacher

Une confusion fréquente : croire qu’un « Disallow » empêche une page d’apparaître dans Google. Il empêche seulement son exploration ; une page bloquée mais liée ailleurs peut encore figurer dans les résultats, sans description. Pour vraiment retirer une page, c’est une balise « noindex » ou une protection qu’il faut, pas le robots.txt. L’outil le rappelle quand vos règles laissent penser le contraire. Chaque règle est reformulée en langage clair, de sorte que vous n’avez pas à maîtriser la syntaxe du format.

Tarif et canaux

Le service se paie à l’usage, en dollars US : $0.002 par requête. Vous analysez un domaine depuis cette page, ou via l’API pour surveiller plusieurs sites en même temps. Aucun abonnement, aucun compte : vous ne réglez que les analyses lancées, au moment où vous les lancez. Le tarif reste le même quelle que soit la taille du fichier robots.txt, et une facture peut vous être adressée pour votre comptabilité.

Cas d’usage

Site invisible après mise en ligne

Studio Lumen SAS met en production le site d’un client, mais il n’apparaît nulle part. L’outil révèle un « Disallow: / » hérité de la phase de préparation, qui bloquait tout Google — corrigé en une ligne.

Ressources bloquées par erreur

Une TPE constate que ses pages s’affichent mal dans l’aperçu de Google. L’analyse montre que le dossier des feuilles de style est interdit d’exploration, ce qui empêche le rendu correct de la page.

Vérifier le lien du sitemap

Menuiserie Rousseau & Fils veut s’assurer que son sitemap est bien déclaré. L’outil confirme, ou non, la présence de la ligne « Sitemap: » dans le robots.txt, souvent oubliée.

Questions fréquentes

Un robots.txt protège-t-il mes pages privées ?

Non. Il demande aux robots de ne pas explorer un chemin, mais n’empêche personne d’y accéder directement. Pour protéger une page sensible, il faut une authentification ou une restriction serveur, pas une règle dans le robots.txt.

« Disallow » suffit-il à retirer une page de Google ?

Non. Bloquer l’exploration n’efface pas une page déjà connue : liée ailleurs, elle peut rester listée sans description. Pour la désindexer, utilisez une balise « noindex » ou une protection. L’outil signale cette confusion fréquente.

Combien coûte l’analyse d’un robots.txt ?

$0.002 par requête, en dollars US. Analyser plusieurs domaines revient à quelques centimes, sans abonnement: vous payez à l’usage.

Le domaine que j’analyse est-il enregistré ?

Non. L’outil récupère le fichier robots.txt le temps de l’analyser, par une connexion chiffrée, puis n’en conserve rien. Comme le fichier est public, aucune donnée personnelle n’est en jeu.

Faut-il un compte pour lancer l’analyse ?

Il n'y a pas d'offre gratuite — les paliers gratuits sont détournés et ralentissent tout le monde. L'accès fonctionne avec un solde prépayé ForHosting KIT : rechargez à partir de $10.00 (il n'expire jamais) et chaque requête est facturée à son prix publié, donc un appel sans solde renvoie HTTP 402. Pas d'abonnement, pas de jetons, pas de crédits inventés, et une tâche en échec n'est jamais facturée.

Pour les développeurs — accès API

Tout sur cette page est disponible par programmation. Cette section s'adresse aux équipes qui veulent l'intégrer à leurs systèmes ; les autres peuvent simplement utiliser l'outil ci-dessus.

Endpoint

POSThttps://api.kit.forhosting.com/seo/robots-analyze

Authentification par jeton Bearer : un seul POST met la tâche en file d’attente, et le résultat vous parvient par webhook ou lien signé.

Appeler depuis votre stack

curl -X POST https://api.kit.forhosting.com/seo/robots-analyze \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"domain":"ejemplo.com"}'

const res = await fetch("https://api.kit.forhosting.com/seo/robots-analyze", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "domain": "ejemplo.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/seo/robots-analyze",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "domain": "ejemplo.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/seo/robots-analyze", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"domain":"ejemplo.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"domain":"ejemplo.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/seo/robots-analyze", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

Exemple de requête

{
  "domain": "ejemplo.com"
}

Exemple de réponse

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "seo.robots_analyze",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

L’API est asynchrone : chaque appel renvoie un task_id immédiatement, puis vous interrogez l’état à raison d’une requête par seconde.

Tarifs

par requête$0.002

Le prix est publié, sans tokens ni crédits. Une tâche qui échoue n’est pas facturée.

Erreurs

HTTP	Code	Signification
`401`	`unauthorized`	Clé API absente ou invalide : vérifiez l’en-tête Authorization.
`402`	`insufficient_balance`	Solde insuffisant : rechargez votre compte pour lancer cette tâche.
`404`	`unknown_type`	Type de tâche inconnu : vérifiez le champ type de votre requête.
`429`	`rate_limited`	Trop de requêtes : ralentissez la cadence, puis réessayez.

Consulter la documentation complète du KIT →