ForHosting KIT · SEOツール

robots.txtで重要なページを閉じていませんか

ドメインを指定するとrobots.txtを取得し、記述内容を解析する機能です。誤ってクロールを拒否している範囲や、サイトマップの記載漏れを確認できます。

● 安定提供中ドメインあたり$0.002

実行 — $0.002 API仕様を見る

ご利用方法ウェブAPIメールアプリ近日Telegram 近日

オンラインで実行

アカウントでログインし、当社のサーバー上で実行します。無料ツールはブラウザ内で動作しますが、これは上記の料金がKIT残高から差し引かれます。

確認できること

Disallowで指定されている範囲、User-agentごとの設定の違い、サイトマップの記載有無を一覧で示します。誤って重要なディレクトリを閉じていないかを確認できます。

よくある設定ミス

開発中に全体を閉じたDisallow: /の設定が本番公開後もそのまま残っている、特定の検索エンジンだけを誤って拒否しているといったミスが典型的です。

仕組み

ドメインを渡すと、そのドメインのrobots.txtをサーバー側で取得して解析します。実在するファイルの内容をそのまま読み取るため、記述の意図しない解釈違いを防げます。

向いている場面

サイト公開直後の確認や、開発環境から本番環境への切り替え後のチェックに向いています。

活用例

本番公開直後の確認

合同会社みどりデザインでは、クライアントサイトを公開した直後にこの機能でrobots.txtを確認し、開発用の全拒否設定が残っていないかをチェックしています。

サイトマップ記載の確認

株式会社山田商事のWeb担当は、robots.txtにサイトマップのURLが正しく記載されているかを定期的に確認しています。

検索エンジンごとの設定確認

フリーランスの山本翔太さんは、特定の検索エンジンにのみ意図せずクロールを制限していないかを、この機能で確認しています。

よくある質問

解析のためにアクセスすると、サイトに負荷はかかりますか？

robots.txtファイル1件を取得するだけの軽いアクセスで、サイトに負担をかける設計にはなっていません。

非公開のドメインも解析できますか？

インターネット上に公開されているドメインが対象です。社内ネットワークなど外部からアクセスできないドメインは解析できません。

なぜ利用ごとの支払いなのですか？

ドメインへアクセスして取得・解析する処理のため、実行のたびに費用が発生します。アカウント登録や月額の契約は不要です。

日本語のサポートはありますか？

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。日本語サイトの解析には問題なくご利用いただけます。

料金はいくらですか？

1リクエストあたり$0.002です。ドメインの規模による追加料金はありません。

robots.txtが存在しない場合はどうなりますか？

ファイルが存在しない旨を結果として返します。存在しない場合、一般的にはすべてのページがクロール可能と解釈されます。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/seo/robots-analyze

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/seo/robots-analyze \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"domain":"ejemplo.com"}'

const res = await fetch("https://api.kit.forhosting.com/seo/robots-analyze", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "domain": "ejemplo.com"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/seo/robots-analyze",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "domain": "ejemplo.com"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/seo/robots-analyze", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"domain":"ejemplo.com"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"domain":"ejemplo.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/seo/robots-analyze", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "domain": "ejemplo.com"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "seo.robots_analyze",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.002

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。

KITの完全なドキュメントを見る →