ForHosting KIT · サイト取得・監視

サイト内の複数ページを一括取得

KITは指定したURLを起点に、サイト内のリンクをたどって複数ページの内容をまとめて取得するツールです。サイト全体の内容を1ページずつ確認する代わりに、一括で把握したい担当者向けに使えます。

● 安定提供中ページあたり$0.040

API仕様を見る — $0.040 + $0.001/ページ API仕様を見る

ご利用方法ウェブAPIメールアプリ近日Telegram 近日

何ページまで取得できるか

1回の実行で、起点のページからリンクをたどって最大25ページまで取得します。それを超えるページ数のサイトは、起点を変えて複数回に分けて実行する必要があります。

どんな場面で使うか

サイトリニューアル前の既存ページ内容の確認、サイトマップのないサイトの構造把握、コンテンツ監査のための全ページチェックなどに使えます。

料金は取得したページ数で決まる

料金は1リクエストあたり$0.040（米ドル）に、実際に取得したページ数1ページごと$0.001が加わります。10ページ取得した場合は合計$0.05です。

実行方法と制限

このページに起点URLを入力するか、APIから同じ機能を呼び出せます。1回の処理は30秒以内に完了する必要があり、ページ数が多いサイトは途中で打ち切られる場合があります。

活用例

サイトリニューアル前の内容確認

サイトリニューアル担当の高橋恵子が、移行前に既存サイトの全ページをまとめて取得し、内容を確認している。

サイトマップのないサイトの構造把握

開発者の佐藤健一が、サイトマップが用意されていないサイトの構造を把握するために、起点URLからクロールを実行している。

コンテンツ監査

コンテンツ担当の伊藤さくらが、公開中の全ページのタイトルや本文をまとめてチェックする監査作業に使っている。

よくある質問

25ページを超えるサイトはどうなりますか。

1回の実行では最大25ページまでです。超える場合は起点のURLを変えて複数回に分けて実行してください。

取得するページを絞り込むことはできますか。

起点のURLからリンクをたどる範囲で取得します。特定のパス配下だけに絞りたい場合は、起点URLを調整してください。

他社サイトを対象にしても問題ありませんか。

対象サイトの利用規約に従ってご利用ください。過度な頻度でのアクセスは対象サイトの負荷につながる場合があります。

料金はどのように計算されますか。

1リクエストあたり$0.040に、実際に取得したページ数1ページごと$0.001が加わります。

処理時間の制限はありますか。

1回の処理は30秒以内に完了する必要があります。ページ数が多いサイトは途中で打ち切られる場合があります。

日本語のサポートはありますか。

申し訳ありませんが、日本語でのサポートは行っておりません。サポートは英語またはスペイン語で、担当者が直接対応します。ツール自体は日本語で問題なくご利用いただけます。

開発者向け — APIアクセス

このページの機能はすべてAPIからも利用できます。自社システムに組み込みたいチーム向けのセクションです。それ以外の方は上のツールをそのままお使いください。

エンドポイント

POSThttps://api.kit.forhosting.com/web/crawl

Bearerトークンで認証し、POST1回でタスクをキューに登録します。結果はWebhookまたは署名付きリンクで受け取れます。

お使いのスタックから呼び出す

curl -X POST https://api.kit.forhosting.com/web/crawl \
  -H "Authorization: Bearer $KIT_KEY" \
  -H "Content-Type: application/json" \
  -d &#39;{"input":"…"}'

const res = await fetch("https://api.kit.forhosting.com/web/crawl", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.KIT_KEY}`,
    "Content-Type": "application/json"
  },
  body: JSON.stringify({
    "input": "…"
  })
});
const { task_id } = await res.json();

import os, requests

res = requests.post(
    "https://api.kit.forhosting.com/web/crawl",
    headers={"Authorization": f"Bearer {os.environ[&#39;KIT_KEY']}"},
    json={
    "input": "…"
},
)
task_id = res.json()["task_id"]

<?php
$res = file_get_contents("https://api.kit.forhosting.com/web/crawl", false, stream_context_create([
  "http" => [
    "method"  => "POST",
    "header"  => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
    "content" => &#39;{"input":"…"}',
  ],
]));
$task = json_decode($res, true);

body := bytes.NewBufferString(`{"input":"…"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/web/crawl", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)

リクエスト例

{
  "input": "…"
}

レスポンス例

{
  "task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
  "type": "web.crawl",
  "status": "queued",
  "_links": {
    "result": "/tasks/tsk_…/result"
  }
}

非同期APIです。task_idは即時に返ります。ポーリングは1秒あたり1リクエストまでです。

料金

1リクエストあたり$0.040

ページあたり$0.001

単価はすべて公開しています。トークン換算や独自クレジットはありません。失敗したタスクは課金されません。

制限

`timeout_sec`	30
`max_crawl_pages`	25

エラー

HTTP	コード	意味
`401`	`unauthorized`	APIキーが無効か、指定されていません。Authorizationヘッダーを確認してください。
`402`	`insufficient_balance`	残高が不足しています。チャージ後に再度お試しください。
`404`	`unknown_type`	指定されたタスクタイプは存在しません。タイプ名を確認してください。
`429`	`rate_limited`	リクエストが多すぎます。しばらく待ってから再度お試しください。
`413`	`input_too_large`	入力データが上限を超えています。サイズを小さくして再度お試しください。
`422`	`task_failed`	タスクの処理に失敗しました。このタスクは課金されません。

KITの完全なドキュメントを見る →