اعرف ما يحجبه robots.txt عن جوجل
أداة تقرأ ملف robots.txt لنطاق كامل وتحلّل قواعده سطرًا سطرًا، فتوضّح بوضوح أي مجلدات أو صفحات يمنعها الملف من الزحف، وهل رابط خريطة الموقع (sitemap) معلن بداخله كما يُفترض، لتكتشف حظرًا غير مقصود يمنع محرك البحث من الوصول أصلًا إلى قسم مهم من الموقع دون علم صاحبه.
شغّلها أونلاين
شغّل هذه المهمة على خوادمنا باستخدام حسابك. الأدوات المجانية تعمل داخل متصفحك، أما هذه فتُخصم من رصيدك في KIT حسب السعر الموضّح أعلاه.
سطر واحد قد يخفي الموقع كله عن جوجل
قاعدة بسيطة مثل Disallow: / في ملف robots.txt تمنع محرك البحث من الزحف إلى الموقع كاملًا، وهي قاعدة تُترك أحيانًا سهوًا بعد نقل موقع من بيئة تجريبية إلى النطاق الفعلي دون حذفها. تفحص الأداة الملف كاملًا وتنبّه فورًا لهذا النوع من القواعد الخطيرة التي قد تُبقي موقعًا كاملًا غائبًا عن نتائج البحث لأسابيع قبل اكتشاف السبب الحقيقي.
الفرق بين حظر مقصود وحظر بالخطأ
بعض المجلدات يجب حظرها فعلًا عن قصد، كصفحات لوحة التحكم الإدارية أو نتائج بحث داخلي مكررة لا تستحق الظهور في نتائج جوجل أصلًا. تعرض الأداة كل قاعدة حظر موجودة في الملف مع تفسير محتمل لغرضها، فتقارنها بنيتك الفعلية وتكتشف بسهولة إن كان مجلد المقالات أو صفحات المنتجات محظورًا خطأً ضمن قاعدة كانت مقصودة لمجلد آخر تمامًا.
هل رابط sitemap معلن داخل الملف
يُفضَّل أن يحتوي ملف robots.txt على سطر يشير إلى رابط خريطة الموقع مباشرة، فيجده محرك البحث بسهولة دون الحاجة لتسجيله يدويًا في أدوات مشرفي المواقع فقط. تتحقق الأداة من وجود هذا السطر وصحة الرابط بداخله، وتنبّه لغيابه كملاحظة تحسين إضافية بعد الفحص الأساسي لقواعد الحظر.
السعر والتنفيذ عبر الويب أو الـAPI
السعر $0.002 لكل نطاق يُفحَص ملفه، سعر ثابت بصرف النظر عن طول الملف أو عدد قواعده بداخله. التنفيذ من هذه الصفحة مباشرة بإدخال النطاق، أو عبر الـAPI لمراقبة الملف دوريًا والتنبيه فور تغييره دون علمك، وهذا مفيد خصوصًا بعد أي تحديث لقالب الموقع أو نقله بين بيئتين مختلفتين، حين ينسى فريق التطوير غالبًا حذف قاعدة حظر كانت مخصصة للبيئة التجريبية فقط قبل نقل الموقع للنطاق الفعلي.
حالات الاستخدام
موقع ينتقل من بيئة تجريبية للنطاق الفعلي
يفحص محمد الحربي ملف robots.txt فور إطلاق الموقع على نطاقه الفعلي، فيكتشف قاعدة حظر شاملة نُسيت من بيئة التجربة قبل النقل.
متجر يراجع حظر صفحات بحث داخلي
تتحقق شركة الواحة للتجارة المحدودة أن صفحات نتائج البحث الداخلي في متجرها محظورة عمدًا، لتفادي فهرسة صفحات مكررة بلا قيمة.
وكالة تراقب ملفات عملاء بعد كل تحديث
تراقب مؤسسة النخيل للمقاولات ملف robots.txt لموقع عميل تلقائيًا عبر الـAPI بعد كل تحديث قالب، لتفادي حظر غير مقصود.
الأسئلة الشائعة
هل يمكن أن يمنع سطر واحد الموقع كله عن جوجل؟
نعم، قاعدة عامة مثل Disallow: / تمنع الزحف إلى الموقع كاملًا إن لم تُقيَّد بمجلد محدد.
ماذا يحدث لبيانات ملفي بعد الفحص؟
يُقرأ الملف علنًا كما يقرأه أي محرك بحث؛ لا يُحفظ محتواه بعد تسليم نتيجة الفحص.
هل يوجد حظر يجب أن يبقى مقصودًا؟
نعم، كحظر لوحة التحكم أو صفحات بحث داخلي مكررة؛ الأداة توضّح كل قاعدة لتقرر أنت أيها مقصود.
كم يكلّف فحص نطاق واحد؟
$0.002 للنطاق الواحد، سعر ثابت بصرف النظر عن عدد قواعد الملف.
هل توجد نسخة مجانية لتجربة الفحص؟
لا، هذه الخدمة مدفوعة من الطلب الأول؛ لا حد مجاني خفي.
هل يفحص robots.txt وحده أم ملف sitemap أيضًا؟
يفحص robots.txt ويتحقق من وجود رابط sitemap بداخله فقط؛ فحص محتوى sitemap نفسه مهمة أداة أخرى منفصلة.
للمطوّرين — الوصول عبر API
كل ما في هذه الصفحة متاح برمجيًا. هذا القسم موجّه للفرق التقنية التي تريد ربط الأداة بأنظمتها الخاصة؛ بقية المستخدمين يمكنهم استخدام الأداة أعلاه مباشرة دون الحاجة لقراءة ما يلي.
الـEndpoint
صادِق على طلبك بترويسة Bearer، وأرسل طلب POST واحدًا لتدخل مهمتك قائمة التنفيذ فورًا؛ ثم تستلم النتيجة عبر webhook أو رابط موقّع.
استدعِ الخدمة من بيئتك
curl -X POST https://api.kit.forhosting.com/seo/robots-analyze \
-H "Authorization: Bearer $KIT_KEY" \
-H "Content-Type: application/json" \
-d '{"domain":"ejemplo.com"}'const res = await fetch("https://api.kit.forhosting.com/seo/robots-analyze", {
method: "POST",
headers: {
"Authorization": `Bearer ${process.env.KIT_KEY}`,
"Content-Type": "application/json"
},
body: JSON.stringify({
"domain": "ejemplo.com"
})
});
const { task_id } = await res.json();import os, requests
res = requests.post(
"https://api.kit.forhosting.com/seo/robots-analyze",
headers={"Authorization": f"Bearer {os.environ['KIT_KEY']}"},
json={
"domain": "ejemplo.com"
},
)
task_id = res.json()["task_id"]<?php
$res = file_get_contents("https://api.kit.forhosting.com/seo/robots-analyze", false, stream_context_create([
"http" => [
"method" => "POST",
"header" => "Authorization: Bearer " . getenv("KIT_KEY") . "\r\nContent-Type: application/json",
"content" => '{"domain":"ejemplo.com"}',
],
]));
$task = json_decode($res, true);body := bytes.NewBufferString(`{"domain":"ejemplo.com"}`)
req, _ := http.NewRequest("POST", "https://api.kit.forhosting.com/seo/robots-analyze", body)
req.Header.Set("Authorization", "Bearer "+os.Getenv("KIT_KEY"))
req.Header.Set("Content-Type", "application/json")
res, _ := http.DefaultClient.Do(req)مثال على الطلب
{
"domain": "ejemplo.com"
}مثال على الاستجابة
{
"task_id": "tsk_a1b2c3d4e5f6a1b2c3d4e5f6",
"type": "seo.robots_analyze",
"status": "queued",
"_links": {
"result": "/tasks/tsk_…/result"
}
}الواجهة غير متزامنة: تستلم task_id فور الإرسال، ويمكنك الاستعلام عن الحالة بمعدل طلب واحد في الثانية.
الأسعار
السعر معلن كما تراه: لا tokens ولا نظام نقاط؛ وإن فشلت المهمة فلن تُحاسَب عليها.
الأخطاء
| HTTP | الرمز | المعنى |
|---|---|---|
401 | unauthorized | مفتاح الوصول مفقود أو غير صالح؛ تحقق من ترويسة Bearer في طلبك. |
402 | insufficient_balance | رصيدك لا يكفي لتنفيذ هذه المهمة؛ أعد شحن الرصيد ثم أعد المحاولة. |
404 | unknown_type | نوع المهمة المطلوب غير موجود في الكتالوج — راجع الاسم المرسل في الطلب. |
429 | rate_limited | تجاوزت الحد المسموح من الطلبات؛ انتظر قليلًا ثم أعد المحاولة. |