الانتقال إلى المحتوى
AR · ₺
الدخول إلى اللوحة اشترِ باقة
SEO التقني

ملف robots.txt: ما هو وكيف يُكتب؟ أمثلة وأخطاء شائعة

قراءة 6 دقيقة

robots.txt ملف نصي صغير يوجد في الدليل الجذري لموقعك، ويخبر روبوتات محركات البحث بالعناوين التي يمكنها الدخول إليها والعناوين التي يجب ألا تدخلها. خطأ في سطر واحد قد يوقف زحف الموقع كله، أما الملف المكتوب بشكل صحيح فيوجّه ميزانية الزحف نحو الصفحات المهمة. في هذا الدليل نشرح ما يفعله ملف robots.txt، وكيف يُكتب، وأي التوجيهات تدعمها Google، وأكثر الأخطاء شيوعاً مع أمثلة.

ما هو robots.txt؟

robots.txt هو ملف المعيار المعروف باسم "بروتوكول استبعاد الروبوتات". وهو ملف نصي عادي (UTF-8) ويجب أن يوجد في جذر اسم النطاق تماماً: https://www.ornek.com/robots.txt. الملف الموضوع في مجلد فرعي لا يُعتدّ به. ولكل نطاق فرعي (مثل blog.ornek.com) ولكل تركيبة بروتوكول ومنفذ ملفه الخاص.

الغاية من الملف هي إدارة حركة الزحف: منع الروبوتات من إهدار وقتها في صفحات لا قيمة لها، مثل لوحة الإدارة وسلة التسوق ونتائج البحث الداخلي أو عناوين الفلترة ذات المعاملات اللانهائية. وهو ليس أداة أمان؛ فأي شخص يستطيع قراءة الملف، لذلك فكتابة اسم مجلد تريد إخفاءه فيه تكشفه فقط. للمحتوى السري استخدم كلمة مرور أو نظام تفويض.

كيف تستخدم محركات البحث robots.txt؟

يطلب الروبوت ملف robots.txt قبل زحف أي صفحة في الموقع، ثم يقرأ القواعد الموجودة فيه. تُجمَّع القواعد حسب "وكيل المستخدم" (user-agent)، فيختار الروبوت المجموعة الأنسب له ويطبّق تلك المجموعة وحدها. وهذه بعض التفاصيل المهمة:

  • إذا لم يُعثر على الملف (استجابة 4xx مثل 404) تفسّر Google ذلك على أنه لا توجد قيود، فتزحف الموقع بحرية.
  • إذا أعاد الخادم خطأ 5xx تُبطئ Google الزحف بحذر أو توقفه؛ لذلك من المهم أن يستجيب عنوان robots.txt بشكل سليم.
  • تعالج Google أول 500 KiB فقط من الملف، والملفات الكبيرة جداً تُقطع.
  • قواعد المسارات حساسة لحالة الأحرف: /Admin/ و/admin/ مساران مختلفان.
  • لا تنزّل Google الملف مع كل طلب، بل تحتفظ به في الذاكرة المؤقتة. لذلك لا يظهر أثر التغيير الذي تجريه فوراً، بل بعد فترة.

بناء الجملة الأساسي والتوجيهات

التوجيهات التي تدعمها Google محصورة في أربعة. يلخص الجدول التالي وظيفة كل واحد منها.

التوجيهماذا يفعل؟مثال
User-agentيحدد الروبوت الذي تنطبق عليه القاعدة؛ و* تعني جميع الروبوتات.User-agent: Googlebot
Disallowيمنع زحف المسار المحدد.Disallow: /sepet/
Allowيسمح بمسار محدد داخل مجلد ممنوع.Allow: /sepet/yardim.html
Sitemapيعلن العنوان الكامل لملف خريطة الموقع، ويعمل بشكل مستقل عن المجموعات.Sitemap: https://www.ornek.com/sitemap.xml

يمكن استخدام رمزين عامين: * (أي سلسلة من الأحرف) و$ (نهاية العنوان). مثلاً Disallow: /*.pdf$ يشمل كل مسار ينتهي بـ .pdf، وDisallow: /*?sirala= يشمل العناوين التي تحمل معامل "sirala". إذا طابق العنوان قاعدتي Allow وDisallow معاً، فإن Google تطبّق القاعدة الأكثر تحديداً (الأطول).

التوجيهات غير المدعومة: تتجاهل Google التوجيه Crawl-delay (وقد تقرؤه بعض محركات البحث الأخرى). وسطر Noindex لم يعد صالحاً داخل robots.txt منذ عام 2019. لإزالة الصفحة من الفهرس يجب إضافة وسم meta من نوع noindex أو ترويسة HTTP إلى الصفحة.

مثال على ملف robots.txt

لموقع مؤسسي أو متجر إلكتروني صغير، يمكن أن يكون هذا القالب نقطة بداية معقولة:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=

Sitemap: https://www.ornek.com/sitemap.xml

يمنع هذا الملف جميع الروبوتات من زيارة صفحات الإدارة والسلة والدفع والبحث الداخلي، ومن زيارة العناوين التي تحمل معاملات الترتيب والجلسة، ويسمح بكل ما عدا ذلك. وفي موقع WordPress تتكرر القاعدة Disallow: /wp-admin/ مع Allow: /wp-admin/admin-ajax.php. لتحديد المسارات التي لا قيمة لها في موقعك، انظر أولاً إلى إحصاءات الزحف في Search Console وإلى سجلات الخادم؛ فالقوالب الجاهزة المنسوخة دون تفكير تمنع غالباً أكثر مما ينبغي.

قواعد منفصلة لروبوتات مختلفة

يمكنك تعريف أكثر من مجموعة في الملف. تبدأ كل مجموعة بسطر أو أكثر من User-agent تليه القواعد. يختار الروبوت مجموعة واحدة هي الأنسب لاسمه، ولا يضيف إليها قواعد المجموعة العامة (*). لذلك عندما تكتب مجموعة لروبوت معين، تحتاج إلى تكرار القواعد المشتركة داخلها أيضاً.

User-agent: *
Disallow: /yonetim/
Disallow: /arama/

User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/

Sitemap: https://www.ornek.com/sitemap.xml

في المثال أعلاه يطبّق Googlebot-Image مجموعته وحدها؛ لذلك وُضع /yonetim/ في تلك المجموعة أيضاً. ترك سطر فارغ بين المجموعات يحسّن القراءة. ويمكنك كتابة تعليق بوضع # في بداية السطر، وتُتجاهل هذه السطور. لا تُكثر القواعد دون داعٍ: فملف robots.txt الذي لا يُصان ويتضخم عبر السنين يصبح مصدر مخاطر لا يعرف أحد سبب وجود كل قاعدة فيه. ضع بجانب كل قاعدة تعليقاً قصيراً يذكر سببها.

منع الزحف لا يعني الحذف من الفهرس

هذه أكثر نقطة تُخلط عادةً. يقيّد robots.txt الزحف فقط. إذا تلقى عنوان محجوب روابط من مواقع أخرى أو من روابط داخلية، فقد تضيفه Google إلى الفهرس دون أن ترى المحتوى أبداً، فيظهر في النتائج بالعنوان فقط ودون وصف. والأسوأ أنك إذا حجبت صفحة بـ robots.txt ووضعت عليها noindex، فلن تتمكن Google من دخول الصفحة، ولن ترى بالتالي وسم noindex أبداً.

هدفكالطريقة الصحيحة
ألا تُهدر ميزانية الزحف على عناوين لا قيمة لهاDisallow في robots.txt
ألا تظهر الصفحة في نتائج البحثترك الصفحة متاحة للزحف مع وسم noindex
إخفاء المحتوى عن الجميعكلمة مرور أو تفويض (robots.txt لا يوفر أماناً)
دمج إشارات العناوين المكررةإعادة توجيه 301 أو canonical (راجع دليل canonical الخاص بنا)

موقع صغير أم كبير؟ في موقع من بضع مئات من الصفحات يكون أثر robots.txt على كفاءة الزحف محدوداً؛ والقيمة الحقيقية تكمن في استبعاد المسارات الخاطئة والإعلان عن خريطة الموقع. أما المواقع التي تضم مئات الآلاف من العناوين، مثل المتاجر الإلكترونية ذات الفلاتر أو مواقع الإعلانات، فاستبعاد تركيبات العناوين غير المفيدة من الزحف يُحدث فرقاً حقيقياً.

أكثر الأخطاء شيوعاً

  1. حجب الموقع كله. إذا انتقل السطر Disallow: / مع الملفات من بيئة التطوير إلى الموقع الحي، يصبح الموقع غير قابل للزحف. تحقق من robots.txt دائماً عند نشر نسخة جديدة.
  2. حجب مجلدات CSS وJavaScript. تحتاج Google إلى هذه الملفات لبناء الصفحة وتقييم توافقها مع الجوال. إذا حُجبت فقد تظهر الصفحة ناقصة.
  3. حجب عناوين موجودة في خريطة الموقع. قول "أضفه إلى الفهرس" مع قول "لا تدخله" في الوقت نفسه تناقض؛ وتعرض Search Console ذلك كتحذير.
  4. كتابة noindex داخل robots.txt. لم يعد يعمل كما شُرح أعلاه.
  5. وضع الملف في مكان خاطئ. إذا لم يكن الملف في الجذر، أو كان اسمه Robots.TXT أو مختلفاً، فلن تُعتبر قواعده.
  6. كتابة مسار أوسع من اللازم. Disallow: /urun لا يمنع مجلد "urun" وحده، بل يمنع كل عنوان يبدأ بـ "/urun" مثل /urunler/ و/urun-detay.html. إذا كنت تقصد مجلداً فأضف شرطة مائلة في نهايته.
  7. حجب صفحات ثم انتظار إعادة التوجيه 301. إذا منعت العناوين القديمة التي يُفترض أن تُعاد توجيهها، فلن يرى الروبوت إعادة التوجيه.

الاختبار قبل النشر

قبل تعديل الملف احفظ نسخة احتياطية من النسخة الحالية. ثم اتبع الخطوات التالية:

  1. افتح الملف في المتصفح (/robots.txt) وتحقق من أنه يُعرض كنص عادي برمز الحالة 200.
  2. في Search Console افتح تقرير الإعدادات ← robots.txt؛ فهو يعرض آخر نسخة نزّلتها Google وأخطاء بناء الجملة والتحذيرات.
  3. لعدد من الصفحات المهمة استخدم أداة فحص عنوان URL؛ إذا ظهرت عبارة "محجوب بواسطة robots.txt" فراجع القاعدة.
  4. في الأسبوع الذي يلي النشر تحقّق من تقرير الصفحات: هل ارتفع عدد "محجوب بواسطة robots.txt" بشكل غير متوقع؟ وللتشخيص العام لمشكلات الفهرسة سيفيدك دليل مشكلات فهرسة Google.

للاطلاع على الوثائق الرسمية يمكنك زيارة دليل robots.txt في Google Search Central. وrobots.txt بند واحد فقط في فحص الصحة التقنية العام؛ ولجميع البنود استخدم قائمة التحقق من SEO التقني.

الأسئلة الشائعة

هل ملف robots.txt إلزامي؟

لا. إذا لم يوجد الملف فإن الروبوتات تزحف الموقع بحرية. لكن إذا كانت لديك مناطق تريد حجبها، أو تريد الإعلان عن عنوان خريطة الموقع، فإنشاؤه مفيد.

متى يصبح تغيير robots.txt فعّالاً؟

تحتفظ Google بالملف في الذاكرة المؤقتة وتحدّثه عادةً خلال يوم واحد على الأكثر، أي أن ظهور أثر التغيير قد يستغرق من بضع ساعات إلى يوم. وفي الحالات الطارئة يمكن طلب إعادة الزحف من تقرير robots.txt في Search Console.

هل يمكنني حجب روبوتات الذكاء الاصطناعي عبر robots.txt؟

نعم، بالنسبة إلى الروبوتات التي تلتزم بالقواعد؛ فلكل روبوت اسم وكيل مستخدم خاص به، ويمكن كتابته في مجموعة منفصلة. لكن robots.txt طلب وليس إجباراً، فهو لا يوقف الروبوتات التي لا تلتزم بالقواعد.

لماذا لا تزال الصفحة التي وضعت عليها Disallow تظهر في Google؟

لأن Disallow ليس أمر حذف من الفهرس. فالعنوان قد يُدرج بلا محتوى إذا كانت له روابط من أماكن أخرى. والحل: أزل الحجب وأضف noindex إلى الصفحة، أو احذف الصفحة نهائياً.

الخلاصة

robots.txt ملف صغير لكن نتائجه كبيرة. القاعدة بسيطة: امنع فقط المناطق التي لا قيمة لها فعلاً، ولا تمسّ ملفات CSS وJS، وأضف عنوان خريطة الموقع، ولا تستخدمه لغرض الحذف من الفهرس. التحقق من الملف في Search Console بعد كل نشر، والتأكد من أن الصفحات المهمة قابلة للزحف، يمنع معظم الكوارث منذ البداية. وكخطوة تالية لإعداد ملف خريطة الموقع، انتقل إلى دليل XML sitemap.

هل تنقص كلمتك المفتاحية النقرات؟

يولّد HitBot جلسات حقيقية تبحث عن الكلمة التي تستهدفونها وتجد موقعكم وتنقر عليه. وتتراكم النتيجة في Search Console على شكل ظهور ونقرات.

مقالات أخرى