الانتقال إلى المحتوى
AR · $
الدخول إلى اللوحة اشترِ باقة
SEO التقني

ميزانية الزحف (Crawl Budget): ما هي ومن يهمه الأمر؟

قراءة 6 دقيقة

ميزانية الزحف (crawl budget) هي عدد الصفحات التي يكون Googlebot مستعداً لزيارتها ويرغب في زحفها في موقعكم خلال فترة زمنية معينة. بالنسبة لمعظم المواقع الصغيرة والمتوسطة ليست هذه المسألة مشكلة؛ وتؤكد وثائق Google ذلك صراحة. في المقابل، بالنسبة للمتاجر الإلكترونية والمواقع الإعلانية والإخبارية التي تضم مئات الآلاف من العناوين، قد تحدد ميزانية الزحف مدى سرعة اكتشاف الصفحات الجديدة. تشرح هذه المقالة من يهمه الأمر، وما الذي يهدر الميزانية، والخطوات التي تعطي نتيجة فعلية دون مبالغة.

ما هي ميزانية الزحف؟

لا يزور Googlebot كل عناوين موقعكم كل يوم. فموارده محدودة ويوزعها على مليارات المواقع. الكمية المخصصة لموقع ما من الزحف يطلق عليها بشكل غير رسمي “ميزانية الزحف”. والنقطة المهمة هنا: الميزانية ليست عامل ترتيب. أن يُزحف الموقع أكثر لا يعني ترتيباً أعلى؛ بل يساعد فقط على اكتشاف صفحاتكم وتحديثها بشكل أسرع.

مكوّنان: سعة الزحف والطلب

المكوّنالمعنىما الذي يؤثر فيه؟
حدّ سعة الزحفعدد الطلبات المتزامنة التي يستطيع Googlebot إرسالها دون إرهاق خادمكمسرعة استجابة الخادم، ونسبة الأخطاء (5xx)، وموارد الاستضافة
طلب الزحفمقدار رغبة Google في زحف موقعكمحجم الموقع وشعبيته، ومدى تكرار تغير المحتوى، ودرجة “تقادمه”

الكمية الفعلية للزحف هي الأصغر بين المكوّنين. إذا بطؤ خادمكم أو ظهرت فيه أخطاء 5xx متكررة، يخفض Google السعة. وإذا كانت صفحاتكم ضعيفة الجودة وغير جذابة فإن الطلب يكون منخفضاً أيضاً. أي أن رفع السعة يعتمد على أداء الاستضافة، ورفع الطلب يعتمد على جودة المحتوى والشعبية.

من يهمه الأمر؟

وفقاً للدليل الذي أعدّته Google لأصحاب المواقع الكبيرة، تكون إدارة ميزانية الزحف ذات معنى في المواقع التالية:

  • المواقع التي تضم نحو مليون صفحة فريدة أو أكثر، ويتغير محتواها بتكرار متوسط (مثل مرة أسبوعياً).
  • المواقع التي تضم عشرة آلاف صفحة أو أكثر، ويتغير محتواها بتكرار كبير (يومياً).
  • المواقع التي تضم عدداً كبيراً من العناوين في حالة “تم اكتشافها – غير مفهرسة حالياً” في Search Console.

أما موقع مؤسسي أو مدونة أو متجر صغير بمئات أو بضعة آلاف من الصفحات فلا يندرج ضمن هذه الفئة. وفي هذه المواقع يكون تأخر فهرسة الصفحة الجديدة غالباً بسبب جودة المحتوى أو الروابط الداخلية أو عائق تقني، وليس بسبب ميزانية الزحف. ابدأوا بإقصاء أسباب دليل مشكلات الفهرسة أولاً.

ملاحظة صادقة: في موقع صغير، غالباً ما يكون القلق من “زيادة ميزانية الزحف” حلاً لمشكلة خاطئة. تحقّقوا أولاً من أن الصفحة قابلة للزحف والفهرسة وذات قيمة فعلية.

ما الذي يهدر ميزانية الزحف؟

أهم مصادر الهدر التي تذكرها Google:

  • تركيبات الفلترة والترتيب (faceted navigation): عندما تتقاطع خيارات اللون والمقاس والسعر والترتيب في فئة واحدة، قد تنشأ آلاف العناوين المعاملاتية لقائمة المنتجات نفسها.
  • معرّفات الجلسات ومعاملات التتبع: بنى تولّد عنواناً مختلفاً لكل زائر.
  • المحتوى المكرر: وجود الصفحة نفسها على عدة عناوين. للدمج راجعوا وسم canonical.
  • أخطاء Soft 404 و404: عناوين غير موجودة لكنها ما زالت تُزحف. راجعوا أخطاء 404 وتحسين محركات البحث.
  • سلاسل إعادة التوجيه الطويلة: كل خطوة تستهلك طلباً منفصلاً. راجعوا الفرق بين 301 و302.
  • المساحات اللانهائية: التقويم وروابط “الشهر التالي” وما شابهها من بنى تنتج عناوين بلا نهاية.
  • الصفحات منخفضة الجودة والرقيقة: تُزحف ولا تدخل الفهرس، فتستهلك الميزانية.
  • الخادم البطيء: كلما طال زمن الاستجابة زحف Googlebot عدداً أقل من الصفحات في الوقت نفسه.

كيف تُقاس؟

  1. تقرير إحصاءات الزحف: في Search Console ضمن الإعدادات يعرض تقرير “إحصاءات الزحف” عدد الطلبات اليومي، ومتوسط زمن الاستجابة، وتوزيع رموز الاستجابة، وأنواع الملفات. ابدؤوا بمراجعة إجمالي الطلبات ونسب 5xx/404 والتغيرات المفاجئة فيها.
  2. سجلات الخادم: المصدر الوحيد الذي يبيّن بدقة العناوين التي تُزحف وعدد مرات زحفها. منه ترون العناوين والمجلدات التي يقصدها Googlebot أكثر من غيرها، خاصة المعاملاتية.
  3. تقرير الصفحات: أعداد حالات “تم اكتشافها – غير مفهرسة حالياً” و“تم زحفها – غير مفهرسة حالياً” مع أمثلة من العناوين.
  4. مقارنة خريطة الموقع: قارنوا عدد العناوين في خريطة الموقع بعدد العناوين الفريدة المزحوفة في السجلات.

مثال: في متجر يضم 20 ألف منتج، إذا كانت أغلب طلبات Googlebot في السجلات تذهب إلى عناوين معاملاتية مثل ?renk=...&beden=...&sirala=...، وكانت المنتجات الجديدة لا تُفهرس لأيام، فالأرجح أن الميزانية تذهب إلى تركيبات الفلترة. (هذا مثال افتراضي؛ تحققوا منه في موقعكم بالسجلات.)

خطوات التحسين

  1. أديروا جرد العناوين. امنعوا زحف المناطق التي لا تريدونها (نتائج البحث الداخلي، وتركيبات الفلترة التي لا قيمة لها) عبر robots.txt. وكيفية كتابة القواعد في دليل robots.txt.
  2. ادمجوا النسخ المكررة. وجّهوا العناوين التي تؤدي إلى المحتوى نفسه إلى عنوان واحد عبر إعادة التوجيه أو canonical.
  3. للمحتوى المحذوف نهائياً أعيدوا 404 أو 410. لا ينسى Google عنواناً معروفاً، لكن 404/410 إشارة قوية لتقليل زحفه.
  4. نظّفوا Soft 404. الصفحات الفارغة أو التي تقول “غير موجودة” يجب أن تعيد رمز الحالة الصحيح.
  5. حافظوا على خريطة الموقع محدّثة. ضعوا فيها فقط العناوين التي تريدون فهرستها والتي تعيد 200، وطابقوا lastmod مع التحديث الحقيقي. للتفاصيل راجعوا دليل خريطة الموقع XML.
  6. اختصروا سلاسل إعادة التوجيه ووجّهوا الروابط الداخلية مباشرة إلى العنوان النهائي.
  7. حسّنوا سرعة التحميل وأداء الخادم. كلما تسارع الخادم ارتفع حد السعة. وهنا يكون التخزين المؤقت وجودة الاستضافة حاسمين.
  8. أبرزوا الصفحات المهمة بالروابط الداخلية. الصفحات القريبة من الصفحة الرئيسية والصفحات المزحوفة بكثرة تُكتشف بسهولة أكبر. وتتناول استراتيجية الروابط الداخلية هذا الموضوع.
  9. راقبوا صحة الخادم. الحمل الزائد وردود 5xx و429 تجعل Googlebot يبطئ.

مثال: إدارة صفحة فئة مفلترة

أكثر مصادر مشكلات ميزانية الزحف شيوعاً هو التصفح بالفلاتر. ففي فئة أحذية، إذا أنتجت كل تركيبة من اللون والمقاس والعلامة التجارية والترتيب عنواناً منفصلاً، فإن قائمة من مئة منتج قد تتحول إلى آلاف العناوين القابلة للزحف. وللقرار اطرحوا هذا السؤال: هل يبحث الناس فعلاً عن تركيبة الفلترة هذه؟

  • نعم (مثل “حذاء رياضي أسود”): طوّروا الصفحة كصفحة هدف مستقلة بعنوان ووصف ومحتوى أصليين، وادعموها بروابط داخلية، واجعلوها قابلة للزحف.
  • لا (مثل “مقاس 42 + ترتيب تصاعدي حسب السعر”): قيّدوا الزحف عبر robots.txt، أو امنعوا توليد هذه العناوين بشكل واسع عبر روابط الصفحة؛ واربطوها بالفئة الأساسية عبر canonical.
  • معاملات الترتيب والجلسة لا يجب أن تكون في الفهرس أبداً؛ وينبغي دمجها جميعاً في عنوان واحد.

ملاحظة: لا يستطيع Google رؤية وسم canonical في العناوين المحجوبة بـrobots.txt. لذلك لا تعتمدوا على الحجب وعلى canonical للعناوين نفسها معاً؛ اختاروا واحداً منهما عن قصد.

معلومات خاطئة شائعة

الاعتقاد الشائعالحقيقة
“noindex يوفّر ميزانية الزحف.”لا. يطلب Googlebot الصفحة المحتوية على noindex أيضاً؛ لكنه لا يضعها في الفهرس فقط. لتقليل الزحف يُستخدم robots.txt، ولإزالة الصفحة من الفهرس يُستخدم noindex؛ فاعرفوا الفرق بينهما.
“إذا زُحف موقعي أكثر سأحتل ترتيباً أعلى.”كمية الزحف ليست إشارة ترتيب.
“يمكنني رفع معدل الزحف من Search Console.”أزالت Google أداة تحديد معدل الزحف القديمة؛ والسرعة تُحدد تلقائياً.
“كل موقع لديه مشكلة في الميزانية.”لا ينطبق الموضوع على معظم المواقع؛ ويظهر بوضوح فقط في المواقع الكبيرة جداً أو التي تتغير بسرعة كبيرة.
“إرسال خريطة الموقع بكثرة يزيد الزحف.”خريطة الموقع تساعد على الاكتشاف، لكنها لا تفرض الزحف. المهم أن تكون صحيحة ومحدّثة.

كل هذه الخطوات جزء من فحصكم التقني؛ وللترتيب العام للفحص راجعوا قائمة مراجعة تحسين محركات البحث التقني. وفي المواقع المبنية بـJavaScript يحتاج الزحف والمعالجة إلى وقت إضافي، لذلك راجعوا أيضاً أساسيات JavaScript SEO. ودليل Google الرسمي موجود في صفحة إدارة ميزانية الزحف للمواقع الكبيرة.

الأسئلة الشائعة

كيف أعرف ميزانية الزحف الخاصة بموقعي؟

لا يوجد رقم ثابت. يعرض تقرير “إحصاءات الزحف” في Search Console عدد الطلبات اليومي، أما سجلات الخادم فتعطي التفاصيل حسب العنوان.

هل ميزانية الزحف مهمة لموقعي الصغير؟

غالباً لا. في المواقع حتى بضعة آلاف من الصفحات يكون التركيز الأساسي على جودة المحتوى والروابط الداخلية والصحة التقنية الأساسية.

هل تختفي الصفحة التي حجبتها بـrobots.txt من الفهرس؟

لا. يمنع robots.txt الزحف، لكن العنوان قد يبقى في الفهرس إذا كان يتلقى روابط من الخارج. لإزالته من الفهرس يُستخدم noindex، ولكي يُقرأ noindex يجب أن تكون الصفحة قابلة للزحف.

هل يزيد تسريع الخادم الميزانية؟

عندما ينخفض زمن الاستجابة يستطيع Google زحف صفحات أكثر في الوقت نفسه، فتتاح إمكانية رفع حد السعة؛ لكن النتيجة غير مضمونة.

الخلاصة

ميزانية الزحف موضوع حقيقي تحتاج المواقع الكبيرة إلى إدارته، بينما يُفضَّل للمواقع الصغيرة ألا تنشغل به كثيراً. قيّموا حسب حجم موقعكم: إذا كان كبيراً فراقبوا إحصاءات الزحف والسجلات وقلّلوا العناوين غير الضرورية، وإذا كان صغيراً فوجّهوا طاقتكم إلى المحتوى والروابط الداخلية. وفي الحالتين فإن خادماً سريعاً وبنية عناوين نظيفة وخريطة موقع محدّثة تسهّل عمل Googlebot. ولمعرفة ما يمكن بناءه فوق هذا الأساس التقني راجعوا مقالتنا عن طرق زيادة الزيارات العضوية لتروا الصورة الشاملة.

هل تنقص كلمتك المفتاحية النقرات؟

يولّد HitBot جلسات حقيقية تبحث عن الكلمة التي تستهدفونها وتجد موقعكم وتنقر عليه. وتتراكم النتيجة في Search Console على شكل ظهور ونقرات.

مقالات أخرى