بودجه خزش (crawl budget) تعداد صفحاتی است که Googlebot در یک بازه زمانی آماده خزیدن در سایت شما است و تمایل دارد بخزد. برای بیشتر سایتهای کوچک و متوسط این موضوع مشکلی ایجاد نمیکند؛ مستندات خود گوگل هم این را صریحاً میگوید. اما برای سایتهای فروشگاهی، آگهی و خبری با صدها هزار آدرس، بودجه خزش میتواند تعیین کند صفحات جدید چقدر سریع کشف میشوند. این نوشته توضیح میدهد این موضوع به چه کسانی مربوط است، چه چیزی بودجه را هدر میدهد و کدام گامها واقعاً کارساز هستند، بدون اغراق.
بودجه خزش چیست؟
Googlebot هر آدرس سایت شما را هر روز نمیخزد. منابع آن محدود است و بین میلیاردها سایت تقسیم میشود. مقدار خزشی که برای یک سایت اختصاص مییابد، بهطور غیررسمی بودجه خزش نامیده میشود. نکته مهم این است: بودجه یک عامل رتبهبندی نیست. خزیده شدن بیشتر به معنای رتبه بالاتر نیست؛ فقط کمک میکند صفحات شما سریعتر کشف و بهروز شوند.
دو مؤلفه: ظرفیت خزش و تقاضا
| مؤلفه | معنا | وابسته به |
|---|---|---|
| سقف ظرفیت خزش | تعداد درخواست همزمانی که Googlebot میتواند بدون فشار آوردن به سرور شما ارسال کند | سرعت پاسخ سرور، نرخ خطا (5xx)، منابع میزبانی |
| تقاضای خزش | میزان تمایل گوگل برای خزیدن سایت شما | اندازه سایت، محبوبیت، سرعت تغییر محتوا و میزان «قدیمی ماندن» |
میزان واقعی خزش کمترین این دو است. اگر سرور شما کند شود یا خطای 5xx زیادی بدهد، گوگل ظرفیت را کاهش میدهد. اگر صفحات شما کمکیفیت و بیجذابیت باشند، تقاضا از پیش پایین است. یعنی برای افزایش ظرفیت، کیفیت میزبانی و برای افزایش تقاضا، کیفیت محتوا و محبوبیت تعیینکنندهاند.
چه کسانی به آن مربوط میشوند؟
طبق راهنمایی که گوگل برای صاحبان سایتهای بزرگ منتشر کرده، مدیریت بودجه خزش در این سایتها معنادار است:
- سایتهایی با حدود یک میلیون صفحه یکتا یا بیشتر که محتوایشان با تواتر متوسط (مثلاً هفتهای یک بار) تغییر میکند.
- سایتهایی با ده هزار صفحه یا بیشتر که محتوایشان بسیار پرتغییر (روزانه) است.
- سایتهایی که در Search Console تعداد زیادی آدرس با وضعیت «کشف شده - در حال حاضر ایندکس نشده» دارند.
یک سایت شرکتی، وبلاگ یا فروشگاه کوچک با صدها یا چند هزار صفحه در این گروه قرار نمیگیرد. در چنین سایتهایی، دیر ایندکس شدن صفحه جدید معمولاً از بودجه خزش نیست، بلکه از کیفیت محتوا، لینک داخلی یا یک مانع فنی ناشی میشود. ابتدا دلایل راهنمای مشکلات ایندکس ما را بررسی و حذف کنید.
یادداشت صادقانه: در یک سایت کوچک، تلاش برای «افزایش بودجه خزش» اغلب حل کردن مشکل اشتباه است. ابتدا بررسی کنید که صفحه قابل خزش، قابل ایندکس و واقعاً ارزشمند باشد.
چه چیزی بودجه خزش را هدر میدهد؟
منابع اصلی هدررفت که گوگل ذکر کرده، اینها هستند:
- ترکیب فیلترها و مرتبسازی (faceted navigation): وقتی در یک دستهبندی گزینههای رنگ، سایز، قیمت و مرتبسازی با هم ترکیب شوند، برای یک فهرست محصول ممکن است هزاران آدرس پارامتری ایجاد شود.
- شناسه نشست و پارامترهای ردیابی: ساختارهایی که برای هر بازدیدکننده URL متفاوتی تولید میکنند.
- محتوای تکراری: وجود یک صفحه در چند آدرس. برای یکیسازی به برچسب canonical نگاه کنید.
- صفحات soft 404 و 404: آدرسهایی که وجود ندارند اما همچنان خزیده میشوند. ببینید خطاهای 404 و سئو.
- زنجیرههای طولانی تغییر مسیر: هر مرحله یک درخواست جداگانه مصرف میکند. ببینید تفاوت 301 و 302.
- فضاهای بیپایان: تولید URLهای بیانتها مانند تقویم یا لینکهای «ماه بعد».
- صفحات کمکیفیت و نازک: خزیده میشوند اما ایندکس نمیشوند و بودجه را مصرف میکنند.
- سرور کند: هرچه زمان پاسخ بیشتر شود، Googlebot در همان زمان صفحات کمتری میخزد.
چگونه سنجیده میشود؟
- گزارش آمار خزش: در Search Console، گزارش «آمار خزش» که در بخش تنظیمات قرار دارد، تعداد درخواست روزانه، میانگین زمان پاسخ، توزیع کدهای پاسخ و نوع فایلها را نشان میدهد. ابتدا به تغییرات ناگهانی در کل درخواستها و نرخ 5xx/404 توجه کنید.
- لاگهای سرور: تنها منبعی است که دقیقاً نشان میدهد هر آدرس چقدر خزیده شده است. با آن میبینید Googlebot بیشتر به کدام آدرسهای پارامتری و کدام پوشهها سر میزند.
- گزارش صفحات: تعداد و آدرس نمونه وضعیتهای «کشف شده - در حال حاضر ایندکس نشده» و «خزیده شده - در حال حاضر ایندکس نشده».
- مقایسه نقشه سایت: تعداد آدرسهای نقشه سایت را با تعداد آدرسهای یکتای خزیدهشده در لاگها مقایسه کنید.
یک سناریوی نمونه: در فروشگاهی با 20,000 محصول، اگر بیشتر درخواستهای Googlebot در لاگ به آدرسهای پارامتری مانند
?renk=...&beden=...&sirala=... برود و محصولات جدید روزها ایندکس نشوند، مشکل احتمالاً این است که
بودجه به ترکیبهای فیلتر میرود. (این یک مثال فرضی است؛ در سایت خودتان با لاگ تأیید کنید.)
مراحل بهینهسازی
- فهرست URLها را مدیریت کنید. بخشهایی را که نمیخواهید خزیده شوند (نتایج جستوجوی داخلی، ترکیب فیلترهای بیارزش) با
robots.txtمسدود کنید. برای نوشتن قواعد، راهنمای robots.txt ما را ببینید. - محتوای تکراری را یکی کنید. آدرسهایی که به یک محتوا میروند را با تغییر مسیر یا canonical به یک آدرس جمع کنید.
- برای محتوای حذفشده دائمی، 404 یا 410 بدهید. گوگل آدرس شناختهشده را فراموش نمیکند، اما 404/410 نشانه قویای برای کاهش خزش آن است.
- soft 404ها را پاک کنید. صفحات خالی یا با متن «پیدا نشد» باید کد وضعیت واقعی برگردانند.
- نقشه سایت را بهروز نگه دارید. فقط آدرسهایی را بگذارید که میخواهید ایندکس شوند و کد 200 دارند، و مقدار
lastmodرا با بهروزرسانی واقعی هماهنگ کنید. جزئیات را در راهنمای نقشه سایت XML ما ببینید. - زنجیرههای تغییر مسیر را کوتاه کنید و لینکهای داخلی را مستقیم به آدرس نهایی بدهید.
- سرعت صفحه و سرور را بهبود دهید. با سریعتر شدن سرور، سقف ظرفیت خزش بالا میرود. کش و کیفیت میزبانی در این زمینه تعیینکنندهاند.
- صفحات مهم را با لینک داخلی برجسته کنید. صفحاتی که نزدیک صفحه اصلی و صفحات پرخزش هستند، راحتتر کشف میشوند. مطلب استراتژی لینکسازی داخلی ما این موضوع را بررسی میکند.
- سلامت سرور را پایش کنید. اضافهبار، پاسخهای 5xx و 429 باعث کند شدن Googlebot میشوند.
نمونه: مدیریت یک صفحه دستهبندی فیلترشده
رایجترین منبع مشکلات بودجه خزش، ناوبری فیلترشده است. اگر در یک دسته کفش، هر ترکیبی از رنگ، سایز، برند و گزینههای مرتبسازی یک آدرس جدا بسازد، فهرستی با صد محصول میتواند به هزاران آدرس قابل خزش تبدیل شود. برای تصمیم، این پرسش را بپرسید: آیا مردم واقعاً برای این ترکیب فیلتر جستوجو میکنند؟
- بله (مثلاً «کفش ورزشی مشکی»): صفحه را با عنوان، توضیحات و محتوای اختصاصی بهعنوان یک صفحه هدف توسعه دهید، با لینک داخلی پشتیبانی کنید و قابل خزش نگه دارید.
- خیر (مثلاً «سایز 42 + مرتبسازی بر اساس قیمت صعودی»): خزش را با robots.txt محدود کنید یا جلوی تولید انبوه این آدرسها در لینکهای صفحه را بگیرید؛ با canonical به دسته اصلی وصل کنید.
- پارامترهای مرتبسازی و نشست هرگز نباید در ایندکس باشند؛ همه باید به یک آدرس جمع شوند.
یادداشت: گوگل برچسب canonical را در آدرسهایی که با robots.txt مسدود شدهاند نمیبیند. بنابراین برای یک آدرس هم به مسدودسازی و هم به canonical تکیه نکنید؛ آگاهانه یکی از آنها را انتخاب کنید.
باورهای نادرست
| باور رایج | واقعیت |
|---|---|
| «noindex بودجه خزش را نجات میدهد.» | خیر. Googlebot صفحه noindex را هم درخواست میکند؛ فقط آن را ایندکس نمیکند. برای کاهش خزش از robots.txt و برای خارج کردن از فهرست از noindex استفاده میشود؛ تفاوت این دو را بدانید. |
| «اگر بیشتر خزیده شوم، بهتر رتبه میگیرم.» | میزان خزش یک سیگنال رتبهبندی نیست. |
| «میتوانم سرعت خزش را از Search Console بالا ببرم.» | گوگل ابزار قدیمی محدودکردن سرعت خزش را حذف کرده است؛ سرعت بهطور خودکار تعیین میشود. |
| «همه سایتها مشکل بودجه دارند.» | برای بیشتر سایتها این موضوع صدق نمیکند؛ فقط در سایتهای بسیار بزرگ یا با تغییر بسیار سریع مشخص است. |
| «ارسال مکرر نقشه سایت خزش را بیشتر میکند.» | نقشه سایت به کشف کمک میکند، اما خزش را اجباری نمیکند. مهم این است که نقشه درست و بهروز باشد. |
همه این گامها بخشی از بررسی فنی شماست؛ برای ترتیب کلی بررسی، فهرست بررسی سئوی فنی ما را به کار ببرید. در سایتهایی که با JavaScript ساخته شدهاند، خزش و پردازش زمان بیشتری میبرند؛ پس مبانی سئوی JavaScript را هم ببینید. راهنمای رسمی گوگل مدیریت بودجه خزش در سایتهای بزرگ در همین زمینه است.
پرسشهای متداول
بودجه خزش سایتم را چگونه بفهمم؟
عدد ثابتی وجود ندارد. گزارش آمار خزش در Search Console تعداد درخواست روزانه را نشان میدهد و لاگهای سرور جزئیات هر آدرس را میدهند.
برای سایت کوچکم بودجه خزش مهم است؟
معمولاً نه. برای سایتهای تا چند هزار صفحه، تمرکز اصلی باید روی کیفیت محتوا، لینکسازی داخلی و سلامت فنی پایه باشد.
صفحهای را که با robots.txt مسدود کردهام از فهرست خارج میشود؟
خیر. Robots.txt خزش را مسدود میکند، اما اگر آن آدرس از بیرون لینک دریافت کند، ممکن است در فهرست بماند. برای خارج کردن از فهرست از noindex استفاده میشود و برای این کار صفحه باید قابل خزش باشد.
سرورم را سریعتر کنم بودجه بیشتر میشود؟
وقتی زمان پاسخ کوتاه شود، گوگل در همان مدت صفحات بیشتری را میتواند بخزد؛ بنابراین سقف ظرفیت پتانسیل افزایش پیدا میکند، اما این نتیجه تضمینشده نیست.
نتیجهگیری
بودجه خزش موضوعی واقعی است که سایتهای بزرگ باید مدیریت کنند؛ برای سایتهای کوچک، بیشتر مفهومی است که نباید دنبال شود. با توجه به اندازه سایت خود قضاوت کنید: اگر بزرگ است، آمار خزش و لاگها را پایش کنید و آدرسهای غیرضروری را کم کنید؛ اگر کوچک است، انرژی خود را روی محتوا و لینکهای داخلی بگذارید. در هر دو حال، سرور سریع، ساختار URL تمیز و یک نقشه سایت بهروز کار Googlebot را آسان میکند. برای ایدههای بیشتر درباره ساختن روی این پایه فنی، مطلب روشهای افزایش ترافیک ارگانیک ما را ببینید.