robots.txt فایل متنی کوچکی است که در ریشهٔ سایت قرار میگیرد و به رباتهای موتورهای جستجو میگوید به کدام نشانیها میتوانند بروند و به کدامها نباید بروند. یک خطای یکخطی میتواند خزش کل سایت را متوقف کند؛ در مقابل، یک فایل درست نوشتهشده منابع خزش را به سمت صفحات مهم هدایت میکند. در این راهنما کاری را که این فایل انجام میدهد، نحوهٔ نوشتن آن، دستورالعملهایی را که گوگل پشتیبانی میکند و رایجترین اشتباهات را با مثال توضیح میدهیم.
robots.txt چیست؟
robots.txt فایل استاندارد «پروتکل محرومیت رباتها» (Robots Exclusion Protocol) است. این فایل به صورت متن ساده (UTF-8) است و حتماً باید در ریشهٔ نام دامنه قرار گیرد: https://www.ornek.com/robots.txt. فایل robots.txt که در پوشهٔ فرعی قرار گیرد در نظر گرفته نمیشود. هر زیردامنه (مثلاً blog.ornek.com) و هر ترکیب پروتکل/پورت، فایل مخصوص خودش را لازم دارد.
هدف فایل مدیریت ترافیک خزش است: جلوگیری از اتلاف زمان رباتها روی بخشهایی که ارزشی ندارند، مانند پنل مدیریت، سبد خرید، نتایج جستجوی داخلی یا نشانیهای فیلتر با پارامتر بیپایان. این فایل ابزار امنیتی نیست؛ هر کسی میتواند آن را بخواند، پس نوشتن نام پوشهای که میخواهید پنهان بماند، فقط آن را آشکار میکند. برای محتوای محرمانه از رمز عبور یا احراز هویت استفاده کنید.
موتورهای جستجو robots.txt را چگونه به کار میبرند؟
ربات پیش از خزش هر صفحهای در سایت، فایل robots.txt را درخواست میکند و قواعد آن را میخواند. قواعد بر اساس «عامل کاربر» (user-agent) گروهبندی میشوند؛ ربات مناسبترین گروه را برای خودش انتخاب میکند و فقط همان را اعمال میکند. چند نکتهٔ مهم:
- اگر فایل پیدا نشود (پاسخ 4xx مانند 404)، گوگل آن را «محدودیتی وجود ندارد» تفسیر میکند و سایت را آزادانه میخزد.
- اگر سرور خطای 5xx بدهد، گوگل خزش را محتاطانه کند یا متوقف میکند؛ پس پاسخ سالم نشانی robots.txt اهمیت دارد.
- گوگل فقط ۵۰۰ کیلوبایت اول فایل را پردازش میکند؛ فایلهای خیلی بزرگ بریده میشوند.
- قواعد مسیر به بزرگی و کوچکی حروف حساساند:
/Admin/و/admin/دو مسیر متفاوت هستند. - گوگل فایل را در هر درخواست دوباره دانلود نمیکند، بلکه در حافظهٔ نهان نگه میدارد. اثر تغییراتتان فوراً دیده نمیشود و پس از مدتی ظاهر میشود.
نحو پایه و دستورالعملها
دستورالعملهایی که گوگل پشتیبانی میکند به چهار مورد محدود است. جدول زیر کاربرد هرکدام را خلاصه میکند.
| دستورالعمل | کاری که میکند | مثال |
|---|---|---|
User-agent | مشخص میکند قاعده مربوط به کدام ربات است؛ * یعنی همهٔ رباتها. | User-agent: Googlebot |
Disallow | خزش مسیر مشخصشده را مسدود میکند. | Disallow: /sepet/ |
Allow | برای مسیر مشخصی داخل یک پوشهٔ مسدودشده اجازه میدهد. | Allow: /sepet/yardim.html |
Sitemap | نشانی کامل فایل sitemap را اعلام میکند؛ مستقل از گروهها است. | Sitemap: https://www.ornek.com/sitemap.xml |
دو نویسهٔ عام قابل استفاده است: * (هر رشتهٔ دلخواه) و $ (پایان نشانی). برای مثال Disallow: /*.pdf$ هر مسیری را که با .pdf تمام شود پوشش میدهد و Disallow: /*?sirala= نشانیهای دارای پارامتر «sirala» را در بر میگیرد. اگر نشانیای با هم قاعدهٔ Allow و هم Disallow مطابقت داشته باشد، گوگل قاعدهٔ مشخصتر (طولانیتر) را اعمال میکند.
پشتیبانینشدهها: گوگل Crawl-delay را نادیده میگیرد (برخی موتورهای جستجوی دیگر ممکن است آن را بخوانند). خط Noindex هم از سال ۲۰۱۹ در robots.txt معتبر نیست. برای حذف از ایندکس باید متای noindex یا هدر HTTP به صفحه اضافه شود.
یک فایل نمونهٔ robots.txt
برای یک سایت شرکتی یا فروشگاه کوچک، یک الگوی شروع معقول میتواند این باشد:
User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=
Sitemap: https://www.ornek.com/sitemap.xml
این فایل به همهٔ رباتها میگوید صفحات مدیریت، سبد خرید، پرداخت و جستجوی داخلی و همچنین نشانیهای دارای پارامتر مرتبسازی و نشست را نخزند؛ بقیه را آزاد گذاشته است. در سایت وردپرس، جفت قاعدهٔ Disallow: /wp-admin/ و Allow: /wp-admin/admin-ajax.php معمولاً دیده میشود. برای تشخیص اینکه کدام مسیرها برای سایت شما بیارزش هستند، ابتدا آمار خزش در Search Console و لاگهای سرور را ببینید؛ کپی کردن الگوهای آماده بدون این بررسی، معمولاً بیشتر از حد لازم مسدود میکند.
قواعد جدا برای رباتهای مختلف
در یک فایل میتوانید چند گروه تعریف کنید. هر گروه با یک یا چند خط User-agent شروع میشود و قواعد بعد از آن میآیند. ربات فقط یک گروه مناسب با نامش را انتخاب میکند و قواعد گروه عمومی (*) را به آن اضافه نمیکند. بنابراین وقتی برای ربات مشخصی گروه مینویسید، قواعد مشترک را باید در آن گروه هم تکرار کنید.
User-agent: *
Disallow: /yonetim/
Disallow: /arama/
User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/
Sitemap: https://www.ornek.com/sitemap.xml
در مثال بالا Googlebot-Image فقط گروه خودش را اعمال میکند؛ به همین دلیل قاعدهٔ /yonetim/ در آن گروه هم آمده است. گذاشتن خط خالی بین گروهها خوانایی را بالا میبرد. برای نوشتن توضیح میتوانید اول خط از # استفاده کنید؛ این خطوط نادیده گرفته میشوند. قواعد را بیهوده شلوغ نکنید: فایل robots.txt که سالها نگهداری نشده و پر شده، به منبع خطری تبدیل میشود که کسی نمیداند هر قاعده چرا آنجاست. نوشتن کوتاه دلیل هر قاعده در کنار آن عادت خوبی است.
مسدود کردن خزش، حذف از ایندکس نیست
این رایجترین اشتباه است. robots.txt فقط خزش را محدود میکند. اگر نشانی مسدودشده از سایتهای دیگر یا لینکهای داخلی لینک بگیرد، گوگل ممکن است بدون دیدن محتوا، آن را همچنان ایندکس کند؛ در نتایج فقط با نشانی و بدون توضیح دیده میشود. بدتر اینکه اگر صفحهای را هم با robots.txt مسدود و هم noindex کنید، گوگل چون به صفحه دسترسی ندارد، هرگز noindex را نخواهد دید.
| هدف شما | روش درست |
|---|---|
| بودجهٔ خزش روی نشانیهای بیارزش هدر نرود | Disallow در robots.txt |
| صفحه در نتایج جستجو دیده نشود | گذاشتن برچسب noindex و باز گذاشتن صفحه برای خزش |
| محتوا از همه پنهان بماند | رمز عبور یا احراز هویت (robots.txt امنیت ایجاد نمیکند) |
| سیگنال نشانیهای تکراری یکجا جمع شود | تغییرمسیر 301 یا canonical (به راهنمای canonical ما مراجعه کنید) |
سایت کوچک یا بزرگ؟ در سایتی با چند صد صفحه، تأثیر robots.txt بر کارایی خزش محدود است؛ ارزش اصلی آن در بیرون نگه داشتن بخشهای اشتباه و اعلام sitemap است. اما برای سایتهای فیلترشدهٔ فروشگاهی یا آگهی با صدها هزار نشانی، حذف ترکیبهای بیارزش از خزش واقعاً تفاوت ایجاد میکند.
رایجترین اشتباهات
- مسدود کردن کل سایت. خط
Disallow: /اگر همراه فایلهای محیط توسعه به سرور زنده منتقل شود، سایت را غیرقابل خزش میکند. هنگام انتشار نسخهٔ جدید، حتماً robots.txt را بررسی کنید. - مسدود کردن پوشههای CSS و JavaScript. گوگل برای ساختن صفحه و ارزیابی سازگاری موبایل به این فایلها نیاز دارد. اگر مسدود شوند، صفحه ناقص دیده میشود.
- مسدود کردن نشانیهایی که در sitemap هستند. از یک طرف «این را ایندکس کن» و از طرف دیگر «وارد نشو» گفتن ناسازگار است؛ Search Console این را بهصورت هشدار نشان میدهد.
- نوشتن noindex در robots.txt. همانطور که توضیح داده شد، دیگر کار نمیکند.
- قرار دادن در مکان اشتباه. اگر فایل در ریشه نباشد یا نامش مثلاً
Robots.TXTباشد، قاعدهای به حساب نمیآید. - نوشتن مسیر بیش از حد گسترده.
Disallow: /urunفقط پوشهٔ «urun» را نمیگیرد، بلکه/urunler/و/urun-detay.htmlو هر نشانی که با «/urun» شروع شود را شامل میشود. اگر منظورتان پوشه است، انتهای آن اسلش بگذارید. - مسدود کردن صفحات و سپس انتظار تغییرمسیر 301. اگر نشانیهای قدیمی تغییرمسیریافته را مسدود کنید، ربات تغییرمسیر را نمیبیند.
آزمون پیش از انتشار
پیش از تغییر فایل، از نسخهٔ فعلی یک نسخهٔ پشتیبان بگیرید. سپس این مراحل را دنبال کنید:
- فایل را در مرورگر باز کنید (
/robots.txt) و تأیید کنید که با وضعیت 200 و بهصورت متن ساده میآید. - در Search Console گزارش تنظیمات ← robots.txt را باز کنید؛ آخرین نسخهای را که گوگل دانلود کرده، خطاهای نحوی و هشدارها را نشان میدهد.
- برای چند صفحهٔ مهم از ابزار بازرسی نشانی استفاده کنید؛ اگر عبارت «توسط robots.txt مسدود شده» را دیدید، قاعده را بازبینی کنید.
- هفتهٔ بعد از انتشار، در گزارش صفحات بررسی کنید که تعداد زیر عنوان «توسط robots.txt مسدود شده» بهطور غیرمنتظره بالا نرفته باشد. برای تشخیص مشکلات کلی ایندکس، راهنمای مشکلات ایندکس گوگل ما به کار شما میآید.
برای مستندات رسمی، به راهنمای robots.txt در Google Search Central مراجعه کنید. robots.txt فقط یکی از اقلام بررسی سلامت کلی است؛ برای همهٔ اقلام از چکلیست سئوی فنی ما استفاده کنید.
پرسشهای متداول
آیا robots.txt اجباری است؟
خیر. اگر فایل نباشد، رباتها سایت را آزادانه میخزند. اما اگر بخشهایی دارید که میخواهید مسدود کنید یا بخواهید نشانی sitemap را اعلام کنید، ساختنش مفید است.
تغییر robots.txt من چه زمانی اثر میکند؟
گوگل فایل را در حافظهٔ نهان نگه میدارد و معمولاً حداکثر ظرف یک روز آن را بهروز میکند؛ یعنی اثر تغییر ممکن است بین چند ساعت تا یک روز طول بکشد. در شرایط اضطراری، میتوانید از گزارش robots.txt در Search Console درخواست خزش مجدد کنید.
آیا میتوانم رباتهای هوش مصنوعی را با robots.txt مسدود کنم؟
برای رباتی که به قواعد پایبند است، بله؛ هر ربات نام عامل کاربر مخصوص به خود دارد و میتواند بهعنوان گروهی جدا نوشته شود. اما robots.txt یک درخواست است، نه اجبار؛ رباتهایی که به قواعد پایبند نیستند را متوقف نمیکند.
چرا صفحهای که Disallow کردهام هنوز در گوگل دیده میشود؟
چون Disallow دستور حذف از ایندکس نیست. نشانی به دلیل دریافت لینک از جاهای دیگر ممکن است بدون محتوا فهرست شود. راهحل: مسدودیت را بردارید و noindex به صفحه اضافه کنید، یا صفحه را کاملاً حذف کنید.
نتیجهگیری
robots.txt فایل کوچکی است اما نتایجش بزرگ است. قاعده ساده است: فقط بخشهایی را که واقعاً بیارزشاند مسدود کنید، به فایلهای CSS/JS دست نزنید، نشانی sitemap را اضافه کنید و آن را برای حذف از ایندکس به کار نبرید. پس از هر انتشار، فایل را در Search Console تأیید کنید و مطمئن شوید صفحات مهم قابل خزشاند؛ این کار بیشتر فاجعهها را از اول جلوگیری میکند. گام بعدی: برای آماده کردن فایل sitemap، به راهنمای XML sitemap ما بروید.