مشکلات ایندکس شدن در گوگل شایعترین دلیل این است که صفحهای که آماده و منتشرشده، در نتایج جستجو دیده نمیشود. اگر صفحهای در ایندکس گوگل (فهرست آن) قرار نگیرد، هر قدر هم محتوایش خوب باشد نمیتواند رتبه بگیرد. در این راهنما، وضعیتهایی را که در گزارش صفحات در Search Console با آنها روبهرو میشوید، یکییکی توضیح میدهیم؛ برای هر کدام میگوییم به چه چیزی باید نگاه کنید، کجا مداخله کنید و کجا باید صبر کنید.
ایندکس چیست و مشکل را چگونه تشخیص میدهید؟
گوگل ابتدا صفحه را پیدا میکند، سپس آن را میخزد (دریافت میکند)، پس از آن محتوایش را پردازش کرده و به ایندکس اضافه میکند. صفحهای که ایندکس شود ممکن است در نتایج جستجو ظاهر شود؛ صفحهای که ایندکس نشود نمیتواند. نکته مهم: گوگل متعهد نیست هر صفحهای را که میخزد ایندکس کند. ایندکس نشدن صفحات کمارزش، تکراری یا بیتأثیر در سایت معمولاً طبیعی است. هدف این نیست که فهرست «ایندکس نشده» را خالی کنید؛ هدف مطمئن شدن از این است که صفحات ارزشمند در آن فهرست نباشند.
برای بررسی اولیه سه راه وجود دارد:
- در گوگل عبارت
site:alanadiniz.com/sayfa-adresiرا جستجو کنید (نشانهای تقریبی است و نتیجه قطعی نمیدهد). - آدرس را در کادر «بازرسی URL» در Search Console وارد کنید. برای جزئیات، راهنمای شروع کار با Search Console ما را ببینید.
- گزارش «صفحات» را در منوی کناری باز کنید و فهرست کلی صفحات ایندکسشده و ایندکسنشده را ببینید.
خواندن گزارش صفحات
گزارش صفحات به دو گروه اصلی تقسیم میشود: «ایندکس شده» و «ایندکس نشده». زیر گروه دوم، هر ردیف یک دلیل را نشان میدهد. با کلیک روی ردیف، فهرستی از آدرسهای نمونه باز میشود. این گزارش آدرسهایی را نشان میدهد که گوگل میشناسد؛ صفحاتی از سایت که گوگل هنوز کشف نکرده در آن نمیآیند.
ممکن است متن رابط کاربری و عبارات گاهی تغییر کند؛ عناوین زیر، رایجترین مواردی هستند که در رابط کاربری فارسی با آنها برخورد میکنید. هنگام بررسی فهرست دلایل، این ترتیب را رعایت کنید: ابتدا دلایلی که صفحات مهم را تحت تأثیر قرار میدهند، سپس دلایلی که تعدادشان بیشتر است.
| وضعیت | معمولاً یعنی چه؟ | اولین اقدام |
|---|---|---|
| خزیدهشده - در حال حاضر ایندکس نشده | گوگل صفحه را دیده اما ارزش افزودن به ایندکس را نداشته است | کیفیت محتوا، یکتایی، لینک داخلی |
| کشفشده - در حال حاضر ایندکس نشده | آدرس شناخته شده ولی هنوز خزیده نشده است | لینک داخلی، نقشه سایت، سرعت سرور |
| صفحه جایگزین، با canonical مناسب | صفحه به آدرس دیگری اشاره میکند | معمولاً مشکلی نیست؛ درستی آن را بررسی کنید |
| با برچسب noindex حذف شده | صفحه خودش میگوید از ایندکس خارج شود | بررسی کنید آیا عمدی است |
| مسدود شده توسط robots.txt | گوگل نمیتواند صفحه را بخزد | قانون را بازبینی کنید |
| Soft 404 | صفحه کد 200 برمیگرداند اما بیمحتوا به نظر میرسد | 404 واقعی یا افزودن محتوا |
| یافت نشد (404) | آدرس وجود ندارد | اگر حذف آن برنامهریزی شده، کاری نکنید |
«خزیدهشده - در حال حاضر ایندکس نشده»
این وضعیت نشان میدهد مشکل بیشتر در بخش کیفیت و ارزش است تا فنی. گوگل صفحه را دانلود کرده، محتوایش را دیده و فعلاً تصمیم گرفته آن را ایندکس نکند. دلایل احتمالی:
- محتوا خیلی کوتاه، قالبی یا بسیار شبیه صفحات دیگر است (محتوای نازک یا تکراری).
- صفحه تقریباً هیچ لینک داخلی از سایت دریافت نمیکند و بیاهمیت به نظر میرسد.
- ادراک کلی از کیفیت سایت پایین است و گوگل در ایندکس صفحات جدید محتاط عمل میکند.
- صفحه تازه است؛ وضعیت ممکن است بعد از چند هفته خودبهخود بهبود یابد.
کارهایی که باید انجام دهید: اطلاعات اختصاصی و مثال به صفحه اضافه کنید، صفحات مشابه را در یک صفحه قوی ادغام کنید و از مطالب مرتبط با لینک داخلی در متن استفاده کنید. راهنمای این کار، استراتژی لینکدهی داخلی ماست. فقط بارها روی «درخواست ایندکس» کلیک کردن این وضعیت را حل نمیکند؛ اگر چیزی در صفحه تغییر نکرده باشد، گوگل همان تصمیم را خواهد گرفت.
«کشفشده - در حال حاضر ایندکس نشده»
گوگل آدرس را میشناسد (از نقشه سایت یا از یک لینک) اما هنوز نوبت خزیدن آن نرسیده است. در سایتهای کوچک این وضعیت معمولاً موقتی است. اگر تعداد زیادی آدرس ماهها در این وضعیت بمانند، این موارد را بررسی کنید:
- سرعت پاسخ و خطاهای سرور: اگر سرور کند است یا خطای مکرر میدهد، گوگل ممکن است سرعت خزش را کاهش دهد.
- انبوهی آدرسهای غیرضروری: آدرسهای پارامتری، فیلترشده یا با تنوع بیپایان میتوانند ظرفیت خزش را مصرف کنند.
- کمبود لینک داخلی: آدرسهایی که فقط در نقشه سایت هستند و از هیچ صفحهای لینک نمیگیرند، اولویت پایینی دارند.
نکته: در نقشه سایت فقط آدرسهایی را بگذارید که میخواهید ایندکس شوند، کد 200 برگردانند و canonical باشند. نقشه سایتی که پر از آدرسهای خراب، ریدایرکتشده یا noindex باشد، به گوگل سیگنال متناقض میدهد.
وضعیتهای canonical و صفحات تکراری
این سه وضعیت در این گروه اغلب با هم اشتباه گرفته میشوند:
- صفحه جایگزین، با canonical مناسب: صفحه با canonical نشان میدهد آدرس دیگری نسخه اصلی است. برای آدرسهای پارامتری یا جایگزین مانند موبایل/AMP، این حالت مورد انتظار است.
- تکراری، canonical توسط کاربر انتخاب نشده: گوگل صفحه را کپی صفحهای دیگر دانسته و شما canonical تعیین نکردهاید. نسخه اصلی را صریحاً مشخص کنید.
- گوگل canonical دیگری را انتخاب کرده، متفاوت از آنچه کاربر انتخاب کرده: شما آدرسی را نشان دادهاید، گوگل آدرس دیگری را انتخاب کرده است. لینکهای داخلی، نقشه سایت و ریدایرکتها ممکن است متناقض باشند.
راهحل عملی برای وضعیت سوم این است که لینکهای داخلی، نقشه سایت و canonical همگی به یک آدرس اشاره کنند. اگر میخواهید منطق canonical را از ابتدا ببینید، مقاله برچسب canonical چیست ما را بخوانید.
noindex و مسدودسازی robots.txt
این دو مکانیزم متفاوت کار میکنند و بیشترین اشتباهات گیجکننده از خلط آنها ناشی میشود. noindex به گوگل میگوید صفحه ایندکس نشود؛ اما گوگل برای دیدن آن باید بتواند صفحه را بخزد. robots.txt خزیدن را مسدود میکند، نه اینکه صفحه را از ایندکس خارج کند.
- اگر صفحهای هم با robots.txt مسدود شود و هم noindex داشته باشد، noindex هرگز خوانده نمیشود.
- اگر هشداری مانند «ایندکس شده، اما با robots.txt مسدود شده» دیدید، یعنی آن صفحه بهخاطر لینکهای سایتهای دیگر با آدرسش ایندکس شده است. اگر واقعاً میخواهید آن را حذف کنید، مسدودسازی robots.txt را بردارید و noindex اضافه کنید.
- جا ماندن noindex گذاشتهشده در مرحله توسعه، هنگام انتقال به سرور اصلی بسیار رایج است. در کد منبع صفحات مهم به دنبال
<meta name="robots" content="noindex">بگردید. هدر پاسخ سرور به نامX-Robots-Tagهم همین اثر را دارد.
404، soft 404، خطاهای 5xx و ریدایرکتها
یافت نشد (404): برای صفحهای که حذف کردهاید طبیعی است و بهتنهایی نیاز به جریمه ندارد. اگر صفحهای با ارزش بهاشتباه 404 شود، آن را برگردانید یا به نزدیکترین جایگزین ریدایرکت 301 بدهید.
Soft 404: صفحه کد 200 برمیگرداند اما «محصول یافت نشد»، دستهبندی خالی یا محتوای تقریباً خالی نشان میدهد. اگر واقعاً وجود ندارد، کد 404/410 برگردانید؛ اگر وجود دارد، محتوایش را تقویت کنید.
خطای سرور (5xx): گوگل نمیتواند صفحه را دریافت کند. قطعیهای موقت مشکلی نیستند؛ اما اگر تداوم پیدا کند، منابع سرور و لاگها را بررسی کنید.
صفحه ریدایرکتشده: آدرس به جای دیگری هدایت میشود؛ این خطا نیست، یک اطلاع است. اگر زنجیره ریدایرکت طولانی است، آن را به یک مرحله کاهش دهید و لینکهای داخلی را مستقیماً به آدرس نهایی بدهید.
نمونه: مطالب جدید وبلاگ ایندکس نمیشوند
یک مثال فرضی: صاحب یک سایت شرکتی متوجه میشود از 20 مطلبی که در دو ماه گذشته منتشر کرده، تنها شش مطلب در ایندکس هستند. در گزارش صفحات، دلیل غالب «خزیدهشده - در حال حاضر ایندکس نشده» است. بررسی نشان میدهد بیشتر مطالب 300 تا 400 کلمهای و کلی و شبیه هماند؛ به هیچکدام از مطالب دیگر لینک داده نشده و فقط در نقشه سایت هستند. راهحل در سه گام انجام میشود: مطالب مشابه در یک راهنمای جامع ادغام میشوند، به بقیه نمونه و تصویر اختصاصی اضافه میشود و از صفحات مرتبط با لینک داخلی در متن استفاده میشود. پس از این نوع اصلاح، ایندکس شدن صفحات معمولاً چند هفته طول میکشد؛ درخواست ایندکس بدون تغییر در محتوا نتیجهای ندارد.
درس این مثال این است: نام وضعیت اغلب نشانه را میگوید اما علت را نه. برای یافتن علت باید صفحه را با چشم گوگل خواند؛ پاسخ صادقانه به پرسش «آیا این صفحه نسبت به نتایج موجود در همین موضوع سودمندتر است؟» نشان میدهد راهحل بسیاری از مشکلات «خزیدهشده اما ایندکسنشده» کجاست.
تأیید رفع مشکل و درخواست ایندکس
پس از رفع مشکل، در سطر دلیل مربوط، گزینه «تأیید رفع مشکل» را به کار ببرید. گوگل آدرسهای نمونه را دوباره بررسی میکند و نتیجه را ظرف چند روز تا چند هفته اعلام میکند. برای صفحات مهم تکتک، در بازرسی URL گزینه «درخواست ایندکس» هم وجود دارد؛ اما سهمیه روزانهاش محدود است و مشکل را حل نمیکند، فقط میتواند خزش مجدد را سریعتر کند. ترتیب درست این است:
- علت را شناسایی کنید (کد منبع، کد وضعیت، robots.txt).
- صفحه را اصلاح کنید؛ اگر مشکل محتوایی است، واقعاً بهبودش دهید.
- نقشه سایت و لینکهای داخلی را بهروز کنید.
- URL زنده را آزمایش کنید، سپس درخواست ایندکس بدهید و تأیید را آغاز کنید.
- دو تا سه هفته بعد گزارش را دوباره باز کنید و نتیجه را مقایسه کنید.
برای پایش اینکه صفحات ایندکسشده ترافیک میآورند یا نه، یادگیری خواندن گزارش عملکرد مفید است.
اشتباه رایج: پس از حذف گروهی یا ادغام صفحات، آدرسهای قدیمی را 404 رها کردن. اگر صفحهای را که ترافیک یا لینک دارد حذف میکنید، به نزدیکترین صفحه مرتبط ریدایرکت 301 یکمرحلهای بدهید؛ ریدایرکت گروهی به صفحات نامرتبط ممکن است توسط گوگل soft 404 ارزیابی شود.
پرسشهای متداول
صفحه جدید من چند روزه ایندکس میشود؟
زمان قطعی وجود ندارد. در سایتهای فعال که محتوای منظم تولید میکنند، چند روز کافی است؛ در سایتهای جدید با لینک کم، ممکن است هفتهها طول بکشد. لینک داخلی و نقشه سایت این زمان را کوتاه میکنند.
آیا باید هر صفحهای را که ایندکس نمیشود اصلاح کنم؟
خیر. صفحات فیلتر، صفحات تشکر و آدرسهای تکراری نمونههایی هستند که نبودنشان در ایندکس مطلوب است. روی صفحات محتوایی مهم تمرکز کنید.
آیا ارسال روزانه درخواست ایندکس مفید است؟
خیر. اگر صفحه تغییری نکرده باشد، نتیجه عوض نمیشود و سهمیه شما هم هدر میرود.
صفحه از ایندکس خارج شده؛ چرا؟
ممکن است کیفیت صفحه افت کرده باشد، noindex یا 404 برگردانده باشد، canonical تغییر کرده باشد یا سرور در دسترس نباشد. ابتدا تست زنده را در بازرسی URL اجرا کنید.
نتیجهگیری
حل مشکلات ایندکس، در خواندن درست دلیل در گزارش صفحات و جدا کردن مشکل فنی از مشکل کیفیت است. موانع (noindex، robots.txt، 5xx) سریع رفع میشوند؛ اما صفحات «خزیدهشده و ایندکسنشده» به محتوای بهتر و لینک داخلی قویتر نیاز دارند. پس از اینکه صفحات ایندکس شدند، نوبت به افزایش دیدهشدن و کلیک میرسد؛ برای این مرحله، چکلیست سئوی فنی ما کمک میکند بقیه سایت را هم بهصورت سیستماتیک بررسی کنید.