robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi adreslere girebileceklerini, hangilerine girmemeleri gerektiğini söyleyen küçük bir metin dosyasıdır. Tek satırlık bir hata, tüm sitenin taranmasını durdurabilir; doğru yazılmış bir dosya ise tarama kaynağını önemli sayfalara yönlendirir. Bu rehberde robots.txt dosyasının ne işe yaradığını, nasıl yazılacağını, hangi yönergelerin Google tarafından desteklendiğini ve en sık yapılan hataları örneklerle anlatıyoruz.
robots.txt nedir?
robots.txt, "Robot Hariç Tutma Protokolü" olarak bilinen standardın dosyasıdır. Düz metin
(UTF-8) biçimindedir ve mutlaka alan adının kökünde olmalıdır: https://www.ornek.com/robots.txt.
Alt klasöre konan bir robots.txt dikkate alınmaz. Her alt alan adı (örneğin blog.ornek.com)
ve her protokol/port birleşimi kendi dosyasına ihtiyaç duyar.
Dosyanın amacı tarama trafiğini yönetmektir: yönetim paneli, sepet, iç arama sonuçları veya sonsuz sayıda parametreli filtre adresi gibi değeri olmayan alanlara botların zaman harcamasını önlemek. Güvenlik aracı değildir; dosyayı herkes okuyabilir, bu yüzden gizli tutmak istediğiniz bir klasörün adını buraya yazmak onu ifşa etmekten başka işe yaramaz. Gizli içerik için parola veya yetkilendirme kullanın.
Arama motorları robots.txt'i nasıl kullanır?
Bot, bir sitede herhangi bir sayfayı taramadan önce robots.txt dosyasını ister ve içindeki kuralları okur. Kurallar "kullanıcı aracısı" (user-agent) bazında gruplanır; bot kendisine en uygun grubu seçer ve yalnız onu uygular. Birkaç önemli ayrıntı:
- Dosya bulunamazsa (404 gibi 4xx yanıtı) Google bunu "kısıtlama yok" olarak yorumlar ve siteyi serbestçe tarar.
- Sunucu 5xx hatası dönüyorsa Google taramayı temkinli biçimde yavaşlatır veya durdurur; yani robots.txt adresinin sağlıklı yanıt vermesi önemlidir.
- Google, dosyanın yalnız ilk 500 KiB'ını işler; çok büyük dosyalar kesilir.
- Yol kuralları büyük/küçük harfe duyarlıdır:
/Admin/ile/admin/farklı yollardır. - Google, dosyayı her istekte yeniden indirmez; önbellekte tutar. Yaptığınız değişikliğin etkisi hemen değil, bir süre sonra görünür.
Temel söz dizimi ve yönergeler
Google'ın desteklediği yönergeler dört taneyle sınırlıdır. Aşağıdaki tablo, hangisinin ne işe yaradığını özetler.
| Yönerge | Ne yapar? | Örnek |
|---|---|---|
User-agent | Kuralın hangi bota ait olduğunu belirtir; * tüm botlar demektir. | User-agent: Googlebot |
Disallow | Belirtilen yolun taranmasını engeller. | Disallow: /sepet/ |
Allow | Engellenmiş bir klasör içindeki belirli yola izin verir. | Allow: /sepet/yardim.html |
Sitemap | Sitemap dosyasının tam adresini bildirir; gruptan bağımsızdır. | Sitemap: https://www.ornek.com/sitemap.xml |
İki joker karakter kullanılabilir: * (herhangi bir karakter dizisi) ve $
(adresin sonu). Örneğin Disallow: /*.pdf$ adresi .pdf ile biten her yolu, Disallow: /*?sirala=
ise "sirala" parametreli adresleri kapsar. Bir adres hem Allow hem Disallow kuralına uyuyorsa, Google
daha belirgin (daha uzun) kuralı uygular.
Desteklenmeyenler: Crawl-delay Google tarafından yok sayılır (bazı diğer arama
motorları okuyabilir). Noindex satırı da 2019'dan beri robots.txt içinde geçerli değildir.
Dizinden çıkarmak için sayfaya noindex meta etiketi veya HTTP başlığı eklemek gerekir.
Örnek bir robots.txt dosyası
Bir kurumsal site veya küçük e-ticaret sitesi için makul bir başlangıç şablonu şöyle olabilir:
User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=
Sitemap: https://www.ornek.com/sitemap.xml
Bu dosya tüm botlara yönetim, sepet, ödeme ve iç arama sayfalarını, ayrıca sıralama ve oturum
parametreli adresleri taratmaz; geri kalan her şeye izin verir. Bir WordPress sitesinde sık görülen
kural Disallow: /wp-admin/ ve Allow: /wp-admin/admin-ajax.php çiftidir.
Kendi sitenizde hangi yolların değersiz olduğunu belirlemek için önce Search Console'daki tarama
istatistiklerine ve sunucu günlüklerine bakın; bakmadan kopyalanan hazır şablonlar çoğu zaman gereğinden
fazlasını engeller.
Farklı botlar için ayrı kurallar
Dosyada birden fazla grup tanımlayabilirsiniz. Her grup bir veya daha fazla User-agent
satırıyla başlar, ardından kurallar gelir. Bot, adına en uygun tek grubu seçer; genel
gruptaki (*) kuralları ayrıca eklemez. Bu yüzden belirli bir bot için grup yazdığınızda
ortak kuralları o gruba da tekrarlamanız gerekir.
User-agent: *
Disallow: /yonetim/
Disallow: /arama/
User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/
Sitemap: https://www.ornek.com/sitemap.xml
Yukarıdaki örnekte Googlebot-Image yalnız kendi grubunu uygular; bu yüzden /yonetim/ kuralı
o grupta da yer alıyor. Gruplar arasına boş satır koymak okunabilirliği artırır. Satır başına #
koyarak yorum yazabilirsiniz; bu satırlar yok sayılır. Kuralları gereksiz kalabalıklaştırmayın:
bakımı yapılmayan, yıllar içinde şişmiş bir robots.txt, hangi kuralın neden orada olduğunu kimsenin
bilmediği bir risk kaynağına dönüşür. Her kuralın yanına nedenini kısa bir yorumla yazmak iyi bir
alışkanlıktır.
Taramayı engellemek, dizinden çıkarmak değildir
En sık karıştırılan nokta budur. robots.txt yalnızca taramayı kısıtlar. Engellenen bir adres başka sitelerden veya iç linklerden link alıyorsa, Google içeriği hiç görmeden adresi yine de dizine ekleyebilir; sonuçlarda açıklamasız, yalnız adresle görünür. Daha da kötüsü, sayfayı hem robots.txt ile engelleyip hem noindex koyarsanız Google sayfaya giremediği için noindex'i hiç göremez.
| Amacınız | Doğru yöntem |
|---|---|
| Değersiz adreslerde tarama bütçesi harcanmasın | robots.txt ile Disallow |
| Sayfa arama sonuçlarında görünmesin | Sayfayı taramaya açık bırakıp noindex etiketi |
| İçerik herkesten gizli kalsın | Parola/yetkilendirme (robots.txt güvenlik sağlamaz) |
| Kopya adreslerin sinyali birleşsin | 301 yönlendirme veya canonical (canonical rehberimize bakın) |
Küçük site mi, büyük site mi? Birkaç yüz sayfalık bir sitede robots.txt'in tarama verimliliğine etkisi sınırlıdır; asıl değeri yanlış alanları dışarıda tutmak ve sitemap'i duyurmaktır. Yüz binlerce adresi olan, filtreli e-ticaret veya ilan siteleri için ise gereksiz adres kombinasyonlarını taramadan çıkarmak gerçekten fark yaratır.
En sık yapılan hatalar
- Tüm siteyi engellemek.
Disallow: /satırı, geliştirme ortamından canlıya taşınan dosyalarla birlikte gelirse site taranamaz hale gelir. Yeni sürüm yayınlarken robots.txt'i mutlaka kontrol edin. - CSS ve JavaScript klasörlerini engellemek. Google sayfayı oluşturup mobil uyumunu değerlendirirken bu dosyalara ihtiyaç duyar. Engellenirse sayfa eksik görünebilir.
- Sitemap'te yer alan adresleri engellemek. Bir yandan "bunu dizine ekle" deyip diğer yandan "girme" demek tutarsızdır; Search Console bunu uyarı olarak gösterir.
- noindex'i robots.txt'ye yazmak. Yukarıda anlatıldığı gibi artık çalışmaz.
- Yanlış konuma koymak. Dosya kökte değilse veya adı
Robots.TXTgibi farklıysa kural sayılmaz. - Gereğinden geniş yol yazmak.
Disallow: /urunyalnızca "urun" klasörünü değil,/urunler/ve/urun-detay.htmlgibi "/urun" ile başlayan tüm adresleri kapsar. Klasör kastediyorsanız sonuna eğik çizgi koyun. - Sayfaları taramaya kapatıp sonra 301 beklemek. Yönlendirilen eski adresleri engellerseniz bot yönlendirmeyi göremez.
Yayına almadan önce test
Dosyayı değiştirmeden önce mevcut sürümün bir yedeğini alın. Ardından şu adımları izleyin:
- Dosyayı tarayıcıda açın (
/robots.txt) ve 200 durum koduyla düz metin olarak geldiğini doğrulayın. - Search Console'da Ayarlar → robots.txt raporunu açın; Google'ın son indirdiği sürümü, sözdizimi hatalarını ve uyarıları gösterir.
- Önemli birkaç sayfa için URL Denetimi aracını kullanın; "robots.txt tarafından engellendi" ibaresi görüyorsanız kuralı gözden geçirin.
- Yayından sonraki hafta Sayfalar raporunda "robots.txt tarafından engellendi" başlığındaki adet beklenmedik artıyor mu diye bakın. Genel indeksleme sorunlarının teşhisi için Google indeksleme sorunları rehberimiz işinize yarayacaktır.
Resmî belgeler için Google Search Central'daki robots.txt kılavuzuna göz atabilirsiniz. robots.txt, genel sağlık kontrolünün yalnız bir kalemidir; tüm kalemler için teknik SEO kontrol listemizi kullanın.
Sık sorulan sorular
robots.txt zorunlu mu?
Hayır. Dosya yoksa botlar siteyi serbestçe tarar. Ancak engellemek istediğiniz alanlar varsa veya sitemap adresini bildirmek istiyorsanız oluşturmanız yararlıdır.
robots.txt değişikliğim ne zaman etkili olur?
Google dosyayı önbellekte tutar ve genellikle en geç bir gün içinde yeniler; yani etkinin görünmesi birkaç saat ile bir gün arasında değişebilir. Acil durumda Search Console robots.txt raporundan yeniden tarama istenebilir.
Yapay zekâ botlarını robots.txt ile engelleyebilir miyim?
Kurallara uyan botlar için evet; her botun kendi user-agent adı vardır ve ayrı bir grup olarak yazılabilir. Ancak robots.txt bir istektir, zorlama değildir; kurallara uymayan botları durdurmaz.
Disallow koyduğum sayfa neden hâlâ Google'da çıkıyor?
Çünkü Disallow dizinden çıkarma komutu değildir. Adres, başka yerlerden link aldığı için içeriksiz olarak listelenebilir. Çözüm: engeli kaldırıp sayfaya noindex eklemek veya sayfayı tamamen kaldırmak.
Sonuç
robots.txt küçük bir dosyadır ama sonuçları büyüktür. Kural basit: yalnız gerçekten değersiz olan alanları engelleyin, CSS/JS dosyalarına dokunmayın, sitemap adresini ekleyin ve dizinden çıkarma amacıyla kullanmayın. Her yayından sonra dosyayı Search Console'dan doğrulamak ve önemli sayfaların taranabilir olduğunu görmek, çoğu felaketi baştan önler. Sıradaki adım olarak sitemap dosyanızı hazırlamak için XML sitemap rehberimize geçebilirsiniz.