İçeriğe geç
TR · $
Panele Giriş Paket Al
Teknik SEO

robots.txt Nedir, Nasıl Yazılır? Örnekler ve Sık Hatalar

6 dakika okuma

robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi adreslere girebileceklerini, hangilerine girmemeleri gerektiğini söyleyen küçük bir metin dosyasıdır. Tek satırlık bir hata, tüm sitenin taranmasını durdurabilir; doğru yazılmış bir dosya ise tarama kaynağını önemli sayfalara yönlendirir. Bu rehberde robots.txt dosyasının ne işe yaradığını, nasıl yazılacağını, hangi yönergelerin Google tarafından desteklendiğini ve en sık yapılan hataları örneklerle anlatıyoruz.

robots.txt nedir?

robots.txt, "Robot Hariç Tutma Protokolü" olarak bilinen standardın dosyasıdır. Düz metin (UTF-8) biçimindedir ve mutlaka alan adının kökünde olmalıdır: https://www.ornek.com/robots.txt. Alt klasöre konan bir robots.txt dikkate alınmaz. Her alt alan adı (örneğin blog.ornek.com) ve her protokol/port birleşimi kendi dosyasına ihtiyaç duyar.

Dosyanın amacı tarama trafiğini yönetmektir: yönetim paneli, sepet, iç arama sonuçları veya sonsuz sayıda parametreli filtre adresi gibi değeri olmayan alanlara botların zaman harcamasını önlemek. Güvenlik aracı değildir; dosyayı herkes okuyabilir, bu yüzden gizli tutmak istediğiniz bir klasörün adını buraya yazmak onu ifşa etmekten başka işe yaramaz. Gizli içerik için parola veya yetkilendirme kullanın.

Arama motorları robots.txt'i nasıl kullanır?

Bot, bir sitede herhangi bir sayfayı taramadan önce robots.txt dosyasını ister ve içindeki kuralları okur. Kurallar "kullanıcı aracısı" (user-agent) bazında gruplanır; bot kendisine en uygun grubu seçer ve yalnız onu uygular. Birkaç önemli ayrıntı:

  • Dosya bulunamazsa (404 gibi 4xx yanıtı) Google bunu "kısıtlama yok" olarak yorumlar ve siteyi serbestçe tarar.
  • Sunucu 5xx hatası dönüyorsa Google taramayı temkinli biçimde yavaşlatır veya durdurur; yani robots.txt adresinin sağlıklı yanıt vermesi önemlidir.
  • Google, dosyanın yalnız ilk 500 KiB'ını işler; çok büyük dosyalar kesilir.
  • Yol kuralları büyük/küçük harfe duyarlıdır: /Admin/ ile /admin/ farklı yollardır.
  • Google, dosyayı her istekte yeniden indirmez; önbellekte tutar. Yaptığınız değişikliğin etkisi hemen değil, bir süre sonra görünür.

Temel söz dizimi ve yönergeler

Google'ın desteklediği yönergeler dört taneyle sınırlıdır. Aşağıdaki tablo, hangisinin ne işe yaradığını özetler.

YönergeNe yapar?Örnek
User-agentKuralın hangi bota ait olduğunu belirtir; * tüm botlar demektir.User-agent: Googlebot
DisallowBelirtilen yolun taranmasını engeller.Disallow: /sepet/
AllowEngellenmiş bir klasör içindeki belirli yola izin verir.Allow: /sepet/yardim.html
SitemapSitemap dosyasının tam adresini bildirir; gruptan bağımsızdır.Sitemap: https://www.ornek.com/sitemap.xml

İki joker karakter kullanılabilir: * (herhangi bir karakter dizisi) ve $ (adresin sonu). Örneğin Disallow: /*.pdf$ adresi .pdf ile biten her yolu, Disallow: /*?sirala= ise "sirala" parametreli adresleri kapsar. Bir adres hem Allow hem Disallow kuralına uyuyorsa, Google daha belirgin (daha uzun) kuralı uygular.

Desteklenmeyenler: Crawl-delay Google tarafından yok sayılır (bazı diğer arama motorları okuyabilir). Noindex satırı da 2019'dan beri robots.txt içinde geçerli değildir. Dizinden çıkarmak için sayfaya noindex meta etiketi veya HTTP başlığı eklemek gerekir.

Örnek bir robots.txt dosyası

Bir kurumsal site veya küçük e-ticaret sitesi için makul bir başlangıç şablonu şöyle olabilir:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=

Sitemap: https://www.ornek.com/sitemap.xml

Bu dosya tüm botlara yönetim, sepet, ödeme ve iç arama sayfalarını, ayrıca sıralama ve oturum parametreli adresleri taratmaz; geri kalan her şeye izin verir. Bir WordPress sitesinde sık görülen kural Disallow: /wp-admin/ ve Allow: /wp-admin/admin-ajax.php çiftidir. Kendi sitenizde hangi yolların değersiz olduğunu belirlemek için önce Search Console'daki tarama istatistiklerine ve sunucu günlüklerine bakın; bakmadan kopyalanan hazır şablonlar çoğu zaman gereğinden fazlasını engeller.

Farklı botlar için ayrı kurallar

Dosyada birden fazla grup tanımlayabilirsiniz. Her grup bir veya daha fazla User-agent satırıyla başlar, ardından kurallar gelir. Bot, adına en uygun tek grubu seçer; genel gruptaki (*) kuralları ayrıca eklemez. Bu yüzden belirli bir bot için grup yazdığınızda ortak kuralları o gruba da tekrarlamanız gerekir.

User-agent: *
Disallow: /yonetim/
Disallow: /arama/

User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/

Sitemap: https://www.ornek.com/sitemap.xml

Yukarıdaki örnekte Googlebot-Image yalnız kendi grubunu uygular; bu yüzden /yonetim/ kuralı o grupta da yer alıyor. Gruplar arasına boş satır koymak okunabilirliği artırır. Satır başına # koyarak yorum yazabilirsiniz; bu satırlar yok sayılır. Kuralları gereksiz kalabalıklaştırmayın: bakımı yapılmayan, yıllar içinde şişmiş bir robots.txt, hangi kuralın neden orada olduğunu kimsenin bilmediği bir risk kaynağına dönüşür. Her kuralın yanına nedenini kısa bir yorumla yazmak iyi bir alışkanlıktır.

Taramayı engellemek, dizinden çıkarmak değildir

En sık karıştırılan nokta budur. robots.txt yalnızca taramayı kısıtlar. Engellenen bir adres başka sitelerden veya iç linklerden link alıyorsa, Google içeriği hiç görmeden adresi yine de dizine ekleyebilir; sonuçlarda açıklamasız, yalnız adresle görünür. Daha da kötüsü, sayfayı hem robots.txt ile engelleyip hem noindex koyarsanız Google sayfaya giremediği için noindex'i hiç göremez.

AmacınızDoğru yöntem
Değersiz adreslerde tarama bütçesi harcanmasınrobots.txt ile Disallow
Sayfa arama sonuçlarında görünmesinSayfayı taramaya açık bırakıp noindex etiketi
İçerik herkesten gizli kalsınParola/yetkilendirme (robots.txt güvenlik sağlamaz)
Kopya adreslerin sinyali birleşsin301 yönlendirme veya canonical (canonical rehberimize bakın)

Küçük site mi, büyük site mi? Birkaç yüz sayfalık bir sitede robots.txt'in tarama verimliliğine etkisi sınırlıdır; asıl değeri yanlış alanları dışarıda tutmak ve sitemap'i duyurmaktır. Yüz binlerce adresi olan, filtreli e-ticaret veya ilan siteleri için ise gereksiz adres kombinasyonlarını taramadan çıkarmak gerçekten fark yaratır.

En sık yapılan hatalar

  1. Tüm siteyi engellemek. Disallow: / satırı, geliştirme ortamından canlıya taşınan dosyalarla birlikte gelirse site taranamaz hale gelir. Yeni sürüm yayınlarken robots.txt'i mutlaka kontrol edin.
  2. CSS ve JavaScript klasörlerini engellemek. Google sayfayı oluşturup mobil uyumunu değerlendirirken bu dosyalara ihtiyaç duyar. Engellenirse sayfa eksik görünebilir.
  3. Sitemap'te yer alan adresleri engellemek. Bir yandan "bunu dizine ekle" deyip diğer yandan "girme" demek tutarsızdır; Search Console bunu uyarı olarak gösterir.
  4. noindex'i robots.txt'ye yazmak. Yukarıda anlatıldığı gibi artık çalışmaz.
  5. Yanlış konuma koymak. Dosya kökte değilse veya adı Robots.TXT gibi farklıysa kural sayılmaz.
  6. Gereğinden geniş yol yazmak. Disallow: /urun yalnızca "urun" klasörünü değil, /urunler/ ve /urun-detay.html gibi "/urun" ile başlayan tüm adresleri kapsar. Klasör kastediyorsanız sonuna eğik çizgi koyun.
  7. Sayfaları taramaya kapatıp sonra 301 beklemek. Yönlendirilen eski adresleri engellerseniz bot yönlendirmeyi göremez.

Yayına almadan önce test

Dosyayı değiştirmeden önce mevcut sürümün bir yedeğini alın. Ardından şu adımları izleyin:

  1. Dosyayı tarayıcıda açın (/robots.txt) ve 200 durum koduyla düz metin olarak geldiğini doğrulayın.
  2. Search Console'da Ayarlar → robots.txt raporunu açın; Google'ın son indirdiği sürümü, sözdizimi hatalarını ve uyarıları gösterir.
  3. Önemli birkaç sayfa için URL Denetimi aracını kullanın; "robots.txt tarafından engellendi" ibaresi görüyorsanız kuralı gözden geçirin.
  4. Yayından sonraki hafta Sayfalar raporunda "robots.txt tarafından engellendi" başlığındaki adet beklenmedik artıyor mu diye bakın. Genel indeksleme sorunlarının teşhisi için Google indeksleme sorunları rehberimiz işinize yarayacaktır.

Resmî belgeler için Google Search Central'daki robots.txt kılavuzuna göz atabilirsiniz. robots.txt, genel sağlık kontrolünün yalnız bir kalemidir; tüm kalemler için teknik SEO kontrol listemizi kullanın.

Sık sorulan sorular

robots.txt zorunlu mu?

Hayır. Dosya yoksa botlar siteyi serbestçe tarar. Ancak engellemek istediğiniz alanlar varsa veya sitemap adresini bildirmek istiyorsanız oluşturmanız yararlıdır.

robots.txt değişikliğim ne zaman etkili olur?

Google dosyayı önbellekte tutar ve genellikle en geç bir gün içinde yeniler; yani etkinin görünmesi birkaç saat ile bir gün arasında değişebilir. Acil durumda Search Console robots.txt raporundan yeniden tarama istenebilir.

Yapay zekâ botlarını robots.txt ile engelleyebilir miyim?

Kurallara uyan botlar için evet; her botun kendi user-agent adı vardır ve ayrı bir grup olarak yazılabilir. Ancak robots.txt bir istektir, zorlama değildir; kurallara uymayan botları durdurmaz.

Disallow koyduğum sayfa neden hâlâ Google'da çıkıyor?

Çünkü Disallow dizinden çıkarma komutu değildir. Adres, başka yerlerden link aldığı için içeriksiz olarak listelenebilir. Çözüm: engeli kaldırıp sayfaya noindex eklemek veya sayfayı tamamen kaldırmak.

Sonuç

robots.txt küçük bir dosyadır ama sonuçları büyüktür. Kural basit: yalnız gerçekten değersiz olan alanları engelleyin, CSS/JS dosyalarına dokunmayın, sitemap adresini ekleyin ve dizinden çıkarma amacıyla kullanmayın. Her yayından sonra dosyayı Search Console'dan doğrulamak ve önemli sayfaların taranabilir olduğunu görmek, çoğu felaketi baştan önler. Sıradaki adım olarak sitemap dosyanızı hazırlamak için XML sitemap rehberimize geçebilirsiniz.

Anahtar kelimenizde tıklama mı eksik?

HitBot, hedeflediğiniz kelimede arama yapıp sitenizi bulan ve tıklayan gerçek oturumlar üretir. Sonuç Search Console'da gösterim ve tıklama olarak birikir.

Diğer yazılar