Tarama bütçesi (crawl budget), Googlebot'un sitenizde belirli bir sürede taramaya hazır olduğu ve taramak istediği sayfa miktarıdır. Çoğu küçük ve orta ölçekli site için bu konu bir sorun değildir; Google'ın kendi belgeleri de bunu açıkça söyler. Buna karşılık yüz binlerce adresi olan e-ticaret, ilan ve haber siteleri için tarama bütçesi, yeni sayfaların ne kadar hızlı keşfedileceğini belirleyebilir. Bu yazı, konunun kimi ilgilendirdiğini, neyin bütçeyi boşa harcadığını ve gerçekten işe yarayan adımları abartısız anlatıyor.
Tarama bütçesi nedir?
Googlebot sitenizdeki her adresi her gün taramaz. Kaynakları sınırlıdır ve milyarlarca site arasında paylaştırır. Bir sitede ayrılan tarama miktarına gayriresmî olarak tarama bütçesi denir. Önemli olan şu: bütçe bir sıralama faktörü değildir. Daha çok taranmak daha üst sıra anlamına gelmez; yalnızca sayfalarınızın daha hızlı keşfedilip güncellenmesine yardım eder.
İki bileşen: tarama kapasitesi ve talep
| Bileşen | Anlamı | Neye bağlı? |
|---|---|---|
| Tarama kapasitesi sınırı | Sunucunuzu yormadan Googlebot'un yapabileceği eşzamanlı istek miktarı | Sunucu yanıt hızı, hata oranı (5xx), barındırma kaynakları |
| Tarama talebi | Google'ın sitenizi ne kadar taramak istediği | Sitenin boyutu, popülerliği, içeriğin ne kadar sık değiştiği ve "eski kalma" durumu |
Gerçek tarama miktarı bu ikisinin küçüğüdür. Sunucunuz yavaşlar ya da sık 5xx hatası verirse Google kapasiteyi düşürür. Sayfalarınız düşük kaliteli ve ilgi çekmiyorsa talep zaten düşük olur. Yani kapasiteyi artırmak için barındırma performansı, talebi artırmak için içerik kalitesi ve popülerlik belirleyicidir.
Kimleri ilgilendirir?
Google'ın büyük site sahipleri için hazırladığı kılavuza göre tarama bütçesi yönetimi şu sitelerde anlamlıdır:
- Yaklaşık bir milyon veya daha fazla benzersiz sayfası olan ve içeriği orta sıklıkla (haftada bir gibi) değişen siteler.
- On bin veya daha fazla sayfası olan ve içeriği çok sık (günlük) değişen siteler.
- Search Console'da çok sayıda adresi "Keşfedildi - şu anda dizine eklenmedi" durumunda olan siteler.
Yüzlerce ya da birkaç bin sayfalık bir kurumsal site, blog veya küçük mağaza bu gruba girmez. Bu sitelerde yeni sayfanın dizine geç girmesi genellikle tarama bütçesinden değil; içerik kalitesinden, iç linkten ya da teknik bir engelden kaynaklanır. Önce indeksleme sorunları rehberimizdeki nedenleri eleyin.
Dürüst not: Küçük bir sitede "tarama bütçemi artırmalıyım" diye uğraşmak çoğu zaman yanlış sorunu çözmektir. Önce sayfanın taranabilir, indekslenebilir ve gerçekten değerli olup olmadığına bakın.
Tarama bütçesini ne israf eder?
Google'ın belirttiği başlıca israf kaynakları şunlardır:
- Filtre ve sıralama kombinasyonları (faceted navigation): Bir kategoride renk, beden, fiyat ve sıralama seçenekleri birleştiğinde aynı ürün listesi için binlerce parametreli adres oluşabilir.
- Oturum kimlikleri ve takip parametreleri: Her ziyaretçiye farklı URL üreten yapılar.
- Kopya içerik: Aynı sayfanın birden çok adreste bulunması. Birleştirmek için canonical etiketine bakın.
- Soft 404 ve 404 sayfaları: Var olmayan ama taranmaya devam eden adresler. Bkz. 404 hataları ve SEO.
- Uzun yönlendirme zincirleri: Her adım ayrı istek harcar. Bkz. 301 ve 302 farkı.
- Sonsuz alanlar: Takvim, "sonraki ay" bağlantıları gibi sonu gelmeyen URL üretimi.
- Düşük kaliteli ve ince sayfalar: Taranır ama dizine girmez, bütçeyi tüketir.
- Yavaş sunucu: Yanıt süresi uzadıkça Googlebot aynı sürede daha az sayfa tarar.
Nasıl ölçülür?
- Tarama istatistikleri raporu: Search Console'da Ayarlar bölümündeki "Tarama istatistikleri" raporu günlük istek sayısını, ortalama yanıt süresini, yanıt kodlarının dağılımını ve dosya türlerini gösterir. Önce toplam istek ve 5xx/404 oranlarındaki ani değişimlere bakın.
- Sunucu günlükleri: Hangi adreslerin ne kadar tarandığını kesin gösteren tek kaynaktır. Googlebot'un en çok hangi parametreli adreslere, hangi klasörlere gittiğini buradan görürsünüz.
- Sayfalar raporu: "Keşfedildi - şu anda dizine eklenmedi" ve "Taranan - şu anda dizine eklenmedi" durumlarının sayısı ve örnek adresleri.
- Sitemap karşılaştırması: Sitemap'teki adres sayısıyla günlüklerde taranan benzersiz adres sayısını kıyaslayın.
Örnek bir senaryo: 20.000 ürünlü bir mağazada günlükte Googlebot isteklerinin büyük kısmı
?renk=...&beden=...&sirala=... gibi parametreli adreslere gidiyorsa ve yeni ürünler
günlerce dizine girmiyorsa, sorun büyük olasılıkla bütçenin filtre kombinasyonlarına gitmesidir.
(Bu bir varsayımsal örnektir; kendi sitenizde günlükle doğrulayın.)
Optimizasyon adımları
- URL envanterini yönetin. Taranmasını istemediğiniz alanları (iç arama sonuçları, değerli olmayan filtre kombinasyonları)
robots.txtile engelleyin. Kuralların nasıl yazılacağı için robots.txt rehberimize bakın. - Kopyaları birleştirin. Aynı içeriğe giden adresleri yönlendirme veya canonical ile tek adrese toplayın.
- Kalıcı silinen içerik için 404 veya 410 verin. Google bilinen bir adresi unutmaz, ama 404/410 onu taramayı azaltmak için güçlü bir işarettir.
- Soft 404'leri temizleyin. Boş veya "bulunamadı" diyen sayfalar gerçek durum kodu döndürsün.
- Sitemap'i güncel tutun. Yalnız indekslenmesini istediğiniz, 200 dönen adresleri koyun ve
lastmoddeğerini gerçek güncellemeyle eşleştirin. Ayrıntılar için XML sitemap rehberimize bakabilirsiniz. - Yönlendirme zincirlerini kısaltın ve iç linkleri doğrudan son adrese verin.
- Sayfa yükleme ve sunucu hızını iyileştirin. Sunucu hızlandıkça kapasite sınırı yükselebilir. Önbellekleme ve barındırma kalitesi burada belirleyicidir.
- İç linklerle önemli sayfaları öne çıkarın. Ana sayfaya ve sık taranan sayfalara yakın olan sayfalar daha kolay keşfedilir. İç linkleme stratejisi yazımız bu konuyu işliyor.
- Sunucu sağlığını izleyin. Aşırı yüklenme, 5xx ve 429 yanıtları Googlebot'un yavaşlamasına yol açar.
Örnek: filtreli bir kategori sayfasını yönetmek
Tarama bütçesi sorunlarının en tipik kaynağı filtreli gezinmedir. Bir ayakkabı kategorisinde renk, beden, marka ve sıralama seçeneklerinin her kombinasyonu ayrı bir adres üretirse, yüz ürünlük bir liste binlerce taranabilir adrese dönüşebilir. Karar vermek için şu soruyu sorun: Bu filtre kombinasyonu için insanlar gerçekten arama yapıyor mu?
- Evet (ör. "siyah spor ayakkabı"): Sayfayı özgün başlık, açıklama ve içerikle ayrı bir hedef sayfa olarak geliştirin, iç linkle destekleyin ve taranabilir bırakın.
- Hayır (ör. "beden 42 + fiyata göre artan"): Taramayı robots.txt ile sınırlayın veya bu adreslerin sayfa içi linklerle yaygın olarak üretilmesini engelleyin; canonical ile asıl kategoriye bağlayın.
- Sıralama ve oturum parametreleri hiçbir zaman dizinde olmamalıdır; hepsi tek adrese toplanmalıdır.
Not: robots.txt ile engellenen adreslerdeki canonical etiketini Google göremez. Bu yüzden aynı adresler için hem engelleme hem canonical'a güvenmeyin; hangisini seçtiğinize bilinçli karar verin.
Yanlış bilinenler
| Yaygın inanış | Gerçek |
|---|---|
| "Noindex tarama bütçesini kurtarır." | Hayır. Googlebot noindex'li sayfayı da ister; yalnızca dizine koymaz. Taramayı azaltmak için robots.txt, dizinden çıkarmak için noindex kullanılır; ikisinin farkını bilin. |
| "Daha çok taranırsam daha iyi sıralanırım." | Tarama miktarı sıralama sinyali değildir. |
| "Search Console'dan tarama hızını yükseltebilirim." | Google eski tarama hızı sınırlama aracını kaldırdı; hız otomatik belirlenir. |
| "Her sitenin bütçe sorunu vardır." | Çoğu site için konu geçerli değildir; yalnız çok büyük veya çok hızlı değişen sitelerde belirgindir. |
| "Sık sitemap göndermek taramayı artırır." | Sitemap keşfe yardım eder, ama taramayı zorlamaz. Önemli olan sitemap'in doğru ve güncel olmasıdır. |
Bütün bu adımlar teknik denetiminizin parçasıdır; genel bir kontrol sırası için teknik SEO kontrol listemizi kullanın. JavaScript ile üretilen sitelerde tarama ve işleme ayrıca zaman alacağı için JavaScript SEO temelleri yazımıza da göz atın. Google'ın resmî kılavuzu büyük sitelerde tarama bütçesi yönetimi sayfasındadır.
Sık sorulan sorular
Tarama bütçemi nasıl öğrenirim?
Tek bir sabit sayı yoktur. Search Console'daki Tarama istatistikleri raporu günlük istek sayısını gösterir; sunucu günlükleri ise adres bazında ayrıntıyı verir.
Küçük sitem için tarama bütçesi önemli mi?
Genellikle değil. Birkaç bin sayfaya kadar olan sitelerde asıl odak içerik kalitesi, iç linkleme ve temel teknik sağlık olmalıdır.
Robots.txt ile engellediğim sayfa dizinden çıkar mı?
Hayır. Robots.txt taramayı engeller ama o adres dışarıdan link alıyorsa dizinde kalabilir. Dizinden çıkarmak için noindex kullanılır ve bunun için sayfanın taranabilir olması gerekir.
Sunucumu hızlandırmak bütçeyi artırır mı?
Yanıt süreniz kısaldığında Google aynı sürede daha çok sayfa tarayabilir; böylece kapasite sınırı yükselme potansiyeli kazanır, ama garanti bir sonuç değildir.
Sonuç
Tarama bütçesi, büyük sitelerin yönetmesi gereken gerçek bir konudur; küçük sitelerin ise çoğunlukla peşinden koşmaması gereken bir kavram. Sitenizin büyüklüğüne göre değerlendirin: büyükse tarama istatistiklerini ve günlükleri izleyip gereksiz adresleri azaltın, küçükse enerjinizi içerik ve iç linklere verin. Her iki durumda da hızlı bir sunucu, temiz URL yapısı ve güncel bir sitemap Googlebot'un işini kolaylaştırır. Görünürlüğü büyütmek için teknik temelin üzerine neler kurabileceğinizi organik trafik artırma yöntemleri yazımızda toplu görebilirsiniz.