Anggaran perayapan (crawl budget) adalah jumlah halaman yang bersedia dan ingin dirayapi Googlebot dari situs Anda dalam kurun waktu tertentu. Bagi sebagian besar situs kecil dan menengah, ini bukan masalah; dokumentasi Google sendiri menyatakannya dengan jelas. Namun bagi situs e-commerce, portal iklan baris, atau situs berita dengan ratusan ribu alamat, anggaran perayapan dapat menentukan seberapa cepat halaman baru ditemukan. Artikel ini membahas siapa yang terdampak, apa yang memboroskan anggaran, dan langkah-langkah yang benar-benar membantu, tanpa berlebih-lebihan.
Anggaran perayapan adalah apa?
Googlebot tidak merayapi setiap alamat di situs Anda setiap hari. Sumber dayanya terbatas dan dibagi di antara miliaran situs. Jumlah perayapan yang dialokasikan untuk sebuah situs secara informal disebut anggaran perayapan. Yang penting untuk diingat: anggaran bukan faktor peringkat. Dirayapi lebih sering tidak berarti berada di peringkat lebih tinggi; hal itu hanya membantu halaman Anda ditemukan dan diperbarui lebih cepat.
Dua komponen: kapasitas perayapan dan permintaan
| Komponen | Artinya | Dipengaruhi oleh |
|---|---|---|
| Batas kapasitas perayapan | Jumlah permintaan paralel yang dapat dikirim Googlebot tanpa membebani server Anda | Kecepatan respons server, tingkat galat (5xx), sumber daya hosting |
| Permintaan perayapan | Seberapa banyak Google ingin merayapi situs Anda | Ukuran situs, popularitas, seberapa sering konten berubah, dan apakah konten sudah usang |
Jumlah perayapan yang sebenarnya adalah yang lebih kecil dari keduanya. Jika server Anda melambat atau sering memberi galat 5xx, Google akan menurunkan kapasitasnya. Jika halaman Anda berkualitas rendah dan tidak menarik perhatian, permintaannya memang rendah. Dengan demikian, untuk meningkatkan kapasitas, performa hosting adalah faktor penentu; untuk meningkatkan permintaan, kualitas konten dan popularitas yang menentukan.
Siapa yang terdampak?
Menurut panduan Google untuk pemilik situs besar, pengelolaan anggaran perayapan bermakna pada situs-situs berikut:
- Situs dengan sekitar satu juta atau lebih halaman unik yang kontennya berubah dengan frekuensi sedang (misalnya seminggu sekali).
- Situs dengan sepuluh ribu atau lebih halaman yang kontennya berubah sangat sering (harian).
- Situs yang memiliki banyak alamat berstatus "Ditemukan - saat ini tidak diindeks" di Search Console.
Situs perusahaan dengan ratusan atau beberapa ribu halaman, blog, atau toko kecil tidak termasuk kelompok ini. Pada situs-situs tersebut, lambatnya halaman baru masuk indeks biasanya bukan karena anggaran perayapan, melainkan karena kualitas konten, tautan internal, atau hambatan teknis. Sebaiknya singkirkan dahulu penyebab-penyebab dalam panduan masalah pengindeksan kami.
Catatan jujur: Di situs kecil, berusaha "menaikkan anggaran perayapan" sering kali berarti menyelesaikan masalah yang salah. Pertama-tama, pastikan halaman dapat dirayapi, dapat diindeks, dan benar-benar bernilai.
Apa yang memboroskan anggaran perayapan?
Sumber pemborosan utama yang disebut Google adalah sebagai berikut:
- Kombinasi filter dan pengurutan (faceted navigation): Ketika pilihan warna, ukuran, harga, dan pengurutan dalam satu kategori digabungkan, daftar produk yang sama dapat menghasilkan ribuan alamat berparameter.
- ID sesi dan parameter pelacakan: Struktur yang menghasilkan URL berbeda untuk setiap pengunjung.
- Konten ganda: Halaman yang sama ditemukan di beberapa alamat. Untuk menggabungkannya, lihat tag canonical.
- Soft 404 dan halaman 404: Alamat yang tidak ada tetapi terus dirayapi. Lihat galat 404 dan SEO.
- Rantai pengalihan yang panjang: Setiap langkah menghabiskan satu permintaan. Lihat perbedaan 301 dan 302.
- Ruang tak berujung: Pembuatan URL tanpa akhir, seperti kalender atau tautan "bulan berikutnya".
- Halaman tipis dan berkualitas rendah: Dirayapi tetapi tidak masuk indeks, dan tetap memakan anggaran.
- Server lambat: Semakin lama waktu respons, semakin sedikit halaman yang dapat dirayapi Googlebot dalam waktu yang sama.
Bagaimana cara mengukurnya?
- Laporan Statistik perayapan: Di Search Console, pada bagian Setelan, laporan "Statistik perayapan" menampilkan jumlah permintaan harian, rata-rata waktu respons, sebaran kode respons, dan jenis berkas. Perhatikan dulu perubahan mendadak pada total permintaan serta rasio 5xx dan 404.
- Log server: Satu-satunya sumber yang menunjukkan secara pasti alamat mana saja yang dirayapi dan seberapa sering. Di sini Anda melihat ke parameter dan folder mana Googlebot paling banyak pergi.
- Laporan Halaman: Jumlah dan contoh alamat dengan status "Ditemukan - saat ini tidak diindeks" serta "Dirayapi - saat ini tidak diindeks".
- Perbandingan sitemap: Bandingkan jumlah alamat di sitemap dengan jumlah alamat unik yang dirayapi menurut log.
Contoh skenario: di sebuah toko dengan 20.000 produk, jika sebagian besar permintaan Googlebot dalam log menuju
alamat berparameter seperti ?renk=...&beden=...&sirala=... dan produk baru tidak masuk indeks
selama berhari-hari, masalahnya kemungkinan besar anggaran tersedot ke kombinasi filter. (Ini contoh hipotetis;
verifikasi dengan log di situs Anda sendiri.)
Langkah-langkah optimasi
- Kelola inventaris URL. Blokir dengan
robots.txtarea yang tidak ingin Anda rayapi (hasil pencarian internal, kombinasi filter yang tidak bernilai). Untuk cara menulis aturannya, lihat panduan robots.txt kami. - Gabungkan duplikat. Kumpulkan alamat-alamat yang menuju konten yang sama ke satu alamat, baik dengan pengalihan maupun canonical.
- Berikan 404 atau 410 untuk konten yang dihapus secara permanen. Google tidak melupakan alamat yang sudah dikenalnya, tetapi 404/410 adalah sinyal kuat untuk mengurangi perayapannya.
- Bersihkan soft 404. Halaman kosong atau yang menyatakan "tidak ditemukan" harus mengembalikan kode status yang sebenarnya.
- Jaga sitemap tetap mutakhir. Hanya masukkan alamat yang ingin Anda indeks dan yang mengembalikan 200, serta cocokkan nilai
lastmoddengan pembaruan yang nyata. Untuk detailnya, lihat panduan sitemap XML kami. - Pendekkan rantai pengalihan dan arahkan tautan internal langsung ke alamat akhir.
- Perbaiki kecepatan halaman dan server. Ketika server makin cepat, batas kapasitas perayapan dapat naik. Caching dan kualitas hosting menjadi penentunya.
- Tonjolkan halaman penting dengan tautan internal. Halaman yang dekat dengan beranda dan halaman yang sering dirayapi lebih mudah ditemukan. Artikel kami strategi tautan internal membahas topik ini.
- Pantau kesehatan server. Beban berlebih, respons 5xx, dan 429 membuat Googlebot melambat.
Contoh: mengelola halaman kategori yang difilter
Sumber paling umum dari masalah anggaran perayapan adalah navigasi berfilter. Jika setiap kombinasi warna, ukuran, merek, dan pengurutan di kategori sepatu menghasilkan alamat tersendiri, daftar seratus produk bisa berubah menjadi ribuan alamat yang dapat dirayapi. Untuk memutuskan, tanyakan: apakah orang benar-benar mencari kombinasi filter ini?
- Ya (mis. "sepatu olahraga hitam"): Kembangkan halaman itu sebagai halaman target tersendiri dengan judul, deskripsi, dan konten yang unik, dukung dengan tautan internal, dan biarkan dapat dirayapi.
- Tidak (mis. "ukuran 42 + harga naik"): Batasi perayapannya dengan robots.txt, atau cegah agar tautan di halaman tidak menghasilkan alamat-alamat ini secara masif; hubungkan dengan canonical ke kategori utama.
- Parameter pengurutan dan sesi tidak boleh masuk indeks; semuanya sebaiknya digabungkan ke satu alamat.
Catatan: Google tidak dapat melihat tag canonical pada alamat yang diblokir oleh robots.txt. Karena itu, jangan mengandalkan blokir dan canonical sekaligus untuk alamat yang sama; putuskan secara sadar mana yang Anda pilih.
Kekeliruan yang umum dipercaya
| Keyakinan umum | Kenyataan |
|---|---|
| "Noindex menghemat anggaran perayapan." | Tidak. Googlebot tetap meminta halaman yang noindex; ia hanya tidak memasukkannya ke indeks. Untuk mengurangi perayapan gunakan robots.txt, untuk mengeluarkan dari indeks gunakan noindex; pahami perbedaan keduanya. |
| "Jika dirayapi lebih sering, saya akan lebih tinggi peringkatnya." | Jumlah perayapan bukan sinyal peringkat. |
| "Saya bisa menaikkan kecepatan perayapan dari Search Console." | Google telah menghapus alat pembatasan kecepatan perayapan yang lama; kecepatan kini ditentukan secara otomatis. |
| "Setiap situs punya masalah anggaran." | Untuk sebagian besar situs topik ini tidak berlaku; hanya terasa pada situs yang sangat besar atau yang sering berubah sangat cepat. |
| "Sering mengirim sitemap meningkatkan perayapan." | Sitemap membantu penemuan, tetapi tidak memaksa perayapan. Yang penting adalah sitemap yang benar dan mutakhir. |
Semua langkah ini merupakan bagian dari audit teknis Anda; untuk urutan pemeriksaan umum, gunakan daftar periksa SEO teknis kami. Pada situs yang dibangun dengan JavaScript, perayapan dan pemrosesan juga memerlukan waktu tambahan, jadi lihat juga dasar-dasar SEO JavaScript kami. Panduan resmi Google tentang pengelolaan anggaran perayapan untuk situs besar tersedia di situs Google.
Pertanyaan yang sering diajukan
Bagaimana cara mengetahui anggaran perayapan saya?
Tidak ada angka tetap. Laporan Statistik perayapan di Search Console menampilkan jumlah permintaan harian; log server memberikan rincian per alamat.
Apakah anggaran perayapan penting untuk situs kecil saya?
Biasanya tidak. Untuk situs dengan beberapa ribu halaman, fokus utama seharusnya pada kualitas konten, tautan internal, dan kesehatan teknis dasar.
Apakah halaman yang saya blokir dengan robots.txt keluar dari indeks?
Tidak otomatis. Robots.txt menghalangi perayapan, tetapi jika alamat itu menerima tautan dari luar, ia bisa tetap berada di indeks. Untuk mengeluarkannya dari indeks digunakan noindex, dan untuk itu halaman harus tetap dapat dirayapi.
Apakah mempercepat server meningkatkan anggaran?
Ketika waktu respons Anda lebih singkat, Google dapat merayapi lebih banyak halaman dalam waktu yang sama sehingga batas kapasitasnya berpotensi naik; namun ini bukan hasil yang dijamin.
Kesimpulan
Anggaran perayapan adalah topik nyata yang perlu dikelola oleh situs besar, dan konsep yang sebaiknya tidak dikejar oleh situs kecil. Sesuaikan dengan ukuran situs Anda: jika besar, pantau statistik perayapan dan log, lalu kurangi alamat yang tidak perlu; jika kecil, alihkan energi Anda ke konten dan tautan internal. Dalam kedua kasus, server yang cepat, struktur URL yang bersih, dan sitemap yang mutakhir memudahkan pekerjaan Googlebot. Untuk melihat apa saja yang dapat Anda bangun di atas fondasi teknis ini guna meningkatkan visibilitas, Anda dapat membaca ringkasannya dalam artikel metode meningkatkan trafik organik kami.