Langsung ke konten
ID · ₺
Masuk ke Panel Beli Paket
SEO Teknis

Apa Itu robots.txt? Cara Menulis, Contoh, dan Kesalahan Umum

Waktu baca 6 menit

robots.txt adalah file teks sederhana yang disimpan di direktori root situs Anda dan memberi tahu bot mesin pencari alamat mana yang boleh dikunjungi dan mana yang sebaiknya tidak. Satu baris yang salah tulis bisa menghentikan perayapan seluruh situs; file yang ditulis dengan benar justru mengarahkan anggaran perayapan ke halaman-halaman penting. Dalam panduan ini kami menjelaskan fungsi file robots.txt, cara menuliskannya, direktif apa saja yang didukung Google, dan kesalahan yang paling sering terjadi, disertai contoh.

Apa itu robots.txt?

robots.txt adalah file yang mengikuti standar yang dikenal sebagai "Robots Exclusion Protocol". Formatnya teks biasa (UTF-8) dan wajib berada di root domain: https://www.ornek.com/robots.txt. File robots.txt yang diletakkan di sub-folder tidak diperhatikan. Setiap subdomain (misalnya blog.ornek.com) dan setiap kombinasi protokol/port membutuhkan file sendiri.

Tujuan file ini adalah mengelola lalu lintas perayapan: mencegah bot membuang waktu di area yang tidak bernilai, seperti panel admin, keranjang belanja, hasil pencarian internal, atau URL filter berparameter tanpa batas. File ini bukan alat keamanan; siapa pun bisa membacanya, jadi menuliskan nama folder rahasia di sini justru membukanya. Untuk konten yang rahasia, gunakan kata sandi atau otorisasi.

Bagaimana mesin pencari menggunakan robots.txt?

Sebelum merayapi halaman mana pun di sebuah situs, bot meminta file robots.txt dan membaca aturan di dalamnya. Aturan dikelompokkan berdasarkan "user-agent"; bot memilih grup yang paling sesuai untuknya dan hanya menerapkan grup itu. Beberapa rincian penting:

  • Jika file tidak ditemukan (respons 4xx seperti 404), Google menafsirkannya sebagai "tidak ada pembatasan" dan merayapi situs dengan bebas.
  • Jika server mengembalikan error 5xx, Google memperlambat atau menghentikan perayapan dengan hati-hati; artinya alamat robots.txt harus selalu merespons dengan sehat.
  • Google hanya memproses 500 KiB pertama dari file; file yang sangat besar akan terpotong.
  • Aturan path bersifat case-sensitive: /Admin/ dan /admin/ adalah path yang berbeda.
  • Google tidak mengunduh ulang file pada setiap permintaan, melainkan menyimpannya di cache. Perubahan yang Anda buat tidak langsung terlihat efeknya, melainkan setelah beberapa waktu.

Sintaks dasar dan direktif

Direktif yang didukung Google hanya empat. Tabel berikut merangkum fungsi masing-masing.

DirektifFungsiContoh
User-agentMenentukan bot mana yang dituju aturan ini; * berarti semua bot.User-agent: Googlebot
DisallowMelarang perayapan path yang ditentukan.Disallow: /sepet/
AllowMengizinkan path tertentu di dalam folder yang diblokir.Allow: /sepet/yardim.html
SitemapMemberi tahu alamat lengkap file sitemap; berdiri sendiri, tidak terikat grup.Sitemap: https://www.ornek.com/sitemap.xml

Dua karakter wildcard dapat dipakai: * (urutan karakter apa pun) dan $ (akhir alamat). Misalnya Disallow: /*.pdf$ mencakup semua path yang berakhiran .pdf, sedangkan Disallow: /*?sirala= mencakup alamat dengan parameter "sirala". Jika sebuah alamat cocok dengan aturan Allow dan Disallow sekaligus, Google menerapkan aturan yang lebih spesifik (lebih panjang).

Yang tidak didukung: Crawl-delay diabaikan Google (beberapa mesin pencari lain mungkin membacanya). Baris Noindex juga tidak berlaku di robots.txt sejak 2019. Untuk menghapus dari indeks, Anda harus menambahkan meta tag noindex atau header HTTP pada halaman.

Contoh file robots.txt

Untuk situs perusahaan atau toko daring kecil, berikut contoh templat awal yang masuk akal:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=

Sitemap: https://www.ornek.com/sitemap.xml

File ini melarang semua bot merayapi halaman admin, keranjang, pembayaran, dan pencarian internal, serta alamat berparameter urutan dan sesi; sisanya diizinkan. Di situs WordPress, kombinasi yang sering terlihat adalah Disallow: /wp-admin/ dan Allow: /wp-admin/admin-ajax.php. Untuk menentukan path mana yang tidak bernilai di situs Anda sendiri, lihat dulu statistik perayapan di Search Console dan log server; templat siap pakai yang disalin tanpa dicek sering kali memblokir lebih dari yang diperlukan.

Aturan terpisah untuk bot yang berbeda

Anda dapat mendefinisikan beberapa grup dalam satu file. Setiap grup dimulai dengan satu atau beberapa baris User-agent, lalu diikuti aturan. Bot memilih satu grup yang paling cocok dengan namanya; aturan dari grup umum (*) tidak ikut ditambahkan. Karena itu, ketika Anda membuat grup untuk bot tertentu, aturan bersama juga harus diulang di grup tersebut.

User-agent: *
Disallow: /yonetim/
Disallow: /arama/

User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/

Sitemap: https://www.ornek.com/sitemap.xml

Pada contoh di atas, Googlebot-Image hanya menerapkan grupnya sendiri; itu sebabnya aturan /yonetim/ ikut ditulis di grup tersebut. Membubuhkan baris kosong di antara grup membuat file lebih mudah dibaca. Anda bisa menulis komentar dengan memberi # di awal baris; baris tersebut diabaikan. Jangan membiarkan aturan menumpuk tanpa kendali: robots.txt yang tidak dirawat dan membengkak selama bertahun-tahun menjadi sumber risiko, karena tidak ada yang tahu mengapa sebuah aturan ada di sana. Menuliskan alasan singkat dalam komentar di samping setiap aturan adalah kebiasaan yang baik.

Memblokir perayapan bukan berarti menghapus dari indeks

Ini adalah poin yang paling sering keliru. robots.txt hanya membatasi perayapan. Jika alamat yang diblokir menerima tautan dari situs lain atau tautan internal, Google tetap bisa memasukkan alamat itu ke indeks tanpa pernah melihat isinya; di hasil pencarian ia muncul tanpa deskripsi, hanya berupa alamat. Lebih buruk lagi, jika Anda memblokir halaman dengan robots.txt sekaligus memberinya noindex, Google tidak bisa masuk ke halaman sehingga tidak pernah melihat noindex tersebut.

Tujuan AndaMetode yang tepat
Anggaran perayapan tidak terbuang di alamat yang tidak bernilairobots.txt dengan Disallow
Halaman tidak muncul di hasil pencarianBiarkan halaman dapat dirayapi, lalu pasang meta noindex
Konten tersembunyi dari semua orangKata sandi/otorisasi (robots.txt tidak memberi keamanan)
Sinyal dari alamat duplikat tergabungPengalihan 301 atau canonical (lihat panduan canonical kami)

Situs kecil atau besar? Pada situs beberapa ratus halaman, dampak robots.txt terhadap efisiensi perayapan terbatas; nilai utamanya ada pada pengecualian area yang salah dan pengumuman sitemap. Untuk situs besar dengan ribuan alamat, seperti toko daring berfilter atau situs iklan, menyingkirkan kombinasi alamat yang tidak perlu dari perayapan benar-benar membuat perbedaan.

Kesalahan yang paling sering terjadi

  1. Memblokir seluruh situs. Baris Disallow: / yang ikut terbawa dari file lingkungan pengembangan saat dipindahkan ke server live membuat situs tidak bisa dirayapi. Selalu periksa robots.txt saat merilis versi baru.
  2. Memblokir folder CSS dan JavaScript. Google membutuhkan file-file ini untuk merender halaman dan menilai kompatibilitas seluler. Jika diblokir, halaman bisa tampak tidak lengkap.
  3. Memblokir alamat yang ada di sitemap. Mengatakan "masukkan ini ke indeks" sekaligus "jangan masuk ke sini" itu tidak konsisten; Search Console menampilkannya sebagai peringatan.
  4. Menulis noindex di robots.txt. Seperti dijelaskan di atas, cara ini tidak lagi berfungsi.
  5. Meletakkan file di lokasi yang salah. Jika file tidak berada di root atau namanya berbeda, misalnya Robots.TXT, aturannya tidak dihitung.
  6. Menulis path yang terlalu luas. Disallow: /urun tidak hanya mencakup folder "urun", tetapi juga /urunler/ dan /urun-detay.html serta semua alamat yang diawali "/urun". Jika yang dimaksud adalah folder, tambahkan garis miring di akhir.
  7. Memblokir perayapan halaman lalu berharap ada 301. Jika alamat lama yang dialihkan diblokir, bot tidak bisa melihat pengalihannya.

Pengujian sebelum dipublikasikan

Sebelum mengubah file, buat cadangan versi yang sedang berjalan. Lalu ikuti langkah berikut:

  1. Buka file di peramban (/robots.txt) dan pastikan file tampil sebagai teks biasa dengan kode status 200.
  2. Buka laporan Pengaturan → robots.txt di Search Console; laporan ini menampilkan versi terakhir yang diunduh Google, kesalahan sintaks, dan peringatannya.
  3. Untuk beberapa halaman penting, gunakan alat Inspeksi URL; jika muncul keterangan "diblokir oleh robots.txt", tinjau kembali aturannya.
  4. Pada minggu setelah publikasi, periksa apakah jumlah di laporan Halaman pada bagian "Diblokir oleh robots.txt" naik secara tak terduga. Untuk mendiagnosis masalah indeksasi secara umum, panduan masalah indeksasi Google kami akan membantu.

Dokumentasi resmi dapat Anda lihat di panduan robots.txt di Google Search Central. robots.txt hanyalah satu butir dari pemeriksaan kesehatan umum; untuk seluruh butir, gunakan daftar periksa SEO teknis kami.

Pertanyaan yang sering diajukan

Apakah robots.txt wajib?

Tidak. Jika file tidak ada, bot merayapi situs dengan bebas. Namun, jika ada area yang ingin Anda blokir atau Anda ingin mengumumkan alamat sitemap, membuat file ini sangat disarankan.

Kapan perubahan robots.txt saya berlaku?

Google menyimpan file di cache dan biasanya memperbaruinya paling lambat dalam sehari; jadi efeknya bisa terlihat dalam hitungan jam hingga satu hari. Dalam keadaan darurat, Anda bisa meminta perayapan ulang dari laporan robots.txt di Search Console.

Bisakah saya memblokir bot kecerdasan buatan dengan robots.txt?

Bisa, untuk bot yang mematuhi aturan; setiap bot memiliki nama user-agent sendiri dan dapat ditulis sebagai grup terpisah. Namun, robots.txt adalah permintaan, bukan paksaan; bot yang tidak mematuhi aturan tidak akan berhenti karenanya.

Mengapa halaman yang sudah saya Disallow masih muncul di Google?

Karena Disallow bukan perintah untuk menghapus dari indeks. Alamat tersebut bisa tetap tercantum tanpa isi karena menerima tautan dari tempat lain. Solusinya: hapus pemblokiran lalu tambahkan noindex pada halaman, atau hapus halaman sepenuhnya.

Kesimpulan

robots.txt adalah file kecil, tetapi dampaknya besar. Aturannya sederhana: blokir hanya area yang benar-benar tidak bernilai, jangan sentuh file CSS/JS, cantumkan alamat sitemap, dan jangan gunakan file ini untuk menghapus dari indeks. Memvalidasi file di Search Console setelah setiap publikasi dan memastikan halaman penting dapat dirayapi akan mencegah sebagian besar masalah sejak awal. Langkah berikutnya, untuk menyiapkan file sitemap, lanjutkan ke panduan XML sitemap kami.

Kata kunci Anda kekurangan klik?

HitBot menghasilkan sesi nyata yang mencari kata kunci target Anda, menemukan situs Anda, lalu mengekliknya. Hasilnya terakumulasi di Search Console sebagai tayangan dan klik.

Artikel lainnya