Cara Menggunakan Robots.txt untuk SEO yang Benar
Pelajari cara menggunakan robots.txt untuk SEO secara benar agar halaman penting tetap terindeks dan crawl budget tidak terbuang.
Read in English
Kamu baru saja cek Google Search Console dan menemukan beberapa halaman penting tidak terindeks, sementara halaman yang tidak penting malah muncul di hasil pencarian. Banyak pemilik bisnis bingung soal cara menggunakan robots.txt untuk SEO karena file kecil ini terlihat sepele, padahal kesalahan satu baris saja bisa membuat seluruh website hilang dari Google.
Artikel ini akan membantu kamu memahami apa itu robots.txt, bagaimana cara menulisnya dengan benar, dan kesalahan umum yang harus dihindari agar website bisnismu tetap bisa ditemukan calon pelanggan di mesin pencari.
Poin penting
- Robots.txt adalah file teks yang memberi instruksi kepada bot mesin pencari halaman mana yang boleh dan tidak boleh di-crawl.
- File ini bukan alat untuk menyembunyikan halaman dari hasil pencarian karena fungsinya hanya mengatur crawling, bukan indexing.
- Kesalahan konfigurasi robots.txt bisa memblokir seluruh website dari Google tanpa kamu sadari.
- Kombinasi robots.txt dengan meta tag noindex dan sitemap XML memberi kontrol penuh atas bagaimana website kamu dirayapi dan diindeks.
Apa Itu Robots.txt dan Kenapa Penting untuk SEO
Robots.txt adalah file teks sederhana yang diletakkan di root domain, misalnya codwastudio.com/robots.txt. File ini berfungsi sebagai aturan lalu lintas untuk bot mesin pencari seperti Googlebot sebelum mereka merayapi website kamu.
Tanpa robots.txt, bot mesin pencari akan mencoba merayapi semua halaman yang mereka temukan, termasuk halaman admin, hasil pencarian internal, atau file duplikat yang tidak perlu muncul di Google. Ini membuang crawl budget, yaitu jatah jumlah halaman yang akan dirayapi Googlebot dalam periode tertentu.
Untuk website kecil dengan puluhan halaman, crawl budget mungkin bukan masalah besar. Tapi untuk toko online dengan ribuan produk atau website dengan sistem filter dan parameter URL, robots.txt yang tertata rapi bisa membantu Google fokus merayapi halaman yang benar-benar penting.
Perbedaan Robots.txt dengan Meta Tag Noindex
Ini bagian yang paling sering disalahpahami. Robots.txt mengatur crawling, yaitu apakah bot boleh mengakses sebuah halaman. Meta tag noindex mengatur indexing, yaitu apakah halaman tersebut boleh muncul di hasil pencarian.
Jika kamu memblokir halaman lewat robots.txt, Google tidak akan merayapi halaman itu, tapi halaman tersebut masih bisa muncul di hasil pencarian jika ada link dari website lain yang mengarah ke sana. Judulnya akan muncul tanpa deskripsi, karena Google tidak bisa membaca isi halamannya.
Jadi kalau tujuannya benar-benar menyembunyikan halaman dari hasil pencarian, gunakan meta tag noindex, bukan robots.txt. Robots.txt lebih cocok untuk mengarahkan efisiensi crawling, bukan menyembunyikan konten.
Struktur Dasar File Robots.txt
File robots.txt menggunakan sintaks yang cukup sederhana. Ada beberapa elemen utama yang perlu kamu kenali sebelum mulai menulisnya sendiri.
User-agent menentukan bot mana yang diberi instruksi. Tanda bintang (*) berarti instruksi berlaku untuk semua bot. Disallow memberi tahu bot halaman atau folder mana yang tidak boleh dirayapi. Allow digunakan untuk mengizinkan akses ke sub-folder tertentu di dalam folder yang sudah diblokir. Sitemap menunjukkan lokasi file sitemap XML agar bot lebih mudah menemukan semua halaman penting.
Contoh Penulisan yang Benar
Bayangkan kamu punya website toko kue online dengan halaman admin dan halaman keranjang belanja yang tidak perlu diindeks. Contoh robots.txt yang sesuai kebutuhan ini:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Allow: /admin/promo-page/
Sitemap: https://contohtokokue.com/sitemap.xml
Perhatikan bahwa setiap baris Disallow hanya memblokir satu path. Jika kamu salah menulis garis miring atau menghapus tanda bintang pada user-agent, aturan tersebut bisa tidak berfungsi sama sekali atau justru memblokir semua bot termasuk Googlebot.
Bagaimana Cara Membuat dan Mengecek Robots.txt yang Tepat?
Kalau website kamu dibangun dengan WordPress, biasanya plugin SEO seperti Yoast atau Rank Math sudah menyediakan fitur untuk mengedit robots.txt langsung dari dashboard. Kamu tidak perlu akses FTP atau cPanel untuk mengubahnya.
Untuk website custom atau yang dibangun dari nol, kamu perlu membuat file robots.txt secara manual lalu mengunggahnya ke root direktori melalui FTP atau file manager hosting. Pastikan nama filenya persis "robots.txt" dengan huruf kecil semua.
Setelah file terpasang, cek apakah sudah berfungsi dengan membuka alamat namadomain.com/robots.txt di browser. Kamu juga bisa memakai fitur robots.txt tester yang tersedia di Google Search Console untuk memastikan tidak ada baris yang keliru memblokir halaman penting.
Langkah Verifikasi Setelah Upload
Ada tiga hal yang perlu kamu cek setiap kali mengubah robots.txt. Pertama, pastikan halaman-halaman penting seperti homepage, halaman produk, dan halaman kontak tidak ikut terblokir secara tidak sengaja.
Kedua, periksa apakah sitemap XML sudah tercantum dengan benar di baris terakhir file. Ketiga, tunggu beberapa hari lalu cek laporan "Coverage" di Google Search Console untuk melihat apakah ada halaman yang tiba-tiba hilang dari index setelah perubahan ini.
Kapan Sebaiknya Memblokir Halaman Lewat Robots.txt
Tidak semua halaman perlu diblokir, dan memblokir terlalu agresif justru bisa merugikan SEO. Berikut situasi yang umumnya tepat untuk menggunakan Disallow:
- Halaman hasil pencarian internal di website kamu sendiri, karena biasanya berisi konten duplikat dan tidak memberi nilai bagi pengunjung dari Google.
- Folder admin atau dashboard login yang memang tidak relevan untuk pengunjung umum.
- Halaman keranjang belanja dan checkout yang tidak perlu muncul di hasil pencarian.
- File duplikat seperti versi PDF cetak dari halaman yang sudah ada versi HTML-nya.
Sebaliknya, hindari memblokir halaman kategori produk, halaman blog, atau halaman landing page yang justru kamu harapkan muncul di Google. Ini kesalahan yang cukup sering terjadi pada website yang baru migrasi platform.
Robots.txt vs Meta Tag Noindex: Mana yang Harus Dipakai?
Supaya lebih jelas kapan menggunakan masing-masing metode, berikut perbandingannya dalam bentuk tabel.
| Situasi | Gunakan Robots.txt | Gunakan Meta Noindex |
|---|---|---|
| Hemat crawl budget untuk folder besar | Ya, cocok | Tidak efisien |
| Sembunyikan halaman dari hasil pencarian | Tidak menjamin | Ya, lebih tepat |
| Halaman sudah terlanjur terindeks | Tidak membantu hapus index | Ya, efektif |
| Blokir file gambar atau script tertentu | Ya, cocok | Tidak berlaku |
| Halaman thank you setelah checkout | Kurang disarankan | Ya, lebih aman |
Secara umum, robots.txt lebih cocok untuk urusan efisiensi crawling, sementara noindex lebih cocok untuk urusan visibilitas di hasil pencarian. Memahami perbedaan ini membantu kamu menghindari kesalahan konfigurasi yang berdampak panjang pada traffic organik.
Menggabungkan Robots.txt dengan Strategi SEO Lain
Robots.txt hanyalah satu bagian kecil dari fondasi teknis SEO. File ini perlu bekerja selaras dengan elemen lain agar hasilnya maksimal.
Pastikan sitemap XML kamu selalu update dan dicantumkan di robots.txt, karena ini membantu Google menemukan halaman baru lebih cepat. Jika kamu juga sedang memperbaiki kecepatan website, kamu bisa baca panduan mempercepat loading website untuk SEO karena faktor ini juga memengaruhi seberapa efisien bot merayapi halamanmu.
Selain itu, website yang baru diluncurkan sering mengalami masalah terkait crawling dan indexing sekaligus. Kalau website kamu termasuk baru dan belum muncul optimal di Google, ada baiknya pelajari juga alasan kenapa website baru susah muncul di Google supaya kamu bisa menangani masalahnya dari berbagai sisi, bukan cuma dari robots.txt saja.
Menurut panduan resmi dari Google Search Central, pengaturan crawling yang baik membantu mesin pencari memahami struktur website secara lebih efisien, sehingga halaman penting lebih cepat ditemukan dan diindeks.
Kesalahan yang Sering Terjadi
- Memblokir seluruh website dengan menulis "Disallow: /" secara tidak sengaja saat masih tahap development, padahal file ini sudah live — selalu cek ulang sebelum website diluncurkan ke publik.
- Menganggap robots.txt bisa menyembunyikan data sensitif, padahal file ini bersifat publik dan bisa dibaca siapa saja — gunakan autentikasi login untuk data yang benar-benar rahasia.
- Memblokir file CSS dan JavaScript yang dibutuhkan Google untuk merender halaman dengan benar — pastikan hanya memblokir folder yang memang tidak perlu dirender.
- Lupa mencantumkan sitemap XML di dalam robots.txt — tambahkan baris sitemap agar bot lebih mudah menemukan seluruh halaman penting.
- Tidak pernah mengecek ulang robots.txt setelah migrasi website atau ganti platform — jadwalkan audit teknis rutin agar aturan lama tidak tertinggal dan merugikan SEO.
Pertanyaan yang Sering Muncul
Apakah setiap website wajib punya robots.txt?
Tidak wajib secara teknis, karena tanpa file ini Google akan tetap merayapi website kamu seperti biasa. Tapi memiliki robots.txt yang terkonfigurasi dengan baik tetap disarankan, terutama jika website kamu punya halaman yang tidak perlu dirayapi seperti folder admin atau halaman duplikat.
Apakah robots.txt bisa mempercepat ranking di Google?
Robots.txt sendiri tidak langsung menaikkan ranking. Fungsinya lebih ke efisiensi crawling, bukan faktor ranking langsung. Tapi dengan mengarahkan bot ke halaman yang tepat dan menghindari pemborosan crawl budget, website kamu bisa terindeks lebih cepat dan akurat, yang secara tidak langsung mendukung performa SEO.
Bagaimana jika robots.txt saya salah dan sudah terlanjur memblokir halaman penting?
Segera edit file dan hapus baris Disallow yang keliru, lalu submit ulang robots.txt melalui Google Search Console. Setelah itu, gunakan fitur "Request Indexing" pada halaman yang sempat terblokir agar Google merayapinya kembali lebih cepat daripada menunggu crawl alami.
Apakah robots.txt sama untuk semua jenis website?
Tidak. Kebutuhan robots.txt berbeda tergantung platform dan struktur website. Toko online biasanya perlu memblokir halaman filter dan keranjang belanja, sementara website company profile mungkin hanya perlu memblokir halaman admin. Sesuaikan isinya dengan struktur dan tujuan website kamu sendiri.
Langkah Berikutnya
Mengatur robots.txt dengan benar adalah salah satu fondasi teknis yang sering diabaikan, padahal dampaknya bisa besar terhadap bagaimana Google melihat website bisnismu. Kalau kamu merasa butuh bantuan untuk audit teknis SEO secara menyeluruh, termasuk konfigurasi robots.txt, sitemap, dan struktur crawling, cek layanan SEO Codwa Studio untuk mendiskusikan kebutuhan website kamu lebih lanjut.
Ditinjau oleh Hammam Adi Prakasa Putra Founder · Business Website Developer
Layanan Codwa Studio
SEO
Strategi organik untuk meningkatkan visibilitas di mesin pencari.
Pelajari lebih lanjutAlat gratis Codwa


