Jawaban singkat
Sitemap.xml memberi tahu mesin pencari halaman mana yang ingin Anda indeks, sedangkan robots.txt mengatur apa yang boleh dirayapi. Keduanya tidak menjamin peringkat. Kesalahan paling berbahaya adalah Disallow: / yang tertinggal dari tahap pengembangan.
Dua file kecil dengan peran berbeda
Sitemap dan robots.txt sering dibicarakan bersamaan, tetapi tugasnya berbeda. Sitemap adalah daftar halaman yang Anda ingin Google temukan. Robots.txt adalah petunjuk bagi crawler tentang bagian mana yang boleh dan tidak boleh diakses.
Keduanya membantu, tetapi tidak ada yang menjamin halaman terindeks atau berperingkat. Indexing tetap keputusan mesin pencari berdasarkan kualitas dan keterjangkauan halaman.
Sitemap.xml: apa yang sebaiknya masuk
Sitemap yang baik hanya berisi alamat yang Anda ingin muncul di pencarian: halaman utama, layanan, artikel, dan halaman penting lainnya. Hindari memasukkan halaman yang dialihkan, halaman error, atau halaman yang ditandai noindex.
- Gunakan alamat lengkap dengan protokol dan domain yang sama dengan alamat kanonis.
- Satu file sitemap berisi maksimal 50.000 alamat dan 50 MB tidak terkompresi; pecah jika lebih.
- Sertakan tanggal perubahan terakhir yang akurat bila ada, bukan tanggal acak.
- Untuk website multibahasa, tunjukkan hubungan antar versi bahasa dengan atribut hreflang.
Robots.txt: hati-hati, mudah menyebabkan kesalahan besar
File robots.txt berada di akar domain, misalnya alamat-anda.com/robots.txt. Isinya aturan per jenis crawler. Salah satu baris keliru bisa menutup seluruh website dari mesin pencari tanpa disadari.
- Jangan memblokir folder berisi CSS atau JavaScript yang dibutuhkan untuk menampilkan halaman.
- Jangan memakai robots.txt untuk menyembunyikan halaman rahasia; file ini terbuka untuk siapa saja.
- Untuk mencegah halaman muncul di hasil pencarian, gunakan tag noindex, bukan sekadar memblokir crawl.
- Cantumkan alamat sitemap di robots.txt agar mudah ditemukan.
Kesalahan yang sering menghambat indexing
Beberapa penyebab halaman tidak terindeks muncul berulang di berbagai website.
Kebanyakan penyebab ini bisa ditemukan hanya dengan memeriksa halaman dan pengaturannya, tanpa alat khusus, sehingga layak dicek lebih dulu sebelum mencari penyebab yang lebih rumit.
- Tag noindex dari masa pengembangan yang lupa dihapus saat peluncuran.
- Robots.txt yang masih memblokir seluruh situs dari lingkungan staging.
- Halaman yatim tanpa tautan internal dari halaman lain.
- Isi yang sangat tipis atau hampir sama dengan halaman lain.
- Pengalihan berantai atau alamat kanonis yang menunjuk ke halaman salah.
Cara memeriksa dan mengirim
Buka alamat sitemap dan robots.txt langsung di browser untuk memastikan bisa diakses. Lalu kirim sitemap melalui Google Search Console dan periksa laporan statusnya. Gunakan fitur inspeksi URL untuk halaman penting guna melihat apakah ia terindeks dan bagaimana Google melihatnya.
Panduan memakai alatnya ada di artikel Google Search Console untuk pemula.
Contoh robots.txt yang aman untuk situs bisnis
Pola umum: izinkan semua halaman publik, blokir area privat seperti /admin dan /api, lalu cantumkan alamat sitemap. Jangan memblokir folder CSS dan JavaScript karena Google perlu merender halaman Anda.
Ingat bahwa robots.txt bukan alat keamanan. Halaman privat harus dilindungi login dan header noindex, bukan hanya disembunyikan lewat robots.txt.
Pemeriksaan sitemap sebelum dikirim
Pastikan sitemap hanya berisi URL kanonik yang menghasilkan status 200, memakai domain yang sama dengan canonical, dan tidak memuat halaman redirect atau noindex. Untuk situs multibahasa, pastikan setiap versi bahasa saling merujuk dengan hreflang yang konsisten.
Pekerjaan setelah file siap
Indexing yang sehat ditopang oleh hal-hal di luar kedua file ini: struktur tautan internal yang jelas, isi yang bermanfaat, dan halaman yang cepat. Lihat juga struktur URL dan tautan internal serta layanan SEO teknis bila Anda membutuhkan peninjauan.
Ingat bahwa tidak ada pihak yang bisa menjanjikan posisi tertentu di Google. Yang bisa dikerjakan adalah menghilangkan hambatan teknis dan membuat halaman layak ditemukan.
Sebelum diskusi berikutnya
- Buka /sitemap.xml dan /robots.txt di browser dan pastikan keduanya terbaca.
- Pastikan sitemap hanya berisi alamat yang ingin diindeks.
- Cek robots.txt tidak memblokir seluruh situs atau file CSS dan JavaScript.
- Cari sisa tag noindex dari masa pengembangan.
- Kirim sitemap ke Search Console dan periksa statusnya.
- Inspeksi URL untuk halaman penting setelah dipublikasikan.
Pertanyaan yang sering diajukan
Apakah semua website wajib punya sitemap?
Tidak wajib, terutama untuk website kecil yang tertaut rapi. Namun sitemap tetap membantu, terutama pada website baru, besar, atau banyak halaman yang jarang ditautkan.
Apakah robots.txt bisa menghapus halaman dari Google?
Tidak andal. Memblokir crawl tidak selalu menghapus alamat dari hasil pencarian. Untuk mencegah muncul, gunakan noindex dan pastikan halamannya masih bisa diakses crawler agar tag itu terbaca.
Berapa sering sitemap perlu diperbarui?
Idealnya otomatis setiap ada halaman baru atau perubahan penting. Sitemap statis yang jarang diperbarui cepat usang.
Mengapa halaman di sitemap tidak terindeks?
Sitemap hanya mengusulkan alamat. Halaman bisa tidak diindeks karena kualitas, duplikasi, hambatan teknis, atau Google belum menjadwalkannya. Periksa laporan pengindeksan untuk alasan spesifiknya.
