anaksmanda.com - Ketika mendengar istilah sitemap dan robots.txt, banyak blogger pemula merasa itu urusan teknis yang rumit. Padahal, keduanya sangat sederhana dan berperan penting dalam membantu mesin pencari menjelajahi blog. Sitemap memberi tahu Google halaman mana saja yang ada, sedangkan robots.txt memberi tahu bagian mana yang boleh atau tidak boleh dijelajahi.
Daftar Isi
- Ringkasan Sitemap dan Robots.txt di Blogger
- Apa Itu Sitemap?
- Apa Itu Robots.txt?
- Robots.txt Bawaan Blogger
- Cara Mengaktifkan Robots.txt Khusus
- Mengatur Tag Tajuk Robot
- Mengirim Sitemap ke Google Search Console
- Kesalahan yang Sering Terjadi
- Cara Mengecek Apakah Pengaturan Sudah Benar
- Hubungan Sitemap, Robots.txt, dan Kualitas Konten
- Tips Merawat Blog dari Sisi Teknis
- Pertanyaan yang Sering Diajukan
- Kesimpulan
Kabar baiknya, Blogger sudah menyediakan sitemap dan robots.txt secara otomatis. Namun, ada kalanya pemilik blog ingin menyesuaikannya. Dalam artikel ini, kita akan membahas pengertian keduanya, cara melihat dan mengatur di Blogger, contoh pengaturan yang aman, serta kesalahan yang bisa membuat blog justru hilang dari Google.
Ringkasan Sitemap dan Robots.txt di Blogger
| Aspek | Sitemap | Robots.txt |
|---|---|---|
| Fungsi | Daftar halaman yang ingin dikenali mesin pencari | Aturan bagian situs yang boleh dirayapi |
| Alamat di Blogger | /sitemap.xml dan /sitemap-pages.xml | /robots.txt |
| Dibuat otomatis | Ya | Ya |
| Bisa diubah | Tidak perlu diubah | Bisa diganti dengan robots.txt khusus |
| Risiko jika salah | Rendah | Tinggi, bisa memblokir seluruh blog |
Apa Itu Sitemap?
Sitemap adalah file berformat XML yang berisi daftar URL di sebuah situs. Bayangkan sitemap sebagai daftar isi buku yang memudahkan mesin pencari menemukan setiap halaman, terutama artikel baru atau halaman yang jarang ditautkan.
Di Blogger, sitemap tersedia di alamat namablog.com/sitemap.xml untuk postingan dan namablog.com/sitemap-pages.xml untuk halaman statis seperti Tentang dan Kontak. Sitemap ini diperbarui otomatis setiap kali kalian menerbitkan artikel baru.
Apa Itu Robots.txt?
Robots.txt adalah file teks sederhana di akar situs yang berisi aturan untuk perayap mesin pencari. File ini menentukan bagian situs mana yang boleh dan tidak boleh dirayapi. Robots.txt juga bisa mencantumkan alamat sitemap agar mudah ditemukan.
Perlu dipahami, robots.txt mengatur perayapan, bukan pengindeksan secara mutlak. Halaman yang diblokir robots.txt tetap bisa muncul di Google jika ada banyak tautan ke halaman tersebut, meskipun tanpa deskripsi. Untuk mencegah halaman terindeks, yang tepat adalah memakai tag noindex.
Robots.txt Bawaan Blogger
Blogger membuat robots.txt otomatis yang umumnya berisi aturan berikut: perayap iklan AdSense diizinkan merayapi seluruh blog, halaman pencarian dan label di folder /search diblokir agar tidak terjadi konten duplikat, dan alamat sitemap dicantumkan di bagian bawah.
Untuk sebagian besar blog, robots.txt bawaan ini sudah cukup baik dan tidak perlu diubah. Kalian bisa melihatnya dengan membuka namablog.com/robots.txt di peramban.
Jika ragu, biarkan robots.txt dalam kondisi bawaan. Lebih baik tidak mengubah apa pun daripada salah menulis aturan yang memblokir seluruh blog.
Cara Mengaktifkan Robots.txt Khusus
- Buka dasbor Blogger, lalu masuk ke Setelan.
- Gulir ke bagian Crawler dan pengindeksan.
- Aktifkan Aktifkan robots.txt khusus.
- Klik robots.txt khusus, lalu tempelkan aturan yang diinginkan.
- Klik Simpan.
Contoh robots.txt yang aman untuk Blogger, dengan alamat sitemap disesuaikan dengan domain kalian:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.namablog.com/sitemap.xmlGanti alamat pada baris Sitemap dengan alamat blog kalian sendiri. Aturan ini mengizinkan perayap AdSense membaca seluruh blog, memblokir halaman pencarian dan label, serta mengizinkan halaman lainnya.
Pengaturan teknis sederhana dapat membantu blog lebih mudah dirayapi. Foto: Myriam Jessier / Unsplash
Mengatur Tag Tajuk Robot
Di bawah robots.txt, Blogger juga menyediakan Tag tajuk robot khusus. Fitur ini memberi instruksi seperti all, noindex, atau nofollow untuk jenis halaman tertentu. Pengaturan yang umum dipakai adalah:
- Beranda: all dan noodp.
- Halaman arsip dan penelusuran: noindex dan noodp, agar halaman arsip dan label tidak dianggap konten duplikat.
- Tag default untuk postingan dan halaman: all dan noodp.
Setelah diaktifkan, setiap postingan juga memiliki opsi Tag tajuk robot khusus di panel kanan editor, sehingga kalian bisa mengatur postingan tertentu agar tidak diindeks jika diperlukan.
Mengirim Sitemap ke Google Search Console
Agar Google lebih cepat mengenali artikel, kirim sitemap melalui Google Search Console. Buka menu Sitemap, masukkan sitemap.xml, lalu klik Kirim. Ulangi untuk sitemap-pages.xml. Setelah diproses, Search Console akan menampilkan status serta jumlah URL yang ditemukan.
Jika blog memiliki banyak artikel, Blogger akan membagi sitemap menjadi beberapa halaman secara otomatis. Kalian tetap cukup mengirimkan sitemap utama.
Kesalahan yang Sering Terjadi
- Menulis Disallow: / untuk semua perayap: aturan ini memblokir seluruh blog dari mesin pencari.
- Menyalin robots.txt dari blog lain tanpa mengganti alamat sitemap.
- Memblokir /p atau halaman statis: halaman Tentang dan Kebijakan Privasi justru perlu bisa dirayapi.
- Mengatur noindex untuk postingan secara global: artikel tidak akan muncul di Google.
- Memakai sitemap dari layanan luar: tidak diperlukan karena Blogger sudah menyediakan sitemap otomatis.
Cara Mengecek Apakah Pengaturan Sudah Benar
Buka namablog.com/robots.txt dan pastikan isinya sesuai. Gunakan juga Pemeriksaan URL di Search Console untuk mengecek apakah artikel penting dapat dirayapi dan diindeks. Jika muncul pesan bahwa halaman diblokir oleh robots.txt, segera periksa kembali aturan yang ditulis.
Laporan Pengaturan di Search Console juga menampilkan informasi robots.txt yang terakhir dibaca Google, sehingga kalian bisa memastikan perubahan sudah dikenali.
Hubungan Sitemap, Robots.txt, dan Kualitas Konten
Sitemap dan robots.txt hanyalah alat bantu. Keduanya membantu Google menemukan dan merayapi halaman, tetapi tidak menjamin halaman tersebut akan diindeks atau mendapat peringkat tinggi. Keputusan akhir tetap bergantung pada kualitas dan manfaat konten. Karena itu, jangan berharap mengutak-atik robots.txt bisa menaikkan posisi artikel.
Yang jauh lebih berpengaruh adalah artikel yang orisinal, lengkap, dan saling terhubung dengan tautan internal. Artikel yang ditautkan dari banyak halaman lain di blog lebih mudah ditemukan perayap dibandingkan artikel yang berdiri sendiri. Jadi, setelah sitemap dan robots.txt beres, fokuslah kembali pada kualitas tulisan.
Tips Merawat Blog dari Sisi Teknis
Selain sitemap dan robots.txt, ada beberapa hal teknis sederhana yang perlu dirawat. Hapus atau perbaiki postingan yang sudah tidak relevan, karena halaman tipis yang menumpuk bisa menurunkan kesan kualitas blog secara keseluruhan. Pastikan tautan internal tidak mengarah ke halaman yang sudah dihapus. Periksa juga tampilan blog di ponsel secara berkala setelah mengganti tema atau memasang gadget baru.
Jika memindahkan artikel ke alamat baru, gunakan fitur Pengalihan khusus di Setelan Blogger agar alamat lama diarahkan ke alamat baru. Dengan begitu, pengunjung dan mesin pencari tidak menemukan halaman error.
Pertanyaan yang Sering Diajukan
Apakah wajib mengaktifkan robots.txt khusus?
Tidak. Robots.txt bawaan Blogger sudah cukup untuk kebanyakan blog. Robots.txt khusus hanya diperlukan jika kalian benar-benar memahami aturannya.
Mengapa halaman label tidak terindeks?
Halaman label berada di folder /search yang secara bawaan diblokir untuk mencegah konten duplikat. Kondisi ini normal.
Bagaimana jika blog terlanjur diblokir karena robots.txt salah?
Nonaktifkan robots.txt khusus atau perbaiki aturannya, lalu minta pengindeksan ulang artikel penting melalui Search Console.
Apakah sitemap harus dikirim ulang setiap ada artikel baru?
Tidak. Google akan membaca sitemap secara berkala, sehingga artikel baru otomatis tercantum.
Kesimpulan
Sitemap dan robots.txt di Blogger sudah tersedia otomatis dan umumnya tidak perlu diubah. Jika ingin menyesuaikan, gunakan aturan yang aman, cantumkan sitemap yang benar, dan atur tag tajuk robot dengan hati-hati. Jangan lupa mengirim sitemap ke Search Console dan memeriksa hasilnya secara berkala.
Apakah kalian pernah mengalami artikel tidak terindeks karena pengaturan robots.txt? Bagikan pengalaman kalian di kolom komentar.
Komentar
Memuat komentar...
Tulis Komentar
Silakan bertanya atau berbagi pengalaman. Komentar berisi tautan aktif atau promosi akan dihapus.