Meta Robots SEO: Perbedaan Noindex, Nofollow, dan Cara Menggunakannya
Pelajari fungsi meta robots, perbedaan noindex dan nofollow, cara menggunakan canonical, serta langkah aman mengatur indeks halaman Blogger agar tidak salah konfigurasi.
anaksmanda.com — Saat membangun blog atau website, SEO tidak hanya berkaitan dengan kata kunci, judul artikel, dan backlink. Pengaturan teknis untuk mesin pencari juga perlu dipahami, terutama ketika kita ingin menentukan halaman mana yang boleh muncul di hasil pencarian Google.
Salah satu bagian penting dalam SEO teknis adalah meta robots. Melalui pengaturan ini, pemilik website dapat memberikan instruksi kepada mesin pencari tentang pengindeksan halaman dan bagaimana tautan di dalamnya diperlakukan.
Dua istilah yang sering membingungkan blogger adalah noindex dan nofollow. Keduanya memiliki tujuan berbeda. Salah memilih atau menerapkannya secara luas dapat membuat halaman yang sebenarnya penting tidak lagi ditampilkan di Google.
1. Ringkasan Noindex, Nofollow, dan Canonical
Gunakan tabel berikut untuk memahami perbedaan ketiga istilah sebelum menerapkannya pada blog.
| Istilah | Fungsi utama | Penggunaan umum |
|---|---|---|
| noindex | Meminta mesin pencari agar tidak menampilkan halaman dalam hasil pencarian. | Halaman yang memang tidak perlu ditemukan melalui pencarian. |
| nofollow | Memberi instruksi agar mesin pencari tidak mengikuti tautan pada halaman tersebut. | Kasus khusus ketika pemilik situs tidak ingin mengaitkan atau mengikuti tautan dari halaman tersebut. |
| index | Menyatakan halaman boleh diindeks. | Nilai default; biasanya tidak perlu ditulis secara eksplisit. |
| follow | Menyatakan tautan pada halaman boleh diikuti. | Perilaku default; biasanya tidak perlu ditulis secara eksplisit. |
| canonical | Menunjukkan URL utama yang disarankan dari sekumpulan halaman duplikat atau sangat mirip. | Halaman dengan variasi URL atau konten yang sama maupun sangat mirip. |
| robots.txt | Mengatur halaman atau sumber daya yang boleh dirayapi oleh crawler. | Mengendalikan akses crawling, bukan sebagai pengganti langsung noindex. |
2. Apa Itu Meta Robots?
Meta robots adalah elemen HTML yang memberikan instruksi kepada crawler mesin pencari mengenai cara memperlakukan halaman. Pengaturannya biasanya diletakkan di bagian <head> dokumen HTML atau dikirim melalui header HTTP untuk jenis sumber daya yang sesuai.
Contoh berikut memperlihatkan bentuk umum meta robots.
<meta name="robots" content="noindex, follow">Contoh tersebut menyatakan bahwa halaman tidak ingin ditampilkan dalam hasil pencarian, sementara tautan pada halaman tetap boleh diikuti sesuai instruksi. Namun, follow merupakan perilaku default, sehingga menuliskan follow secara eksplisit biasanya tidak diperlukan.
Meta robots dapat menggunakan sejumlah nilai, termasuk:
- noindex: meminta halaman tidak ditampilkan dalam hasil pencarian.
- nofollow: memberi instruksi agar tautan pada halaman tidak diikuti.
- nosnippet: meminta Google tidak menampilkan cuplikan teks atau pratinjau video halaman dalam hasil pencarian.
- all: tidak memberikan pembatasan tambahan; pada dasarnya merupakan perilaku default.
Google hanya dapat membaca instruksi tersebut apabila crawler bisa mengakses halaman dan menemukan aturannya. Karena itu, konfigurasi meta robots harus diperiksa bersama pengaturan crawling lainnya. Lihat dokumentasi resmi Google tentang meta robots.
3. Apa Fungsi Noindex?
Noindex digunakan ketika pemilik website tidak ingin sebuah halaman ditampilkan di hasil penelusuran Google. Jika Google berhasil merayapi halaman dan membaca instruksi noindex, halaman tersebut akan dikeluarkan dari hasil pencarian Google setelah instruksi diproses.
Contoh kode untuk halaman HTML biasa:
<meta name="robots" content="noindex">Kode tersebut ditujukan untuk bagian head halaman, bukan untuk ditempelkan sebagai teks biasa dalam artikel Blogger. Jika menggunakan Blogger, pengaturan robots header tags dapat menjadi cara yang lebih sesuai.
Bagaimana noindex bekerja?
- Google merayapi halaman. Crawler harus dapat mengakses URL untuk membaca aturan yang diterapkan.
- Google menemukan instruksi noindex. Instruksi ini menyatakan bahwa halaman tidak boleh ditampilkan di hasil penelusuran.
- Google memproses perubahan. Halaman dapat dikeluarkan dari hasil pencarian setelah Google merayapi ulang dan memproses instruksi tersebut.
4. Kapan Noindex Perlu Digunakan?
Noindex sebaiknya digunakan berdasarkan tujuan halaman, bukan sekadar karena halaman tersebut memiliki sedikit konten atau dianggap duplikat.
Halaman konfirmasi
Halaman terima kasih setelah formulir dikirim mungkin tidak perlu muncul di Google jika tidak memiliki manfaat bagi pencari secara umum.
Halaman internal yang tidak ditujukan untuk pencarian
Halaman tertentu yang ditujukan bagi pengguna melalui alur internal dapat dipertimbangkan untuk tidak diindeks, selama tidak membutuhkan pembatasan akses yang lebih kuat.
Halaman berfungsi rendah
Halaman yang memang tidak ingin ditampilkan di pencarian dapat diberi noindex setelah dampaknya terhadap pengguna dan struktur situs dievaluasi.
Halaman arsip atau pencarian
Evaluasi manfaat dan kualitas halaman terlebih dahulu. Jangan otomatis memberi noindex pada semua arsip atau label tanpa memeriksa fungsi dan nilainya bagi pengunjung.
Perlu diperhatikan bahwa halaman yang terlihat mirip tidak selalu harus diberi noindex. Google dapat menangani banyak kasus konten duplikat melalui sistem canonicalization. Untuk URL yang benar-benar duplikat atau sangat mirip, pertimbangkan canonical jika tujuannya menunjukkan URL utama. Pelajari cara Google memilih URL kanonis.
5. Apa Fungsi Nofollow?
Nofollow berkaitan dengan tautan. Pada tingkat halaman, aturan ini memberi sinyal kepada Google agar tidak mengikuti tautan pada halaman tersebut. Akan tetapi, Google memperlakukan nofollow sebagai petunjuk, bukan larangan mutlak dalam semua situasi.
Contoh aturan pada tingkat halaman:
<meta name="robots" content="nofollow">Jika hanya satu tautan yang memerlukan perlakuan khusus, gunakan atribut pada elemen tautan tersebut, bukan nofollow untuk seluruh halaman.
<a href="https://example.com/" rel="nofollow">Kunjungi situs</a>Perbedaan nofollow pada halaman dan pada tautan
- Meta robots nofollow: berlaku terhadap tautan pada halaman yang bersangkutan.
- Atribut rel="nofollow": diterapkan pada tautan tertentu.
- rel="sponsored": lebih disarankan untuk menandai tautan iklan atau penempatan berbayar.
- rel="ugc": dapat digunakan untuk tautan dalam konten buatan pengguna, seperti komentar atau forum.
Untuk tautan internal normal yang relevan, tidak perlu menambahkan nofollow tanpa alasan jelas. Pengaturan nofollow tidak dapat menggantikan struktur internal link yang baik. Baca panduan Google tentang atribut rel pada tautan.
6. Apa Arti Index dan Follow?
Istilah index dan follow sering muncul bersamaan dengan noindex dan nofollow. Keduanya perlu dipahami agar tidak menambah pengaturan yang sebenarnya tidak dibutuhkan.
| Instruksi | Arti praktis | Perlu ditambahkan? |
|---|---|---|
| index | Halaman boleh dipertimbangkan untuk masuk ke indeks pencarian. | Biasanya tidak perlu ditulis karena merupakan perilaku default. |
| follow | Tautan pada halaman boleh diikuti. | Biasanya tidak perlu ditulis karena merupakan perilaku default. |
| noindex, follow | Halaman tidak ditujukan untuk muncul di hasil pencarian; perilaku tautan tetap default. | Gunakan hanya jika memang ingin halaman tidak diindeks. |
| noindex, nofollow | Halaman tidak ditujukan untuk hasil pencarian dan meminta agar tautannya tidak diikuti. | Gunakan hanya jika kedua instruksi tersebut memang diperlukan. |
7. Perbedaan Noindex, Canonical, dan Robots.txt
Tiga istilah ini sering dianggap memiliki fungsi yang sama, padahal masing-masing menangani persoalan yang berbeda.
Noindex untuk mengatur kemunculan di pencarian
Gunakan noindex jika halaman memang tidak ingin ditampilkan di hasil pencarian. Google harus dapat merayapi URL agar bisa membaca instruksi tersebut.
Canonical untuk menunjukkan URL utama
Canonical memberi sinyal URL mana yang dipilih sebagai versi representatif dari halaman yang sama atau sangat mirip. Google dapat mempertimbangkan sinyal tersebut bersama sinyal lainnya, tetapi keputusan akhir tetap berada pada Google.
Contoh elemen canonical pada bagian head:
<link rel="canonical" href="https://www.example.com/artikel-utama.html">Ganti contoh URL tersebut dengan URL kanonis yang benar pada implementasi sebenarnya. Jangan menyalin URL contoh di atas ke website.
Robots.txt untuk mengatur crawling
Robots.txt digunakan untuk mengatur apakah crawler diperbolehkan meminta URL atau sumber daya tertentu. Robots.txt bukan instruksi penghapusan indeks yang setara dengan noindex.
| Tujuan | Pendekatan yang sesuai |
|---|---|
| Tidak ingin halaman muncul di Google | Gunakan noindex dan pastikan Google bisa merayapi halaman. |
| Memiliki beberapa URL untuk konten yang sama | Evaluasi canonical dan sinyal URL utama lainnya. |
| Ingin membatasi crawler mengakses jalur tertentu | Pertimbangkan robots.txt dengan aturan yang tepat. |
| Ingin melindungi halaman rahasia | Gunakan autentikasi atau pembatasan akses, bukan hanya noindex atau robots.txt. |
Sumber resmi: memblokir pengindeksan dengan noindex dan kanonisasi URL.
8. Cara Mengatur Robots di Blogger
Blogger menyediakan pengaturan khusus untuk robots header tags. Ini lebih aman daripada menambahkan tag global secara sembarangan ke template karena pengaturan dapat diterapkan sesuai jenis halaman.
- Buka Blogger. Masuk ke dashboard blog yang ingin dikelola.
- Pilih Setelan. Gulir ke bagian Crawler dan pengindeksan atau Crawlers and indexing, tergantung bahasa antarmuka.
- Periksa custom robots header tags. Aktifkan pengaturan ini hanya jika memang diperlukan.
- Periksa setiap kelompok halaman. Blogger dapat menyediakan pengaturan untuk halaman beranda, halaman arsip dan pencarian, serta postingan dan halaman.
- Terapkan secara selektif. Jangan memilih noindex untuk semua kelompok halaman apabila artikel utama masih ingin ditemukan di Google.
- Simpan perubahan. Periksa kembali konfigurasi setelah menyimpan.
Jika kalian belum yakin dengan setting yang ada, dokumentasikan konfigurasi saat ini sebelum mengubahnya. Perubahan pada robots header tags dapat memengaruhi banyak URL sekaligus, terutama jika aturan diterapkan pada satu kelompok halaman.
Rujukan pengaturan Blogger tersedia di Pusat Bantuan Blogger: mengelola setelan blog.
9. Kesalahan SEO yang Perlu Dihindari
Noindex pada homepage
Jika beranda ingin ditemukan di Google, pastikan tidak ada aturan noindex yang diterapkan secara tidak sengaja.
Menganggap noindex sebagai keamanan
Noindex tidak mencegah pengguna membuka URL. Gunakan pembatasan akses untuk informasi sensitif.
Memakai noindex untuk semua halaman duplikat
Halaman yang sama atau mirip perlu dievaluasi berdasarkan tujuan. Canonical dapat lebih tepat untuk menunjukkan versi utama.
Menambahkan index, follow di semua halaman
Karena ini merupakan perilaku default, tambahan tersebut biasanya tidak memberikan manfaat khusus.
Kesalahan lain adalah menganggap halaman akan langsung hilang dari Google begitu noindex ditambahkan. Google harus merayapi halaman dan memproses instruksi tersebut. Waktu pemrosesan dapat bervariasi; tidak ada jaminan halaman hilang dalam hitungan jam.
10. Cara Memeriksa Status Halaman di Google Search Console
Setelah memperbarui konfigurasi, gunakan Google Search Console untuk memeriksa apakah Google membaca halaman dan menemukan aturan yang diharapkan.
- Buka Search Console. Masuk ke properti website yang telah diverifikasi.
- Gunakan URL Inspection. Masukkan URL lengkap dari halaman yang ingin diperiksa.
- Periksa status pengindeksan. Lihat informasi tentang apakah URL diindeks, pengecualian yang tercatat, atau canonical yang dipilih Google.
- Jalankan pengujian langsung jika diperlukan. Gunakan fitur pengujian URL yang tersedia untuk melihat bagaimana Google dapat mengakses halaman saat ini.
- Evaluasi hasilnya. Pastikan aturan noindex memang disengaja dan tidak diterapkan ke artikel yang ingin kalian tampilkan di pencarian.
- Minta pengindeksan jika relevan. Untuk halaman yang seharusnya diindeks, perbaiki masalah terlebih dahulu lalu gunakan opsi meminta pengindeksan jika tersedia.
URL Inspection tidak menjamin halaman akan segera diindeks. Fitur ini membantu memeriksa kondisi halaman dan memberikan informasi tentang bagaimana Google memproses URL.
Buka Google Search Console untuk memulai pemeriksaan. Untuk melihat panduan penghapusan indeks, gunakan dokumentasi resmi Google tentang noindex.
11. Pertanyaan yang Sering Diajukan
Apakah noindex membuat halaman langsung hilang dari Google?
Tidak selalu langsung. Google perlu merayapi halaman, menemukan aturan noindex, lalu memprosesnya. Waktu pemrosesan dapat berbeda untuk setiap URL.
Apakah noindex dan nofollow memiliki fungsi yang sama?
Tidak. Noindex berkaitan dengan kemunculan halaman dalam hasil pencarian, sedangkan nofollow memberi instruksi terkait tautan pada halaman. Keduanya dapat digabungkan jika memang diperlukan.
Apakah saya perlu menambahkan index, follow di Blogger?
Biasanya tidak. Index dan follow merupakan perilaku default ketika tidak ada instruksi yang lebih membatasi. Fokuslah memastikan halaman penting tidak terhalang aturan yang salah.
Apakah halaman label Blogger perlu diberi noindex?
Tidak otomatis. Pertimbangkan apakah halaman label memiliki manfaat bagi pengunjung, membantu navigasi, dan layak ditampilkan di pencarian. Terapkan aturan secara selektif sesuai fungsi halaman dan konfigurasi situs.
Apakah noindex bisa digunakan untuk menyembunyikan halaman rahasia?
Tidak. Noindex bukan mekanisme keamanan. Gunakan autentikasi atau pembatasan akses jika halaman berisi informasi yang tidak boleh diakses publik.
Apakah canonical menjamin Google akan memilih URL yang saya tentukan?
Tidak. Canonical merupakan sinyal preferensi, bukan aturan mutlak. Google mempertimbangkan canonical bersama sinyal lain untuk menentukan URL yang paling representatif.
Apakah robots.txt bisa menggantikan noindex?
Tidak. Robots.txt mengatur crawling, sedangkan noindex mengatur kemunculan halaman dalam hasil pencarian. Jika halaman diblokir dari crawling, Google mungkin tidak dapat membaca instruksi noindex di halaman tersebut.
Apakah meta robots perlu ditulis di isi artikel Blogger?
Jangan menempelkan kode meta robots begitu saja di isi artikel untuk mengatur pengindeksan postingan. Gunakan pengaturan robots yang sesuai di Blogger atau metode teknis yang memang mengatur bagian head atau header respons halaman.
Kesimpulan
Meta robots merupakan bagian penting dari SEO teknis karena membantu menentukan cara mesin pencari memperlakukan halaman. Noindex digunakan untuk meminta halaman tidak muncul dalam hasil pencarian, nofollow berkaitan dengan instruksi pada tautan, dan canonical membantu menunjukkan URL utama untuk konten duplikat atau sangat mirip.
Untuk blogger, kuncinya bukan menambahkan sebanyak mungkin meta tag, melainkan memastikan setiap aturan digunakan sesuai tujuan. Periksa konfigurasi Blogger dengan hati-hati, jangan memberi noindex secara luas tanpa evaluasi, dan gunakan Search Console untuk memastikan halaman penting tetap dapat ditemukan.
Periksa terlebih dahulu status URL, robots meta, robots.txt, dan canonical sebelum mengubah konfigurasi. Bagikan pengalaman kalian di kolom komentar agar bisa menjadi bahan belajar SEO teknis bersama.
Komentar
Memuat komentar...
Tulis Komentar
Silakan bertanya atau berbagi pengalaman. Komentar berisi tautan aktif atau promosi akan dihapus.