Terindeks Meski Diblokir oleh robotstxt di Blogger Apa Penyebabnya

Terindeks Meski Diblokir oleh robots.txt di Blogger, Apa Penyebabnya?

Postingan ini saya tulis untuk menjawab pertanyaan yang cukup sering ditanyakan oleh pelanggan template blogger premium saya yaitu mengenai masalah notifikasi Diindeks meskipun diblokir oleh robots.txt di Google Search Console.

Disini saya tidak hanya akan menjelaskan bagaimana mengatasi masalah ini, tetapi juga akan menjelaskan mengapa masalah ini bisa terjadi. Harapannya tentunya semakin paham tentang cara kerja mesin pencari, khususnya Google.

Langsung saja ke topik diskusi.

Penyebab peringatan “Terindeks meskipun diblokir oleh robots.txt”

Mungkin banyak yang belum tahu, alasan utama peringatan ini adalah karena mesin pencari Google telah mengabaikan perintah noindex menggunakan file robots.txt.

Sementara itu, blogger masih menggunakan file robots.txt untuk mencegah halaman tertentu diindeks di mesin pencari.

Halaman-halaman ini adalah halaman pencarian dan halaman label.

Terindeks Meski Diblokir oleh robotstxt di Blogger Apa Penyebabnya
File robots.txt default Blogger

Di file robots.txt, perintah berikut ditulis:

Disallow: /search

Perintah ini digunakan untuk memberi tahu mesin telusur agar tidak mengindeks URL yang dimulai dengan / Cari setelah alamat blog.

Sekarang URL yang dimulai dengan / Cari di blogger digunakan untuk halaman label dan halaman pencarian.

Contoh label = URL halaman https://linkmagz.sugeng.id/search/label/Produk

Contoh URL halaman pencarian = https://linkmagz.sugeng.id/search?q=mantabbbbb

Selain label dan halaman pencarian, URL yang dimulai dengan / Cari juga digunakan untuk menampilkan daftar postingan = https://linkmagz.sugeng.id/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7

Lalu bagaimana cara memperbaikinya?

Ada beberapa metode yang dapat digunakan untuk mengatasi masalah ini.

1. Cara Pertama

Cara termudah adalah dengan menghapus perintah tersebut Disallow: / search di file robots.txt menggunakan fitur custom robots.txt di blogger.

Dengan cara ini dapat menghilangkan peringatan yang diindeks meskipun diblokir oleh robots.txt di konsol pencarian google.

Namun dampak buruknya adalah label dan halaman pencarian tetap bisa terindeks di halaman pencarian.

Umumnya kami tidak ingin halaman label dan pencarian diindeks pada halaman pencarian karena halaman ini adalah halaman berkualitas rendah.

2. Cara kedua

Cara kedua adalah menggunakan tag header robot untuk memberi tahu Google agar tidak mengindeks label dan halaman pencarian.

Saat ini Google masih mendukung tag robot header, dengan kata lain tag header robot tidak diabaikan seperti pada file robots.txt.

Untuk melampirkan tag header robot ini sebenarnya / seharusnya dapat dilakukan secara otomatis dengan menggunakan fitur “Tag tajuk robot khusus“Di blogger.

Ketika pelanggan template blogger premium saya bertanya tentang masalah ini, saya biasanya memberi tahu saya untuk menyetel setelan “Tag header robot kustom”.

Tapi entah bagaimana terakhir kali aku memeriksanya fitur “Tag tajuk robot khusus“Blogger tidak lagi bekerja seperti seharusnya. Sekarang tag header robot noindex secara otomatis muncul di arsip, label, dan halaman pencarian.

Karena metode ini tidak lagi berfungsi, alternatifnya adalah langsung meletakkan tag meta robot di template.

Bagaimana caranya, Mas?

Cukup salin kode di bawah ini:

<!-- Meta Robot -->
<b:if cond="data:view.isSearch or data:view.isArchive">
    <meta content="noindex, noarchive" name="robots"/>
</b:if>

Letakkan kode tepat di bawah kode di dalam template.

Langkah selanjutnya sobat juga harus menghapus perintah tersebut Disallow: / search di file robots.txt.

Karena kalau order Disallow: / search tidak dihapus, robot Google tidak dapat membaca pesanan dari tag meta robot sudah terpasang sebelumnya.

Untuk cara menghapusnya, silakan buka dasbor blogger > setelan > Perayap dan pengindeksan > Aktifkan fitur robot.txt khusus.

Klik kostum robots.txt, setelah itu masukkan kode ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://linkmagz.sugeng.id/sitemap.xml

Catatan: ganti linkmagz.sugeng.id dengan alamat blog Anda.

Jangan lupa klik “Menyimpan

Jika sudah melakukan perubahan, jangan lupa klik tombol “Perbaiki Validasi“Di dasbor Search Console. Setelah itu, tunggu notifikasi”Diindeks meskipun diblokir oleh robots.txtKalah.

Beberapa pesan notifikasi lainnya

Selain notifikasi “Terindeks meski diblokir oleh robots.txt”, hampir bisa dipastikan notifikasi lain juga akan muncul di Google Search Console.

Notifikasi selain “Diindeks meskipun diblokir oleh robots.txt” biasanya bukan peringatan. Artinya meskipun dibiarkan saja tidak masalah. Faktanya, lebih baik biarkan saja.

Berikut beberapa pemberitahuan yang paling umum:

Anomali perayapan

Notifikasi ini biasanya muncul karena ada URL postingan yang awalnya diindeks di mesin pencari tapi sudah dihapus di blog.

Bagaimana cara memperbaikinya mas?

Anda dapat membiarkannya atau jika Anda merasa tidak nyaman Anda dapat mengarahkan URL kesalahan ke posting lain dengan menggunakan fitur tersebut pengalihan khusus di blogger.

Cara menggunakan fitur redirect khusus bisa dibaca di sini: Cara SEO Blogger.

Dirayapi – saat ini tidak diindeks

Notifikasi ini biasanya muncul karena ada URL RSS feed yang tidak ditampilkan di hasil pencarian.

Bagaimana cara memperbaikinya mas?

Periksa daftar URL yang mendapatkan pemberitahuan ini. Jika mayoritas adalah URL RSS feed maka biarkan saja.

Contoh URL umpan RSS terlihat seperti ini:

https://viomagz.sugeng.id/feeds/posts/default

https://viomagz.sugeng.id/feeds/273523674801878748/comments/default

Halaman alternatif dengan tag kanonik yang tepat

Pemberitahuan ini muncul karena URL versi seluler dengan parameter ? m = 1 di belakang URL.

Saat sobat mengakses blog melalui perangkat mobile, dibalik URL tersebut akan ada parameter tambahan secara otomatis ? m = 1.

Di blogger secara otomatis menambahkan tag kanonik (kanonik) pada halaman / posting dengan parameter ? m = 1.

Tag kanonik ini pada dasarnya memberi tahu mesin pencari bahwa URL-nya ada sebagai tambahan ? m = 1 dan yang tidak ditambahkan adalah halaman / postingan yang sama, sehingga tidak menyebabkan duplikat konten.

Bagaimana cara memperbaikinya mas?

Ini normal, biarkan saja.

Dan notifikasi lainnya

Masih banyak notifikasi lain yang muncul di Google Search Console. Namun, pemberitahuan tersebut sebagian besar bersifat non-peringatan.

Selama notifikasi tersebut bukan merupakan peringatan atau peringatan, Anda tidak perlu terlalu khawatir. Biarkan saja apa adanya.

Mungkin inilah akhir dari postingan saya kali ini.

Jika Anda memiliki pertanyaan, silakan kirimkan di komentar.

Terima kasih.

sumber : sugeng.com