Cara Kustomisasi robots.txt agar SEO Friendly untuk Blogger

Assalamu‘alaikum wr. wb. 

Halo gais! Jika Anda pengguna Blogger dan ingin diindeks oleh Google, tentunya hal ini adalah sangat penting. Hal tersebut yang disebut dengan robots.txt yang merupakan Crawler yang bertugas untuk mengindeks ke Mesin Pencarian seperti Google. Lanjut saja kita akan memberikan Tutorialnya!

Sumber Artikel : Prinsh.com dan Igniel.com

Apa itu robots.txt?

Robots.txt, yang juga dikenal sebagai Protokol Pengecualian Robots (Robots Exception Protocol) adalah pedoman bagi pemilik blog untuk menghentikan web crawler dan robot web lainnya dari mengakses seluruh atau sebagian bagian dari situs yang tidak diinginkan untuk diindeks.

Oleh karena itu, pengaturan yang aman diperlukan agar blog tidak terpengaruh secara negatif. Sebenarnya, robots.txt sudah aktif dengan sendirinya sejak pembuatan blog pertama kali. Penggunaan default ini dianggap paling aman. Namun, jika Anda ingin melakukan konfigurasi tambahan, silakan ikuti panduan tentang cara mengatur robots.txt di Blogger di bawah ini.

Berikut, inilah cara mengganti kode robots.txt bawaan blogger.

Login ke akun Blogger Anda, dan klik Setelan (Settings).

Scroll ke bawah, cari Crawler dan Pengindeksan (Crawling and Indexing) Klik Aktifkan robots.txt Kustom.

Dan klik bagian robots.txt Kustom. Pada pilihan "Enable custom robots.txt content?" pilih Yes.

Selanjutnya masukkan Setelan robots.txt yang aman berikut ini.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://enzashorts.blogspot.com/sitemap.xml

Custom robots.txt Paling Aman

Jika kalian ingin agar halaman seperti disclaimer, privacy, about, atau halaman lainnya yang tidak ingin diindeks mesin pencari, silakan gunakan kode robots.txt kustom paling aman dibawah ini :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: https://enzashorts.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Itulah Cara Kustomisasi robots.txt agar SEO Friendly untuk Blogger. Mohon maaf apabila ada kesalahan sedikitpun pada Tutorial ini.

Terima Kasih 😄😊👌👍 :)

Wassalammu‘alaikum wr. wb.