Custom Robots.txt Untuk Optimasi SEO Blogger

Ok, sebelumnya saya belum tau kalo google udah mempunya fitur ini, maklum udah lama gak buka dan otak-atik blog lagi. Baru baru ini saya tau kalau udah ada fitur ini, dan saya mulai mencari apa sebenarnya fungsi fitur ini. Setelah sempat membaca beberapa artikel yang ada saya mulai paham apa sebenarnya fungsinya dan sebenarnya fitur ini sangat brmanfaat dan berguna untuk SEO Blog kita.

Sebelum Blogger mengaktifkan fitur custom robot.txt ini pengaturan meta index (noindex dan nofollow) untuk optimasi SEO Blogger dilakukan melalui update meta tag pada dokumen HTML template, dengan adanya fitur ini sekarang pengaturannya menjadi semakin mudah, secara default robots.txt memiliki dua baris perintah seperti di bawah ini :

User-agent: *
Disallow:

Perintah pada baris pertama di atas adalah identifikasi user-agent atau crawler search engine, agregator maupun robot pengindex lainnnya seperti googlebot dan lain-lain.  Sedangkan perintah pada baris ke dua adalah perintah larangan bagi robot pengindex untuk mengindex konten blog.

Perintah di atas jika diterjemahkan :

User-agent: * = Seluruh robot peng-index dibolehkan untuk mengindex blog atau situs
Disallow: = Seluruh konten blog atau situs dari root directory sampai ke sub directory termasuk archive dan halaman statis, diperbolehkan untuk diindex.  Jika ingin melakukan pelarangan anda tinggal menambahkan karakter slash (/) pada baris kedua sehingga bentuknya akan menjadi seperti ini :

User-agent: *
Disallow: /

Perintah ini akan melarang seluruh robot peng-index dari search engine, agregator dan lain-lain untuk mengindex seluruh konten blog atau situs

Untuk melakukan pengaturan pada file robots.txt, silahkan login ke blogger dengan ID anda, selanjutnya pada halaman dashboard pilih menu Settings ->> Search Preferences ->> Crawlers and Indexing pada bagian Enable Custom robots.txt content? pilih Yes lalu klik link Edit pada bagian Custom robots.txt seperti gambar di bawah :

 Secara default bloger telah menambahkan file robots.txt ini pada blog yang dibangun dengan platform blogger, cara melihatnya ketik url blog pada address bar browser dan tambahkan robots.txt di belakangnya contohnya seperti ini http://kom-blog.blogspot.com/robots.txt.  Jika Anda telah memahami pengaturan file robots.txt ini anda dapat memodifikasinya agar SEO blog bisa menjadi lebih optimal.  Berikut ini adalah dafault baris perintah robots.txt dan penjelasannya.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://kom-blog.blogspot.com/feeds/posts/default?orderby=updated

Baris perintah di atas jika diterjemahkan adalah sebagai berikut :

User-agent: Mediapartners-Google
Disallow:

Maksud perintah pada baris kelompok pertama ini adalah  memberikan izin kepada user-agent google adsense untuk meng-crawl seluruh konten blog agar bisa menampilkan iklan yang relevan, jika blog Anda menggunakan google adsense, tentu perintah ini penting dan jangan dihapus agar iklan yang ditampilkan relevan dan tepat sasaran.

User-agent: *
Disallow: /search
Allow: /

Untuk perintah pada kelompok baris yang kedua ini akan mengizinkan seluruh user-agent Search Engine dan Agregator termasuk Robot Autobloging untuk meng-crawl seluruh konten blog, kecuali directory yang berisi label blog karena di sana ada perintah Disallow: /search yang melarang robot search engine untuk meng-crawl directory ini, dan sebaiknya memang directory label tidak perlu diindex karena label tidak menunjukkan halaman riil.

 Sitemap: http://kom-blog.blogspot.com/feeds/posts/default?orderby=updated

Perintah pada kelompok ketiga adalah perintah menambahkan sitemap yang mana pada feeds ditambah perintah orderby, berisi list dari update terbaru, perintah ini akan membantu mempercepat pengindeksan pada mesin pencari.


semoga apa yang disuguhkan pada artikel ini walaupun hanya berupa pemahaman dasar tentang perintah dan cutomisasi pada file robots.txt bisa dijadikan acuan, atau mungkin kita bisa saling bertukar informasi untuk pengaturan file robots.txt ke tingkat advance sehingga SEO blog kita bisa menjadi lebih baik.