Klik Tau-Bagaimanakah cara Menambahkan dan memasang Robot.txt di blogger ? kali ini saya akan menjelaskan Tentang Tips dan Trik Menambahkan dan memasang Robot.txt dengan Benar di Blog. sebelum melanjutkan anda harus mengerti apa sih Robot.txt tersebut ? Robot.txt adalah sebuah file berformat .txt atau text yang berisi beberapa baris code script yang berfungsi untuk memberikan intruksi Website agar website anda di SERP dan untuk meningkatkan suatu visitor blog.
Pada umumnya blog memiliki Robot.txt seperti ini
User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap: http://kliktau.blogspot.com/feeds/posts/default?orderby=UPDATEDketerangan dari Code diatas adalah
- User-agent: Mediapartners-Google : ini adalah membantu Robot.txt dari Google Adsense beroperasi dengan baik dan sangat penting untuk Blogger yang memiliki jasa adsense
- User-agent:* : ode ini adalah berfungsi untuk mengindex semua robot di Search Enginee agar blog dapat mudah terindex Oleh Situs Pencarian. Seperti Google, Bing, Yahoo, dll
- Disallow: /search : Code ini adalah Web Crawler yang berfungsi untuk tidak dapat melakukan Crawl dan mengindex halaman utama Web jadi untuk code ini silahkan ganti dengan Allow: /search
- Sitemap: http://kliktau.blogspot.com/feeds/posts/defaulth?orderby=UPDATED : Code ini berfungsi untuk mengarahkan pada sitemap Blog dengan Menambahkan kode tersebut maka akan meningkatkan rate dari blog Crawling dan memudahkan web Crawler untuk melakukan Crawl pada semua postingan yang ada di blog.
Nah jika anda sudah mengerti dengan Arti kode tersbut maka kita bisa menggunakan Robot.txt disebuah web dengan membuat Robot.txt sendiri. anda bisa menggunakan Robot.txt seperti dibawah ini.
User-agent: *dan pasang Code tersebut di Blog anda. langkah-langkah pemasangan code tersebut adalah sebagai berikut 1. Pergi ke blo anda denga pergi ke Settings > Search Preferences lebih jelasnya anda bisa lihat gambar dibawah ini
Disallow: /search?*
User-agent: Mediapartners-Google
Allow:/
Sitemap: http://kliktau.blogspot.com/feeds/posts/default?orderby=updated
Sitemap: http://kliktau.blogspot.com/sitemap.xml
2. Jika sudah lihat di Bagian Crawlers and indexing dibagian bawah sendiri dan Klik edit bagian custom robot.txt Content pilih Yes
3. Jika sudah masukkan Kode diatas tadi kedalam kotak tersebut dan klik Save Changes untuk menyimpannya
4.Jika sudah kita mengatur terlebih dahulu custom robot header tags dengan seperti apa yang ada digambar dibawah ini dan jika sudah Save Changes
Demikian artikel yang dapat saya buat semoga bermanfaat bagi kalian semua.
makasih berguna bannget
ReplyDeletetapi menurut ane settingan robot yg kedua kurang cocok , ane kemarin pake settingan ini artikel ane yg awalnya keindeks malah jadi g keindeks , salam blogger gan :)
ReplyDeleteFungsi dari Disallow: /search yang tertulis di atas itu apa gak keliru Sob?
ReplyDeleteDi situ Sobat kan menyebutkan bahwa Disallow: /search adalah Web Crawler yang berfungsi untuk dapat melakukan Crawl dan mengindex halaman utama Web. Padahal arti dari Disallow sendiri kan sama dengan tidak mengijinkan.
Jadi kalau menurut saya Disallow: /search itu artinya sama dengan tidak mengijinkan crawler untuk melakukan perayapan pada folder yang dimaksud (dalam hal ini adalah folder search).
CMIIW dan tidak lupa saya sampakan salam kenal serta salam berbagi. :)
@Semar Bingung oya maaf sob. saya keliru, terimakasih sudah mengingatkan :)
ReplyDelete@alfianCMX Wah saya juga ragu sebenarnya pakai Robot.txt gpp sob saya coba untuk beberapa hari saja. :)
ReplyDelete@Muhammad Rifky Fachtureza sama" gan :)
ReplyDeletemending saya gak berurusan sama ini dulu deh, takut ga keindex nanti :)
ReplyDeleteblognya sudah difollow, follow balik > www.mendadakberita.com/
saya takut salah yang deindex nya om.nanti malah jadi kacau terhadap SERP.
ReplyDeleteRajaTerkini
Wah Mantap Nieh
ReplyDelete