
Pengertian Robots.txt
Robot Exclusion Standard / Robots Exclusion Protocol sering disebut juga dengan Robots.txt, sebuah file robots berformat .txt yang terdapat pada suatu situs untuk memandu spider bot, mana saja bagian situs yang boleh dicrawl dan dimasukkan ke dalam daftar index serta yang tidak boleh dicrawl.Letak Upload File Robots.txt
Tempat yang tepat untuk mengupload file robots.txt adalah pada halaman situs tersebut misalnya :http://namadomain.com/robots.txtKita tidak diperbolehkan untuk mengupload pada directory / path dalam situs . Nama file juga telah ditetapkan memakai nama robots, tidak boleh diubah dengan nama lain karena dalam program kerja spider bot nama file ini telah terprogram dengan nama robots. Sehinggga ketika spider bot merayapi sebuah situs maka tujuan pertamanya adalah file robots.txt yang merupakan file pemandu baginya. Bila kita tetap ngotot mempergunakan nama lainnya, spider bot tidak akan pernah sampai dan tidak mungkin pula menjalankan perintah pada file tersebut.
Karena sebuah subdomain merupakan situs yang berdiri sendiri dan terpisah dari domain utamanya maka sebuah situs yang menggunakan subdomain juga harus memiliki file robots.txt sendiri. Letak upload file-nya pun juga sama yaitu dalam satu folder yang sama dengan situs.
Membaca Robots.txt
Spider bot yang telah sampai di halaman robots.txt akan membaca petunjuk apa yang ada dalam robots.txt. Untuk memahami isi robots.txt, mari kita ambil contoh dari file robots.txt pada blogspot dan wordpress.com. Berikut kira – kira isi dari robots.txt pada blogspot dan wordpress.com :Blogspot
Isi file robots.txt pada blogspot
User-agent: Mediapartners-GooglePada robots.txt di atas, spider bot tidak diperbolehkan untuk menelusuri isi dalam directory search. Jadi semua file yang ada dalam directory ini tidak akan terindex oleh spider bot. Contoh url search pada blogspot adalah halaman label. Baris selanjutnya adalah sebuah perintah untuk mengindex seluruh halaman lainnya ( selain directory search ) di dalam blogspot. Ini ditandai dengan tanda slash di depan allow.
Disallow:
User-agent: *
Disallow: /search
Allow: /
Wordpress.com
Isi file robots.txt pada wordpress.comUser-agent: IRLbotPada robots.txt di atas, spider bot tidak diizinkan untuk mengcrawl dan mengindex semua file yang ada dalam directory ->> next, activate, signup, cgi-bin serta file related-tags.php
Crawl-delay: 3600
User-agent: *
Disallow: /next/
# har har
User-agent: *
Disallow: /activate/
User-agent: *
Disallow: /signup/
User-agent: *
Disallow: /related-tags.php
# MT refugees
User-agent: *
Disallow: /cgi-bin/
User-agent: *
Disallow:
Perintah untuk memperbolehkan spider bot mengcrawl dan mengindex halaman selain yang tidak diperbolehkan di atas adalah tidak adanya tanda slash di depan perintah disallow. Perintah ini memiliki arti yang sama dengan allow: / pada blogspot.
Performa Robots.txt Pada Webmaster Tool
Hasil dari kinerja spider bot saat melakukan proses crawling pada blog kita akan tercatat di Webmaster Tool. Dari hal ini kita bisa meninjau apakah file robots.txt kita benar – benar bekerja atau malah error dan menghambat kerja spider bot. Berikut ulasannya :Google Webmaster Tool
Untuk melihat sebaik apa spider bot membaca dan mengikuti perintah dalam robots.txt kita harus login lebih dulu di Google Webmaster Tool. Ketika telah sampai di Dashboard blog pada bagian Crawl Errors ada link yang tertuliskan Restricted by robots.txt maka klik link ini. Selanjutnya halaman baru akan muncul dan pada halaman ini kita akan diperlihatkan daftar url dalam blog yang dibatasi aksesnya. Bagi sahabat blogger yang menggunakan blogspot url tersebut semuanya berasal dari directory search seperti yang diperlihatkan pada gambar di bawah.

Performa robots.txt juga bisa kita amati melalui Bing Webmaster Tool. Untuk mengetahuinya, masuk ke Dashboard blog di Bing Webmaster Tool kemudian pilih menu Crawl dan klik Crawl Details, selanjutnya klik link Excluded by robots.txt. Dari langkah ini kita akan diperlihatkan url yang tidak diijinkan untuk di akses oleh spider bot Bing.

Manfaat Robots.txt Dalam SEO
Seperti yang telah diuraikan di atas Robots.txt memiliki peran penting dalam asebilitas sebuah situs. Ada bagian yang bisa di bagi untuk umum dan ada bagian yang sangat privat dan tidak untuk dibagi kepada pengguna internet lainnya yang melakukan pencarian di search engine. Keputusan untuk tidak mempublikasikan suatu file tertentu pada sebuah situs sangatlah bermanfaat seperti halaman khusus login cms blog maupun halaman login ke cpanel hosting tidak perlu untuk di index, kalau bisa halaman ini jangan sampai diketahui oleh orang lain agar blog lebih aman dari tindakan yang merugikan. Manfaat lainnya, untuk melindungi berbagai macam script seperti script cms dan widget.Dalam hal optimasi SEO, kemampuan Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa kita manfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar konten tersebut cepat terindex oleh search engine.
Saat spider bot memutuskan untuk mengcrawl situs, situs akan kehilangan bandwidth dalam jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan kegagalan spider bot dalam mengcrawl blog kita karena akses situs yang kurang baik akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi konten sampai tuntas.
Di lain sisi bila halaman index yang di dapat search engine pada sebuah situs dinilai sangat berkualitas maka situs tersebut akan memiliki peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya dibandingkan dengan situs yang memiliki banyak halaman index namun dengan konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link didalamnya contonya situs AGC.
Semoga ulasan tentang Peran Robots.txt Dalam Optimasi SEO | Webmaster Tool bisa bermanfaat...
48 komentar:
Perlu diingat robots.txt untuk Blogger/blogspot tak boleh diedit (tak seperti Wordpress)
kalau untuk tumblr bagaimana mbak? cara pasang nya gimana?
@anjung ras : biasanya sudah disetting oleh penyedia layanannya, silahkan kunjungi url robots.txt untuk mengeceknya..
http://dogsbakery.tumblr.com/robots.txt
terima kasih infonya mba :)
sangat bermanfaat kebetulan saya masih bingung
kalo saya boleh request dan saya ingin sekali mendapatkan materi atau cara untuk mengecilkan alexa rank dan cara cepat mendapatkan google page rank :)
terima kasih banyak mba untuk materi robot.txt nya sanga2 membantu sekali dan saya sudah coba it is work :)
terima kasih mba kalo bersedia add ym saya rezadiam27 :)
terima aksih
just blog walking..jadi si robots.txt tu ky laporan hasil crawling googlebot yahh..key, thx, jd nambah ilmuna..
kl butuh tas2 kanvas etnik handmade kesini aje: http://xylobatiks.blogspot.com
maaf mau tanya kenapa robot.txt error/tidak valid? contoh saya ketik di browser http://namadomain.com/robot.txt
hasilnya 404.namadomain.com
harusnya tidak demikian bukan?
lalu bagaimana solusinya.. thanks
mohon send ke emailku yah.. belinotebook@yahoo.co.id
@List Do Follow Blog : mohon maaf, file-nya memakai robots.txt buakan robot.txt, bila kita mendesain sendiri web kita dan mengupload file sendiri disini maka nama file tersebut harus menggunakan robots.txt Untuk blog berplatform seperti wordpress, blogspot dan lainnya pun menggunakan nama file robots.txt Mohon cek alamat file robots.txt pada blog anda, http://namadomain.com/robots.txt
Semoga bisa sedikit membantu anda
Terima kasih sist paparannya, saya juga sedang baca² artikel ttg crawl error di blog saya. Sbb saya sudah saya minta remove url, tapi masih ada 14 url not found.
Saya baca ulasan di bagian crawl error dulu ya, sapa tau ada pencerahan disana ;)
kalo robot tex diaktfkan apa ada pengaruhnya
numpang tenar ya gan ,makaasih
cara mengatasi url notfund 404 gimana yahhh
mbak bisa tolong d jelasin ga knpa ada url yang d blokir robot txt, padahal aku ga pernah edit robot txt untuk memblokir url..
robot txt aku:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://eflianda.blogspot.com/feeds/posts/default?orderby=UPDATED
meta robot:
meta content='index,follow' name='robots'
meta content='NOARCHIVE' name='robots'
ada yg salah ga mbak.?
kalau boleh tolong d balas k tempat saya ya mbak.
thanks boss.. ini sangat membantu saya memahami fungsi dari perintah2 robot.txt,. success 4 admin
Mantap n Good,. jadi ini fungsi dati robot.txt
Robot txt untuk subdomain gimana cara masukinnya?\
Misalkan saya pake cdn untuk optimized loading web, nah,, untuk cdn web tsb malah di index oleh mbah gugle.
Bagaimana cara membatasinya?
kalo cara menghapus gambar dengan roobot.txt
Contohnya, jika ingin google tidak menyertakan gambar dogs.jpg yang muncul di www.yoursite.com/images/dogs.jpg, tambahkan berikut ini ke file robots.txt:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
Untuk menghapus semua gambar pada situs Anda dari indeks kami, gunakan file robots.txt berikut ini dalam root server Anda:
User-agent: Googlebot-Image
Disallow: /
maksutnya dari contoh itu gimana ya kak??
tolong jelasin ya.
tolong e-mail ya kak di eimail@rocketmail.com .
tolong donk kak. please...
robots.txt di blogku kok dianggap Unreachable oleh google ya. padahal ga diapa2in.
trus saat di crawl error juga muncul tanda seru pada kolom Robots.txt Fetch, keterangannya inaccesible.
blogku dibangun dengan domain sendiri bermesin Wordpress.
infonya bermanfaat sekali sis
ane pakai punya yoast tapi muncul error:
Warning: fopen(/home/bedcover/lowongan-kerja-baru.info/wp-content/cache/.htaccess) [function.fopen]: failed to open stream: No such file or directory in /home/bedcover/lowongan-kerja-baru.info/wp-content/plugins/robots-meta/robots-meta.php on line 322
Warning: filesize() [function.filesize]: stat failed for /home/bedcover/lowongan-kerja-baru.info/wp-content/cache/.htaccess in /home/bedcover/lowongan-kerja-baru.info/wp-content/plugins/robots-meta/robots-meta.php on line 323
Warning: fread() expects parameter 1 to be resource, boolean given in /home/bedcover/lowongan-kerja-baru.info/wp-content/plugins/robots-meta/robots-meta.php on line 323
Apa karena pakai WP versi terbaru ya?
Tolong bantuannya
saat ini saya mengalami masalah yg sama dgn "Radiasi" ... kira2 cara penyelesaiannya gimana ya. thanks sebelum dan sesudahnya.
salam,
Erbina
gan ane mw nonaktifkan robot txt'a?? kira" dmpk ke blog gmna tu ya gan??
Itu berarti web kita juga tidak gampang di hack ya om? soalnya banyak orang ngehack lewat google dork..
numpang lewat, bagi yang benar-benar belum tau robots.tex. alangkah baiknya jangan ganti atau ubah robots tex default dari blog yang agan punya. salam kenal admin.
Masih kurang ngerti sih, tapi makasih infonya, mau dicerna lebih dalam.
saya baru tahu jika robot meng-crawl website memakan bandwith, soalnya saya sudah mengaktifkan juga robot.txt nya. lumayan membantu.
thanks
saya pernah pasang robots.txt...saya kira hasilnya lumayan membantu. ulasan ini bagus untuk menambah ilmu
wah... makasih infonya bos, mantap artikelnya
Klau sya tidak terlalu memperhatikan robot.tx mas..sya pakai standart sja mas..hasilnya bagus juga di seo mas..
obat perangsang wanita
obat kuat herbal pria
penis getar
jual obat kuat herbal
penis tempel
vagina getar bulu
devikecantikan
central obat
proextender asli
Alat bantu sex
procomil spray
Alat sex wanita |
video cara bercinta
Bokep Jepang
Alat penggeli klitoris
vagina senter | boneka full body | Alat sex pria | Kondom getar | Alat Bantu sex lesbi | Vibrator lidah | Obat gemuk | Obat pemanjang penis | Obat pembesar pantat | Obat ambeien wasir | toko obat perangsang | Obat perontok bulu | Obat pembesar penis | Obat pembesar alat vital | Obat pembesar alat vital | obat perangsang wanita
gan kalo menangan robots.txt yang error gmn yak.
maksutnya robots.txt fetch failed
salam kenal gan jangan lupa kunjungi juga blog ane http://obatambevenatauwasir.blogspot.com/
numpang tenar ya gan ,makaasih
informasi yang sangat membantu
Nice info gan Rental Mobil Palembang
Nice article Jasa Website Palembang
masih work kah sekarang?
terimakasih banyak untuk informasinya,senang ikut berpartisipasi berkomentar disini
Ini sangat menarik sekali untuk disimak, karena baru pertama kali saya mengetahuinya dan tentunya menjadi sebuah wawasan baru yang saya dapatkan
obat penghilang benjolan di belakang lutut tradiisonal
Nice info artikelnya gan keren, sangat bermanfaat mitsubishi palembang
avent philips indonesia
lowongan kerja palembang
Ini sangat menarik sekali untuk disimak, karena baru pertama kali saya mengetahuinya dan tentunya menjadi sebuah wawasan baru yang saya dapatkan
pengobatan untuk sembuhkan penyempitan saluran urethra
Trimakasih infonya sangat membantu sekali.
Ini website di gwt nya keluar keterangan robots.txt fetch failed
Toko Belanja Online
terimakasih ifonya saya sangat terbantu karena saya baru belajar internet
Promo Terbaik Maxbet303 situs agen taruhan Terpercaya :
Bonus Promo :
-Promo Bonus 100% Sabung Ayam Livem, Win atau Lose 6x Beruntun!
-Promo Rollingan Live Casino 1%
-Promo Cashback Up to 20%
-anda mempunyai banyak teman yang bermain taruhan online?
ajak teman anda sekarang,nikmati Bonus 5+2% refferal setiap 2 minggunya!
-Diskon Pemasangan Togel 65%
-Extra 20% deposit bola tangkas setiap harinya
-Bonus 10% untuk New member Sportsbook dan Live Casino
Nikmati Kenyamanan dalam melakukan Taruhan dan Transaksi bersama kami
situs: www.maxbet303.net
BB PIN: 2210A855
YM: CSMAXBET303@YAHOO.COM
LINE ID: MAXBET303
TELP/SMS: +855 89808 928
Terimaksih banyak artikelnya sangat membantu , kerena saya baru di dunia blogging
punyaku error robotnya http://zonavideo.net
EPFO Login
EPF UAN Status
EPF UAN Activation Status
UAN Login
UAN Activation Status
UAN Activation Process
UAN Status
Posting Komentar