Kamis, 22 September 2011

Peran Robots.txt dalam Optimasi SEO | Webmaster Tool

Peran Robots.txt dalam Optimasi SEO | Webmaster  Tool
Semua search engine sebelum memasukkan blog kita pada hasil SERP pasti akan mengirimkan spider bot untuk mengcrawl dan memasukkan hasil analisanya pada database index. Saat pertama kali spider bot mengunjungi blog kita maka tempat yang pertama kali didatangi terlebih dulu adalah Robot Exclusion Standard / Robots Exclusion Protocol. Apakah Robot Exclusion Standard / Robots Exclusion Protocol itu ? Dan mengapa ini yang menjadi pertama kali dikunjungi ? Berikut pembahasannya..

Pengertian Robots.txt

Robot Exclusion Standard / Robots Exclusion Protocol sering disebut juga dengan Robots.txt, sebuah file robots berformat .txt yang terdapat pada suatu situs untuk memandu spider bot, mana saja bagian situs yang boleh dicrawl dan dimasukkan ke dalam daftar index serta yang tidak boleh dicrawl.

Letak Upload File Robots.txt

Tempat yang tepat untuk mengupload file robots.txt adalah pada halaman situs tersebut misalnya :
http://namadomain.com/robots.txt
Kita tidak diperbolehkan untuk mengupload pada directory / path dalam situs . Nama file juga telah ditetapkan memakai nama robots, tidak boleh diubah dengan nama lain karena dalam program kerja spider bot nama file ini telah terprogram dengan nama robots. Sehinggga ketika spider bot merayapi sebuah situs maka tujuan pertamanya adalah file robots.txt yang merupakan file pemandu baginya. Bila kita tetap ngotot mempergunakan nama lainnya, spider bot tidak akan pernah sampai dan tidak mungkin pula menjalankan perintah pada file tersebut.
Karena sebuah subdomain merupakan situs yang berdiri sendiri dan terpisah dari domain utamanya maka sebuah situs yang menggunakan subdomain juga harus memiliki file robots.txt sendiri. Letak upload file-nya pun juga sama yaitu dalam satu folder yang sama dengan situs.

Membaca Robots.txt

Spider bot yang telah sampai di halaman robots.txt akan membaca petunjuk apa yang ada dalam robots.txt. Untuk memahami isi robots.txt, mari kita ambil contoh dari file robots.txt pada blogspot dan wordpress.com. Berikut kira – kira isi dari robots.txt pada blogspot dan wordpress.com :
Blogspot
Isi file robots.txt pada blogspot
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Pada robots.txt di atas, spider bot tidak diperbolehkan untuk menelusuri isi dalam directory search. Jadi semua file yang ada dalam directory ini tidak akan terindex oleh spider bot. Contoh url search pada blogspot adalah halaman label. Baris selanjutnya adalah sebuah perintah untuk mengindex seluruh halaman lainnya ( selain directory search ) di dalam blogspot. Ini ditandai dengan tanda slash di depan allow.
Wordpress.com
Isi file robots.txt pada wordpress.com
User-agent: IRLbot
Crawl-delay: 3600

User-agent: *
Disallow: /next/

# har har
User-agent: *
Disallow: /activate/

User-agent: *
Disallow: /signup/

User-agent: *
Disallow: /related-tags.php

# MT refugees
User-agent: *
Disallow: /cgi-bin/

User-agent: *
Disallow:
Pada robots.txt di atas, spider bot tidak diizinkan untuk mengcrawl dan mengindex semua file yang ada dalam directory ->> next, activate, signup, cgi-bin serta file related-tags.php
Perintah untuk memperbolehkan spider bot mengcrawl dan mengindex halaman selain yang tidak diperbolehkan di atas adalah tidak adanya tanda slash di depan perintah disallow. Perintah ini memiliki arti yang sama dengan allow: / pada blogspot.

Performa Robots.txt Pada Webmaster Tool

Hasil dari kinerja spider bot saat melakukan proses crawling pada blog kita akan tercatat di Webmaster Tool. Dari hal ini kita bisa meninjau apakah file robots.txt kita benar – benar bekerja atau malah error dan menghambat kerja spider bot. Berikut ulasannya :
Google Webmaster Tool
Untuk melihat sebaik apa spider bot membaca dan mengikuti perintah dalam robots.txt kita harus login lebih dulu di Google Webmaster Tool. Ketika telah sampai di Dashboard blog pada bagian Crawl Errors ada link yang tertuliskan Restricted by robots.txt maka klik link ini. Selanjutnya halaman baru akan muncul dan pada halaman ini kita akan diperlihatkan daftar url dalam blog yang dibatasi aksesnya. Bagi sahabat blogger yang menggunakan blogspot url tersebut semuanya berasal dari directory search seperti yang diperlihatkan pada gambar di bawah.
Peran Robots.txt dalam Optimasi SEO | Webmaster  Tool
Bing Webmaster tool
Performa robots.txt juga bisa kita amati melalui Bing Webmaster Tool. Untuk mengetahuinya, masuk ke Dashboard blog di Bing Webmaster Tool kemudian pilih menu Crawl dan klik Crawl Details, selanjutnya klik link Excluded by robots.txt. Dari langkah ini kita akan diperlihatkan url yang tidak diijinkan untuk di akses oleh spider bot Bing.
Peran Robots.txt dalam Optimasi SEO | Webmaster  Tool
Sahabat blogger dapat mengecek di ke-2 tool ini bila hasilnya tidak sesuai, misal ada halaman post yang masuk ke daftar Restricted by robots.txt maupun Excluded by robots.txt maka pasti terjadi kesalahan setting pada robots.txt, segera cek dan perbaiki agar kita tidak rugi karena url yang ada dalam list ini adalah url yang tidak akan terindex dalam SERP search engine.

Manfaat Robots.txt Dalam SEO

Seperti yang telah diuraikan di atas Robots.txt memiliki peran penting dalam asebilitas sebuah situs. Ada bagian yang bisa di bagi untuk umum dan ada bagian yang sangat privat dan tidak untuk dibagi kepada pengguna internet lainnya yang melakukan pencarian di search engine. Keputusan untuk tidak mempublikasikan suatu file tertentu pada sebuah situs sangatlah bermanfaat seperti halaman khusus login cms blog maupun halaman login ke cpanel hosting tidak perlu untuk di index, kalau bisa halaman ini jangan sampai diketahui oleh orang lain agar blog lebih aman dari tindakan yang merugikan. Manfaat lainnya, untuk melindungi berbagai macam script seperti script cms dan widget.
Dalam hal optimasi SEO, kemampuan Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa kita manfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar konten tersebut cepat terindex oleh search engine.
Saat spider bot memutuskan untuk mengcrawl situs, situs akan kehilangan bandwidth dalam jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan kegagalan spider bot dalam mengcrawl blog kita karena akses situs yang kurang baik akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi konten sampai tuntas.
Di lain sisi bila halaman index yang di dapat search engine pada sebuah situs dinilai sangat berkualitas maka situs tersebut akan memiliki peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya dibandingkan dengan situs yang memiliki banyak halaman index namun dengan konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link didalamnya contonya situs AGC.

Semoga ulasan tentang Peran Robots.txt Dalam Optimasi SEO | Webmaster Tool bisa bermanfaat...

46 komentar:

GreenLava mengatakan...

Perlu diingat robots.txt untuk Blogger/blogspot tak boleh diedit (tak seperti Wordpress)

anjing ras mengatakan...

kalau untuk tumblr bagaimana mbak? cara pasang nya gimana?

Rina As mengatakan...

@anjung ras : biasanya sudah disetting oleh penyedia layanannya, silahkan kunjungi url robots.txt untuk mengeceknya..
http://dogsbakery.tumblr.com/robots.txt

reza mengatakan...

terima kasih infonya mba :)
sangat bermanfaat kebetulan saya masih bingung
kalo saya boleh request dan saya ingin sekali mendapatkan materi atau cara untuk mengecilkan alexa rank dan cara cepat mendapatkan google page rank :)
terima kasih banyak mba untuk materi robot.txt nya sanga2 membantu sekali dan saya sudah coba it is work :)
terima kasih mba kalo bersedia add ym saya rezadiam27 :)
terima aksih

Xylo Batik mengatakan...

just blog walking..jadi si robots.txt tu ky laporan hasil crawling googlebot yahh..key, thx, jd nambah ilmuna..
kl butuh tas2 kanvas etnik handmade kesini aje: http://xylobatiks.blogspot.com

List Do Follow Blog mengatakan...

maaf mau tanya kenapa robot.txt error/tidak valid? contoh saya ketik di browser http://namadomain.com/robot.txt
hasilnya 404.namadomain.com
harusnya tidak demikian bukan?
lalu bagaimana solusinya.. thanks
mohon send ke emailku yah.. belinotebook@yahoo.co.id

Rina As mengatakan...

@List Do Follow Blog : mohon maaf, file-nya memakai robots.txt buakan robot.txt, bila kita mendesain sendiri web kita dan mengupload file sendiri disini maka nama file tersebut harus menggunakan robots.txt Untuk blog berplatform seperti wordpress, blogspot dan lainnya pun menggunakan nama file robots.txt Mohon cek alamat file robots.txt pada blog anda, http://namadomain.com/robots.txt
Semoga bisa sedikit membantu anda

arie5758 mengatakan...

Terima kasih sist paparannya, saya juga sedang baca² artikel ttg crawl error di blog saya. Sbb saya sudah saya minta remove url, tapi masih ada 14 url not found.

Saya baca ulasan di bagian crawl error dulu ya, sapa tau ada pencerahan disana ;)

bloggers info mengatakan...

kalo robot tex diaktfkan apa ada pengaruhnya

laku ,com belanja murah dan aman mengatakan...

numpang tenar ya gan ,makaasih

iklan internet murah mengatakan...

cara mengatasi url notfund 404 gimana yahhh

eflianda BlogzZz mengatakan...

mbak bisa tolong d jelasin ga knpa ada url yang d blokir robot txt, padahal aku ga pernah edit robot txt untuk memblokir url..

robot txt aku:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://eflianda.blogspot.com/feeds/posts/default?orderby=UPDATED

meta robot:
meta content='index,follow' name='robots'
meta content='NOARCHIVE' name='robots'

ada yg salah ga mbak.?
kalau boleh tolong d balas k tempat saya ya mbak.

softwareshareku mengatakan...

thanks boss.. ini sangat membantu saya memahami fungsi dari perintah2 robot.txt,. success 4 admin

Trali.net mengatakan...

Mantap n Good,. jadi ini fungsi dati robot.txt

Jasa Cuci Sofa mengatakan...

Robot txt untuk subdomain gimana cara masukinnya?\
Misalkan saya pake cdn untuk optimized loading web, nah,, untuk cdn web tsb malah di index oleh mbah gugle.
Bagaimana cara membatasinya?

MizTia mengatakan...

kalo cara menghapus gambar dengan roobot.txt

Contohnya, jika ingin google tidak menyertakan gambar dogs.jpg yang muncul di www.yoursite.com/images/dogs.jpg, tambahkan berikut ini ke file robots.txt:

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

Untuk menghapus semua gambar pada situs Anda dari indeks kami, gunakan file robots.txt berikut ini dalam root server Anda:

User-agent: Googlebot-Image
Disallow: /

maksutnya dari contoh itu gimana ya kak??
tolong jelasin ya.

MizTia mengatakan...

tolong e-mail ya kak di eimail@rocketmail.com .

RADIASI mengatakan...

tolong donk kak. please...
robots.txt di blogku kok dianggap Unreachable oleh google ya. padahal ga diapa2in.
trus saat di crawl error juga muncul tanda seru pada kolom Robots.txt Fetch, keterangannya inaccesible.
blogku dibangun dengan domain sendiri bermesin Wordpress.

prisma mengatakan...

infonya bermanfaat sekali sis

lowongankerja mengatakan...

ane pakai punya yoast tapi muncul error:

Warning: fopen(/home/bedcover/lowongan-kerja-baru.info/wp-content/cache/.htaccess) [function.fopen]: failed to open stream: No such file or directory in /home/bedcover/lowongan-kerja-baru.info/wp-content/plugins/robots-meta/robots-meta.php on line 322

Warning: filesize() [function.filesize]: stat failed for /home/bedcover/lowongan-kerja-baru.info/wp-content/cache/.htaccess in /home/bedcover/lowongan-kerja-baru.info/wp-content/plugins/robots-meta/robots-meta.php on line 323

Warning: fread() expects parameter 1 to be resource, boolean given in /home/bedcover/lowongan-kerja-baru.info/wp-content/plugins/robots-meta/robots-meta.php on line 323

Apa karena pakai WP versi terbaru ya?
Tolong bantuannya

erbina barus mengatakan...

saat ini saya mengalami masalah yg sama dgn "Radiasi" ... kira2 cara penyelesaiannya gimana ya. thanks sebelum dan sesudahnya.

salam,

Erbina

Fachri mengatakan...

gan ane mw nonaktifkan robot txt'a?? kira" dmpk ke blog gmna tu ya gan??

jasa cuci sofa mengatakan...

Itu berarti web kita juga tidak gampang di hack ya om? soalnya banyak orang ngehack lewat google dork..

Tochirun toch mengatakan...

numpang lewat, bagi yang benar-benar belum tau robots.tex. alangkah baiknya jangan ganti atau ubah robots tex default dari blog yang agan punya. salam kenal admin.

BajuRajutID mengatakan...

Masih kurang ngerti sih, tapi makasih infonya, mau dicerna lebih dalam.

furniture Online mengatakan...

saya baru tahu jika robot meng-crawl website memakan bandwith, soalnya saya sudah mengaktifkan juga robot.txt nya. lumayan membantu.

thanks

service kursi kantor & sparepart mengatakan...

saya pernah pasang robots.txt...saya kira hasilnya lumayan membantu. ulasan ini bagus untuk menambah ilmu

AGEN JUDI POKER mengatakan...

wah... makasih infonya bos, mantap artikelnya

Kumpulan Tips Hebat mengatakan...

Klau sya tidak terlalu memperhatikan robot.tx mas..sya pakai standart sja mas..hasilnya bagus juga di seo mas..

Anita Purwanti mengatakan...

obat perangsang wanita
obat kuat herbal pria
penis getar
jual obat kuat herbal
penis tempel
vagina getar bulu
devikecantikan
central obat
proextender asli
Alat bantu sex
procomil spray
Alat sex wanita |
video cara bercinta
Bokep Jepang
Alat penggeli klitoris
vagina senter | boneka full body | Alat sex pria | Kondom getar | Alat Bantu sex lesbi | Vibrator lidah | Obat gemuk | Obat pemanjang penis | Obat pembesar pantat | Obat ambeien wasir | toko obat perangsang | Obat perontok bulu | Obat pembesar penis | Obat pembesar alat vital | Obat pembesar alat vital | obat perangsang wanita

peluang usaha mengatakan...

gan kalo menangan robots.txt yang error gmn yak.
maksutnya robots.txt fetch failed

OBAT AMBEIEN YANG MANJUR TANPA OPERASI mengatakan...

salam kenal gan jangan lupa kunjungi juga blog ane http://obatambevenatauwasir.blogspot.com/

Obat Penyakit Raja Singa Manjur mengatakan...

numpang tenar ya gan ,makaasih

Bersih Aman mengatakan...

informasi yang sangat membantu

Ary EJFA mengatakan...

Nice info gan Rental Mobil Palembang

Ary EJFA mengatakan...

Nice article Jasa Website Palembang

satruk mengatakan...

masih work kah sekarang?

cara mengatasi warna kulit wajah tidak merata mengatakan...

terimakasih banyak untuk informasinya,senang ikut berpartisipasi berkomentar disini

obat penghilang benjolan di belakang lutut tradisional mengatakan...

Ini sangat menarik sekali untuk disimak, karena baru pertama kali saya mengetahuinya dan tentunya menjadi sebuah wawasan baru yang saya dapatkan
obat penghilang benjolan di belakang lutut tradiisonal

Ary EJFA mengatakan...

Nice info artikelnya gan keren, sangat bermanfaat mitsubishi palembang
avent philips indonesia
lowongan kerja palembang

obat penyempitan saluran urethra tradisional mengatakan...

Ini sangat menarik sekali untuk disimak, karena baru pertama kali saya mengetahuinya dan tentunya menjadi sebuah wawasan baru yang saya dapatkan
pengobatan untuk sembuhkan penyempitan saluran urethra

Jason R mengatakan...
Komentar ini telah dihapus oleh pengarang.
Jason R mengatakan...

Trimakasih infonya sangat membantu sekali.
Ini website di gwt nya keluar keterangan robots.txt fetch failed
Toko Belanja Online

Jasa Cuci sofa mengatakan...

terimakasih ifonya saya sangat terbantu karena saya baru belajar internet

Putri Vania mengatakan...

Promo Terbaik Maxbet303 situs agen taruhan Terpercaya :

Bonus Promo :
-Promo Bonus 100% Sabung Ayam Livem, Win atau Lose 6x Beruntun!
-Promo Rollingan Live Casino 1%
-Promo Cashback Up to 20%
-anda mempunyai banyak teman yang bermain taruhan online?
ajak teman anda sekarang,nikmati Bonus 5+2% refferal setiap 2 minggunya!
-Diskon Pemasangan Togel 65%
-Extra 20% deposit bola tangkas setiap harinya
-Bonus 10% untuk New member Sportsbook dan Live Casino

Nikmati Kenyamanan dalam melakukan Taruhan dan Transaksi bersama kami
situs: www.maxbet303.net
BB PIN: 2210A855
YM: CSMAXBET303@YAHOO.COM
LINE ID: MAXBET303
TELP/SMS: +855 89808 928

Jasa Cuci Sofa-Cuci Spring Bed mengatakan...

Terimaksih banyak artikelnya sangat membantu , kerena saya baru di dunia blogging

Poskan Komentar