Senin, 21 November 2011

Memahami Laporan Crawl Error di Webmaster Tool Google

Memahami Laporan Crawl Error Webmaster Tool Google
Ketika kita membuka Webmaster Tool pastilah banyak dari kita akan terkejut apabila menemui blog telah mendapatkan laporan error. Beberapa di antara laporan tersebut bisa dijadikan salah satu indikasi blog mengalami masalah kesehatan blog yang tentu saja dapat berimbas pada kelancaran proses crawl itu sendiri.
Bagaimana bila sewaktu – waktu kita mengalami hal demikian pada blog yang kita manage ? Untuk memudahkan kita mengambil langkah yang tepat ada baiknya kita harus memahami maksud dari laporan yang disajikan dalam menu crawl error tersebut.

Berikut beberapa laporan penting yang disajikan dalam menu crawl error di Google Webmaster Tool :

Not Found

Laporan not found merupakan laporan yang me-list seluruh halaman blog yang gagal dicrawl oleh spider bot ketika melakukan penelusuran melalui sebuah link. Hal ini bisa saja disebabkan oleh adanya broken link yang mengarah pada blog kita seperti :
- Struktur link html yang tidak sempurna misal,
 <a href='http://rina-as.blogspot.com'>Anchor Text</a>
- Link yang mengarah pada url blog yang telah dihapus
- Link yang memuat invalid url blog.
Yang membuat kita mesti waspada adalah apabila broken link ini berhasil ditemukan oleh spider bot, mereka akan terus mencoba mengcrawlnya berulang kali meskipun sebelumnya terjadi kegagalan karena url yang dituju tidak ditemukan. Tentu saja usaha tersebut akan sia – sia dan yang lebih parahnya proses crawl dan index blog bisa mengalami gangguan karenanya.
Biasanya untuk menangani not found yang terlist pada menu crawl error di Webmaster Tool Google, salah satu cara yang dapat kita tempuh adalah melakukan penghapusan crawl error di Webmaster Tool Google secara langsung. Dengan cara ini kita dapat meminta spider bot agar tidak lagi mengcrawlnya.

Restricted by Robots.txt

Blog yang bagus selalu memiliki file robots.txt sebagai pemandu spider bot dalam melakukan crawl dan indexing blog. File tersebut menjelaskan dua perintah pada spider bot mana saja bagian blog yang harus di crawl dan yang harus terlewati dalam proses pengcrawlan. Semua directory maupun halaman yang tidak diizinkan untuk dicrawling akan tetap dikunjungi spider bot namun isi halaman yang ada didalamnya tidak akan dicrawling. Dari hasil kunjungan tersebut oleh spider bot akan dicatat dalam daftar Restricted by Robots.txt yang terdapat dalam menu crawl error di Webmaster Tool Google.
Bila beberapa halaman blog kita ada yang masuk dalam list Restricted by Robots.txt yang mana halaman tersebut telah dibatasi aksesnya oleh file robots.txt ini dapat kita artikan bahwa perintah yang ada dalam file robots.txt telah berjalan baik.
Semua list yang ada dalam Restricted by Robots.txt sebenarnya tidak perlu dihapus ataupun dihilangkan karena pada dasarnya ini tidak mengganggu proses crawling blog akan tetapi bila kita ingin menghilangkan list yang ada dalam Restricted by Robots.txt kita dapat melakukannya dengan cara mensetting nofollow seluruh link dari halaman yang telah dibatasi aksesnya dalam file robots.txt. Seperti biasa tidak ada jaminan cara ini akan berjalan sukses.

Unreachable

Tidak semua halaman blog kita sukses di crawl oleh spider bot. Ada kalanya beberapa halaman blog kita bisa mengalami 100% kegagalan crawling sampai - sampai spider bot menghentikan perayapannya pada halaman tersebut dan akan mengulangnya dikemudian hari. Pengcrawlan blog yang mengalami 100% kegagalan biasanya dapat disebabkan oleh loading blog yang lambat karena suatu faktor seperti saat kehabisan bandwidth blog, ukuran halaman blog yang terlalu besar dan sebagainya..
Seluruh halaman yang mengalami kegagalan crawling seperti ini akan dimasukkan dalam laporan unreachable sehingga kita bisa tahu halaman mana saja yang gagal tercrawl. Dan tentunya dengan adanya laporan unreachable dalam Webmaster Tool Google akan sangat membantu kita untuk segera mengambil tindakan yang cepat dan tepat agar kegagalan crawling tidak lagi terjadi pada blog kita.

Semoga ulasan tentang Memahami Laporan Crawl Error di Webmaster Tool Google bisa bermanfaat...

23 komentar:

SUCEN mengatakan...

Sip,thank you :)

Armin mengatakan...

waktu yg bagus buat melakukan pengecekan di webmaster ini sebulan brp kali ya kira2?

oh iya, selamat ya mbak rina, blog nya dapet pagerank 3 dan alexa nya 100rb-an.

Rina As mengatakan...

@SUCEN : terima kasih sudah meluangkan waktu dimari..
@Armin : menurut saya semua tergantung pada keperluan kita di Webmaster Tool, misalnya bila kita ingin melakukan submit url dengan cepat menggunakan fetch as Googlebot kita dapat membuka akun Webmaster Tool setiap selesai memposting artikel baru untu melakukan submitting. Begitulah kira - kira..

Armin mengatakan...

nah yg ini nih saya baru tau mbak, biasanya saya sering pake fasilitas pinging dari web penyedia...

Rick mengatakan...

oke deh mbak rina, baru aq ngerti...laen kali aq mau maen ksini lagi yaa....:)

Besuki mengatakan...

Di Blog saya terdapat 50 link not found, cuman 5 link aja yang memang dah ke hapus sisanya bisa diakses.APa perlu dihapus juga link yang masih dihapus tersebut ? linknya mengarah pada page semua.

Rina As mengatakan...

@Besuki : apakah link not found tersebut masih bisa diakses ? bila dapat di akses mungkin saja ada broken link didalamnya, dan hanya hapus saja broken link tersebut dari page tersebut. Tapi apabila link not found mengaraj pada url blog yang valid / tidak ada, maka harus kita hapus di Webmaster Tool supaya spider bot tidak mencoba mengcrawl-nya. semoga bisa membantu..

Ariko 'Kami Dari Semua' mengatakan...

Thanks untuk Sharing artikel ini :)

Boleh bertanya ya Mba' Rina, ( Terima Kasih Banyak sebelumnya )

Pada Dashboard Webmaster Blog Kami Dari Semua, saya mendapatkan pesan kesalahan / peringatan untuk SITEMAP FEED ( Jenis : MRSS Feed) pada blog saya tersebut.

Dari 53 URL terkirim hanya 52 yang ter Index, sedangkan 1 dari URL tersebut ditandai sebagai laman yang bermasalah.

Berbeda dengan CRAWL ERROR yang menginformasikan dengan jelas kepada kita URL mana saja yang gagal di Crawl, peringatan Galat pada SITEMAP ini hanya memberikan info yang terbatas seperti yang saya kutipkan dibawah ini :

"Kami mendeteksi adanya judul video rangkap.
Kami mendeteksi adanya judul video rangkap dalam peta situs atau umpan Anda. Judul rangkap menyulitkan pengguna untuk membedakan konten video. Buatlah judul yang lebih spesifik sehingga lebih mencerminkan konten video."

Saya mengalami kesulitan untuk menelusuri dan memutuskan dengan pasti URL yang mengandung Duplikasi Judul Video.

Bagaimana cara menangani atau adakah metode / tools yang dapat mendeteksi dengan cepat dan akurat atas masalah sperti diatas ?

happy Blogging & Keep Sharing

Rina As mengatakan...

@Ariko : coba anda cek semua video yang ada dalam blog anda, pastikan tidak ada yang memiliki judul dan deskripsi yang sama dan jangan lupa mempergunakan judul dan deskripsi yang lebih spesifik lagi. Semoga bisa sedikit membantu anda..

Ariko : http://kamidarisemua.wordpress.com mengatakan...

Thanks banyak Rina AS :)
Langsung saya coba nih ...

Nah sekarang boleh tanya lagi ya, waduh mohon maaf ya sebelumnya karena banyak nanya-nya.

Kami Dari Semua, sempat mendapatkan google sitelink pada tanggal 16 desember 2011 (setelah 2 bulan 8 hari nge-Blog), akan tetapi sitelink tersebut tidak muncul lagi sejak awaltahun ini :). Memang saya sempat mengganti Themes & otak-atik beberapa postingan serta kategori.

Pertanyaannya : cara tepat/benar seperti apa yang harus dilakukan untuk mendapatkan kembali Google sitelink tersebut ?

Kami Dari Semua mengucapkan terima kasih atas Support Rina-as.

Rina As mengatakan...

@Ariko : usahakan postingan anda yang selama ini mendatangkan trafik dari google tetap berada di posisi yang bagus dan tetap memberikan trafik untuk blog anda dan untuk template, sebaiknya kita pilih yang memiliki susunan navigasi yang simple, khususnya pada menu horizontal blog jangan lupa anda check kode htmlnya apa sekiranya telah benar dan hindari melakukan perubahan link yang ada di dalamnya.
Sekiranya ini yang saya tahu, semoga bisa sedikit membantu anda...

Ariko on http://kamidarisemua.wordpress.com mengatakan...

Thanks ... karena sudah pasti jawaban dari Rina As selalu sangat membantu. Sekali lagi thanks a lot Rina As untuk jawaban atas pertanyaan-2 saya dan SEMUA Tips Trik nya :)

Akhirnya pada tanggal 8 Januari 2012 ini Google Sitelink (Google.co.id) untuk Blog 'Kami Dari Semua' tampil kembali :)

idham mengatakan...

Iya nih, saya juga dapat galat "Kami mendeteksi adanya judul video rangkap." tapi di web saya gak ada link videonya, gimana nih?

Tommy mengatakan...

mbak rina bagimana cara menghapus crawl error pada site map, karena pada blog saya ada 1 crawl error di site map..

Rina As mengatakan...

@Tommy : Apakah ini terjadi pada sitemap blogspot atau blog wordpress.com ? Untuk sitemap pada blog gratis kita tidak dapat mengeditnya dan sebaiknya sarankan pada spider bot untuk tidak mengcrawl url yang menyebabkan error tersebut (biasanya url dari posting yang dihapus) melalui Webmaster Tool Google, silahkan baca langkahnya di posting Cara Menghapus Crawl Error, silahkan ikuti langkah A pada posting tersebut.
Semoga ini bisa sedikit membantu anda..

eflianda BlogzZz mengatakan...

mbak knpa setelah di hapus crawl error not foundnya abis tu timbul lg..?
padahal sudah dihapus abis,,
misalkan gini, hari ini aku hapus, d tunggu 24 jam sudah hilang error not found semuanya..
setelah beberapa hari di cek ada lg error not found nya.
itu d sebabkan apa ya mbak..?
mohon d balas ke tempat saya ya mbak..
thanks berat.

BLOGE OCTA mengatakan...

thanks infonya !

dodibuitenzorg mengatakan...

Ok, thank infonya yang simple tapi berbobot,,

Handy mengatakan...

Apa bedanya not found dengan not follow?coz punya saya banyak banget nih?mohon pencerahannya ya

OBAT AMBEIEN YANG MANJUR TANPA OPERASI mengatakan...

salam kenal gan jangan lupa kunjungi juga blog ane http://obatambevenatauwasir.blogspot.com/

Obat Penyakit Raja Singa Manjur mengatakan...

Salam kenal, saya juga blogger pemula nih.

bromo midnight mengatakan...

mantab juga gan...
yuk kunjungi web kami juga gan
http://wisatabromomidnight.blogspot.com

Obat Penghilang Benjolan Di Payudara Tradisional mengatakan...

pekerjaan yang baik gan, artikel ini sangat menarik untuk dicatat, keren deh,, tentu saja kita memiliki wawasan baru yang kita dapatkan setelah membaca itu, yah thanx

Poskan Komentar