Membangun Web Crawler / Web Spider sendiri, cikal bakal search engine lokal Indonesia?

Sejak aktif kembali menulis blog beberapa hari ini, saya merasakan satu hal yang lumayan cape untuk dilakukan, yaitu : blogwalking. Blogwalking yang saya lakukan biasanya mungkin disebut nyampah oleh para blogger. Mengapa? Karena blogwalking yang dilakukan hanya sekedar 'jalan-jalan' ini bertujuan mengunjungi berbagai blog dan mencari kotak ShoutBox-nya dan kemudian meninggalkan jejak disana. Tidak seperti para blogger yang memang berniat membangun good relationship dengan mengomentari artikel dari blog yang bersangkutan.

Lalu apa hubungannya dengan sebuah Web Crawler?
Setelah merasa cape blogwalking seharian, saya terpikirkan untuk membuat sebuah bot yang berfungsi menggantikan pekerjaan saya, yaitu blogwalking dan meninggalkan jejak di ShoutBox para blogger. Hmm, PR yang menantang dan menarik untuk diimplementasikan bukan?

Awalnya kode ini saya mau buat dilingkungan PHP atau VB saja, namun karena adanya keterbatasan - dan kekurangan di tiap bahasa tersebut akhirnya saya lebih memilih PERL sebagai landasan programmingnya.

Dua jam berkutat dengan PERL dan dengan hanya bermodalkan google dan pengalaman minim di PERL, akhirnya script ini pun selesai dikerjakan. Yap, walaupun masih beta -tapi Web Crawler yang saya buat ini sudah memiliki fungsi utamanya, yaitu menjelajah blog - blog dan kotak ShoutBox.

Web Crawler / Web Spider ini saya coba running test ( web pertama yang dijelajahi adalah http://judotenslab.blogspot.com ) pada hari Minggu, 17 May 2009 Pukul. 21.55 WIB dan masih terus berjalan sampai sekarang. So far, pada hari ini (Senin, 18 May 2009 Pukul. 13:16 WIB) total web yang dicrawler sudah mencapai : 6408 website dan menemukan sekitar 2350 kotak ShoutBox milik para bloger dalam kurun waktu 15 Jam, 10 Menit.

Hasil yang cukup memuaskan bukan? Namun sedikit disayangkan Web Crawler judotenslab ini berjalan di server kosan yang menggunakan koneksi TELKOM SPEEDY dengan kecepatan standar. Bisa dibayangkan apabila saya mendapatkan donatur yang mau meminjamkan server berkecepatan tinggi-nya untuk melakukan test Web Crawler Performance ini, mungkin hasil yang didapat akan jauh berkali lipat.

Setelah melihat hasil yang cukup memuaskan, saya malah kepikiran untuk memanfaatkan Web Crawler saya ini sebagai modal utama membuat Search Engine sendiri. Yah, setidaknya Search Engine khusus blog lokal-lah. Tapi tentu tidak segampang itu merealisasikannya. Minimal saya harus memiliki server utama yang kuat, dari segi Bandwith dan Spesifikasinya. Dan satu lagi, faktor keberuntungan tampaknya juga berpengaruh. Hehehe. Maklum, tampaknya masi mimpi muluk untuk benar - benar merealisasikannya jika dilakukan sendiri dan tanpa bantuan rekan - rekan blogger yang lain.

Rencana lain yang sedang di persiapkan adalah membuat Web Crawler ini bisa running ramai - ramai di berbagai PC yang berbeda, namun tetap dengan hasil yang berbeda pula. Jadi dengan teknik seperti ini, Web Crawler / Web Spider buatan saya menjelajah jutaan website dengan lebih cepat dengan bantuan dari para blogger semuanya. Dan teman - teman pun bisa membantu menyumbangkan kinerja komputernya yang tidak terpakai untuk melakukan crawling ini setiap harinya.

Semoga saja proyek ini bisa direalisasikan dan didukung penuh oleh mereka yang berkompeten. Karena saya pikir, kita bisa memiliki dan merasakan manfaat yang lebih banyak dari Search Engine Lokal yang kita bangun. Sekaligus menunjukkan kepada dunia bahwa sumber daya IT di negeri kita pun banyak yang berkualitas, tidak didominasi oleh masyarakat Eropa/Amerika atau India saja.

Jika anda tertaruk untuk memberi donasi server, atau ikut melakukan penelitian Web Crawler / Web Spider ini, silahkan hubungi saya di judotens@gmail.com

Dan teruslah pantau hasil crawler Web Spider saya ini di :
http://mawarbiru.co.cc/shoutcrawl/



Akhir kata, sekian dulu suguhan dari saya kali ini. Teruslah berkarya dan hidupkan industri kreatif di negeri ini.


Untuk mengikuti update dan timeline history bisa mengikutinya di post selanjutnya :
http://judotenslab.blogspot.com/2009/05/latest-update-proyek-webcrawl.html


TAMBAHAN:

Screenshot,

Web Crawler (jelajah blog dan mencari shoutbox2) running ke dua di server windows


Script kedua (posting ke shoutbox) yg running di server windows


Alur sederhana kedua script ini :


*maap berantakan, bikinnya buru2 pake mspaint.wkekekekeke
tapi alurnya cukup jelas kok buat kalian yg mau coba programming sendiri, terserah pake bahasa pemrograman apa dan tujuannya buat apa. yang penting ide dan kreatifitasnya aja sama - sama kita share disini.



MAAF UNTUK ANDA YG TERGANGGU KENYAMANNYA, SILAHKAN TULIS URL ANDA DISINI JIKA TIDAK INGIN DILEWATI UJI COBA WEB CRAWLER INI.


Salam,
Judotens M.B