Pernahkah di
benak anda terpikirkan siapa dan darimana halaman website bisa terindeks? Pasti
kan. Yang mengindeks halaman website di internet adalah web crawler. Apa itu Web Crawler? Web Crawler adalah sebuah robot yang
berwujud script yang mendata setiap website yang baru muncul.
Semua mesin pencari memiliki web crawler
masing-masing. Seperti Google dengan Google Bot, dan Yahoo! dengan Yahoo! Slurp
(kurang lebihnya itu yang saya tahu). Untuk lebih jelasnya tentang web crawler
sobat bisa mengunjungi wikipedia. Ingat jangan mengunjungi yang macam-macam :).
singkat amat.. padahal berharap banyak ni soalnya ada tugas bikin web crawler... ada referensi lain selain wikipedia?
BalasHapus