Abstract :
Sejalan dengan perkembangan Internet yang makin pesat, banyak sekali
situs yang telah dibuat untuk berbagai kepentingan. Media Internet dengan
jaringannya yang cukup luas, telah menjadi sarana yang cukup handal untuk
mengirimkan berbagai informasi mulai dari yang sifatnya pribadi, kelompok
sampai pada informasi yang bersifat komersial. Dengan semakin banyaknya situs
yang bertebaran pada dunia web, maka dibutuhkan sebuah mesin pencari
informasi di Internet.
Mesin pencari yang kerap kita sebut sebagai search engine ini adalah salah
satu sumber daya di Internet yang membantu seseorang dalam mencari informasi
di Internet. Search engine dibutuhkan untuk membantu pemakai Internet untuk
menemukan suatu informasi hanya dengan memasukkan sebuah atau beberapa
kata sebagai kata kuncinya. Sehingga search engine menjadi salah satu sumber
daya penting di Internet yang dapat membantu seseorang dalam mencari berbagai
macam informasi yang ada di Internet.
Search engine sebagai sebuah mesin pencari informasi dengan
databasenya yang besar berisi informasi dari jutaan halaman Web, menggunakan
robot sebagai sarana pengisi database mereka. Informasi-informasi pada tiap-tiap
halaman web yang ditemukan oleh robot tersebut dikirimkan ke database search
engine. Selanjutnya pencarian informasi dilakukan pada database tersebut
berdasarkan kata kunci yang telah diinputkan penggunanya.
Robot atau spider atau crawler adalah suatu program penjelajah struktur
hiperteks pada suatu halaman web. Robot ini bertugas menelusuri link-link yang
ada pada suatu halaman web dan mengambil beberapa informasi yang diperlukan.
Namun sebelum robot tersebut menjelajahi suatu halaman web, maka robot harus
memeriksa file robots.txt yang ada pada direktori root. File robots.txt ini berisi
hak akses pada direktori mana saja robot-robot tertentu diijinkan ataupun dilarang
untuk menelusurinya.
Berdasarkan hasil uji coba dapat disimpulkan bahwa dengan adanya robot
maka proses pencarian dan pengumpulan data dapat dilakukan dengan cepat
meski tanpa pengawasan manusia. Selain itu yang tak kalah pentingnya, dengan
dijalankannya sistem ini secara periodik, maka data-data yang ada dapat terus
diperbaharui, sehingga data-data yang disimpan akan lebih up to date.
Selanjutnya dalam pencarian informasi oleh pengguna, search engine ini dapat
memberikan hasil yang akurat dan up to date.