Cara Kerja Mesin Pencarian: Web Crawling, Indexing, Searching

1. Web Crawling (Web Spider/Web Robot)
   
   
   

   Web Spider berarti menyimpan halaman website yang telah dibuka ke database, lalu web spider akan mencari link-link yang terhubung secara terus menerus hingga seluruhnya masuk ke database dan menyimpannya juga, membentuk indeks pada halaman yang didownload sehingga mempercepat proses pencarian. Fungsi Web Crawlers yang lainnya yaitu untuk pemeliharaan otomatis suatu situs web, seperti memeriksa link atau validasi kode HTML. Selain itu juga bisa untuk mengumpulkan tipe-tipe informasi spesifik dari halaman web; misalnya memungut alamat e-mail seperti spam.  

   
2. Indexing
   
   Data yang telah disimpan dalam database mesin pencari akan dianalisa berdasarkan jumlah karakter, meta text, dan kriteria-kriteria lain, kemudian diperolehlah kualitas dari halaman web. Setelahnya, mesin pencari akan mengurutkan halaman berdasarkan kualitas serta kata kunci pencariannya.
   
   
3. SearchingSearch engine atau mesin pencari menyimpan indeks untuk ratusan ribu halaman dan dokumen. Mesin pencari menerima seribu atau dua ribu pertanyaan setiap harinya, bahkan sekarang ini mesin pencari yang populer akan mengindeks ratusan juta halaman dan menanggapi sekitar sepuluh juta pertanyaan setiap hari. Mesin pencari akan menjawab kita dengan menampilkan halaman web yang kata kuncinya paling sesuai dengan kata kunci yang kita sebutkan (di kolom search/cari).

sumber: http://lysbethvenella.blogspot.co.id/2014/09/cara-kerja-mesin-pencarian-web-crawling.html