Semua search engine (mesin pencari) bekerja dengan cara dasar yang sama : mereka "merayapi" (crawl) halaman web dengan software robot otomatis disebut Spider (laba-laba) atau Crawler (perayap) yang menghasilkan/menciptakan Indeks (daftar) isi web yang bisa dicari/ditemukan oleh para pengguna. Setiap search engine mengijinkan para penggunanya untuk mencari di dalam daftar (indeks) yang mesin pencari itu miliki, untuk sebuah Keyword (kata kunci) atau sekumpulan keyword. Hasil pencarian ditampilkan dalam berbagai bentuk daftar, tetapi kebanyakan menampilkan sedikit informasi mengenai setiap web yang masuk dalam daftar dan link yang mengarah ke web tersebut.
Cara setiap search engine membuat daftar sangat unik, berkat pemrograman mesin spider yang berbeda satu sama lain. Unsur utama dalam pemrograman spider adalah pada algoritma mesin pencari tersebut, yang menentukan rangking dari setiap halaman web yang didaftar. Sistem rangking tersebut menentukan cara hasil pencarian ditampilkan.
Cara Kerja Google
Aset teknologi utama Google adalah pada sistem algoritma yang mereka miliki, formula sistem rangking rumit yang memberikan pada para pemakai, hasil pencarian yang bagus dan seringkali terkesan seolah Google mampu membaca pikiran dari setiap orang yang mencari lewat mesin pencari raksasa ini.Hasil dari sistem algoritma dirangkum dalam sebuah statistik rangking tunggal yang disebut PageRank, Google sangat merahasiakan formula PageRank ini, tetapi perusahaan tersebut mempromosikan pentingnya PageRank, dan menawarkan pada para Webmaster petunjuk-petunjuk umum untuk meningkatkan PageRank. Google menunjukkan sistem penilaian rata-rata dari setiap situs (dalam skala 0-10) dalam toolbar Google. Walaupun formula tepat dirahasiakan, tetapi ramuan dasar PageRank ini dikenal publik.
Kapan Google Mengindex atau Merayap ?
Google merayapi situs di Internet dengan kedalaman berbeda dan dengan pengaturan jadwal lebih dari sekali. Yang disebut Deep Crawl (merayap dalam) dilakukan paling tidak sekali dalam 1 bulan.Berkaitan dengan rumitnya proses pembuatan daftar dan kebutuhan akan pembuatan daftar isi web secara ekstensif, diperlukan waktu lebih dari 1 minggu untuk melakukan perayapan. Karena itu diperlukan waktu 6 minggu untuk sebuah web atau blog baru supaya masuk dalam daftar Google.
Deep Crawler & Fresh Crawler
Google bergantung sepenuhnya pada deep crawl ini, tetapi hasil dari deep crawl bisa cepat kadaluarsa terkait dengan cepatnya perubahan di dunia internet. Karenanya Google meluncurkan fresh crawl yang secara singkat mengunjungi situs-situs di Internet lebih sering daripada deep crawl. Memang hasil fresh crawl ini tidak akan mengubah keseluruhan indeks yang dimiliki Google, tapi akan mengupdate isi dari sebagian web/blog. Google tidak mengumumkan jadwal fresh crawl ini dan situs/blog apa yang dijadikan target, tetapi para Webmaster bisa mengetahui jadwal tersebut lewat penyelidikan yang seksama.Google tidak punya kewajiban untuk mengunjungi URL khusus apapun, dengan fresh crawl mereka. Situs-situs dan blog bisa meningkatkan kesempatan untuk lebih sering dikunjungi Google dengan mengupdate konten mereka secara teratur. Ingat sisi kedangkalan dari fresh crawl, Google mungkin mengunjungi halaman depan dari situs atau blog anda, tetapi mungkin tidak mengunjungi halaman lain.Deep Crawl bersifat lebih otomatis dan tanpa pertimbangan serta lebih teliti daripada Fresh Crawl. Kesempatan baik datang bila saat jadwal deep crawl, link-link dari halaman baru sudah tercantum di halaman utama, sehingga deep crawl akan mengindeks halaman baru itu juga. Tidak semua halaman dari sebuah situs akan dimasukkan dalam indeks oleh Google, proses pertimbangannya adalah rahasia perusahaan tersebut. Karenanya, bila anda merasa ada sebuah halaman atau artikel penting yang anda miliki tidak terindeks di Google, yang bisa anda lakukan adalah memaksimalkan promosi.
sumber : kaskus.us



















