Mesin pencari memiliki sebuah bot penjelajah yang rutin mengunjungi setiap halaman website yang ia temukan di internet. Bot tersebut akan mengikuti tiap link dari satu page ke page lain. Lalu mengekstrak informasi dari halaman tersebut kemudian menambahkannya ke dalam indeks pencarian. Kemudian mesin pencari akan menampilkan serta menentukan ranking pencarian menggunakan “algoritma”.
Cara kerja mesin pencari sangat rumit dan step-nya mulai dari crawling sampai ranking sangatlah panjang (apalagi di era machine learning sekarang ini). Meskipun begitu, seorang pengelola website tetap harus mengetahui bagaimana cara kerja mesin pencari (setidaknya step secara global).
Karena dengan mengetahui step-step global, seorang pengelola situs bisa menganalisa di bagian mana mereka harus melakukan improvisasi SEO.
Pengetahuan Dasar
Sebelum membahas lebih dalam tentang cara kerja mesin pencari, mari kita bahas terlebih dahulu seputar apa itu mesin pencari dan apa saja mesin pencari yang paling populer.
Apa itu Mesin Pencari
Mesin pencari adalah sebuah “mesin” yang berfungsi untuk melakukan pencarian dokumen yang ada di internet sesuai dengan kata kunci yang diberi. Dokumen-dokumen tersebut bisa berupa dokumen web (HTML / teks), video, gambar, PDF dan lain sebagainya.
Setidaknya mesin pencari memiliki 2 buah komponen besar:
- Komponen yang tidak terlihat (bot penjelajah, algoritma pencarian, dan komponen atau program lain yang berjalan di balik layar)
- Dan yang kedua adalah komponen yang terlihat oleh user: yaitu halaman mesin pencari, di mana user bisa menulis sebuah kata kunci, kemudian mesin pencari akan menampilkan hasilnya.
Contoh mesin pencari yang sering kita jumpai adalah: google, bing, duckduckgo, yahoo dan lain sebagainya.
Tujuan Mesin Pencari
Tujuan semua mesin pencari adalah satu: yaitu bisa memberikan hasil pencarian yang paling baik dan paling relevan terhadap keinginan user. Sehingga user bisa langsung mendapatkan apa yang mereka inginkan dalam waktu secepat mungkin.
Kemudian mesin pencari akan mempelajari perilaku user di halaman pencarian untuk mengevaluasi apakah hasil pencarian tersebut sudah sesuai dengan keinginan user atau tidak.
Mesin Pencari Paling Populer
Berdasarkan data yang dimuat oleh ga.statcounter.com, Google menempati urutan pertama dengan market share yang sangat masif hingga mencapai 92.47%, diikuti bing dengan market share 2.31%, yahoo 1.53% dan baidu 1.29%.
Hal ini membuat Google menjadi perhatian utama oleh hampir semua praktisi SEO mau pun pengelola website: karena jika situs kita bagus di Google kita akan berpotensi mendapatkan banyak traffic.
Apa yang dilakukan mesin pencari?
Seperti yang sudah disinggung sebelumnya: bahwa mesin pencari memiliki dua buah komponen besar: komponen yang tidak terlihat dan komponen yang terlihat.
Begitu pula dengan proses pencarian, ia memiliki 2 kelompok proses:
- Proses di balik layar seperti:
- Crawling
- Processing & Rendering
- Indexing
- Ranking (Search Algorithms)
- Proses bagian depan
- Menampilkan halaman pencarian
- Menampilkan hasil pencarian dengan cepat (hasil dari proses panjang di balik layar)
Catatan: kebanyakan proses ini adalah proses yang dilakukan oleh mesin pencari Google, meskipun inti cara kerja dari mesin pencari yang lain kurang lebih sama, tidak jauh berbeda.
1. Melakukan Crawling
Proses crawling adalah proses yang dilakukan mesin pencari (biasa disebut bot crawlers) untuk menemukan link baru pada halaman website. Setiap kali google menemukan sebuah link, ia akan mengikuti link tersebut, menyimpannya dalam daftar tunggu untuk diproses lebih lanjut, dan jika bot crawlers menemukan link lain pada halaman tersebut, ia akan mengunjungi setiap link tersebut dan begitu seterusnya [1].
Ada dua tipe kunjungan yang dilakukan oleh Google:
- Yang pertama kunjungan untuk mengupdate halaman yang sudah pernah terindeks.
- Untuk mencari halaman baru yang belum pernah terindeks sama sekali.
2. Melakukan Rendering dan Indexing
Tahap berikutnya adalah tahap rendering. Ini adalah proses di mana Google akan merender atau menampilkan URL yang telah di-crawling dalam sebuah browser. Pada proses ini, Google akan menggali berbagai macam informasi pada halaman tersebut, mulai dari isi konten, topik, gambar, video, dan lain sebagainya sehingga google bisa memahami maksud dari sebuah URL tersebut. Informasi-informasi tersebut akan disimpan oleh Google dalam database besar yang tersebar di berbagai data center yang dinamakan Google Index.
Pada proses ini Google juga mengekstrak berbagai kata kunci yang sesuai untuk halaman tersebut. Dan jika google kembali menemukan sebuah link (yang baru), ia akan melakukan proses crawling kembali secara paralel.
3. Melakukan Ranking (Atau Algoritma Pencarian)
Ketika kita mencari sebuah kata kunci di Google, kita akan mendapatkan banyak hasil di mana hasil yang paling atas adalah halaman yang memiliki potensi relevansi yang paling tinggi.
Bagaimana mesin pencari seperti Google bisa memberikan hasil yang paling relevan?
Proses ini lah yang dinamakan dengan proses ranking atau search algorithms.
Pada proses ini: Google akan memilah-milah ratusan miliar halaman web yang sudah terindeks untuk menemukan hasil yang paling relevan, berguna, dan dalam waktu singkat (sepersekian detik) untuk kemudian menyajikannya dalam format yang informatif.
Proses ranking organik ini terjadi secara otomatis: oleh karena itu kita tidak bisa membayar Google untuk membeli posisi paling atas di hasil pencarian organik.
Di antara hal yang dilakukan Google dalam proses ini adalah [2]:
1. Memahami apa yang diinginkan user melalui query mereka
Google akan memahami kueri kita berdasarkan “koreksi” yang kita lakukan sendiri.
Misalkan kita mencari kata kunci “belajar python”, google bisa jadi akan menampilkan hasil yang berkaitan dengan ular python. Padahal yang kita maksud adalah bahasa pemrograman python.
Karena hasil pencarian tidak sesuai, maka kita mengubah kata kunci kita menjadi “belajar bahasa pemrograman python”.
Dari sini Google akan belajar memahami bahwa yang dimaksud dari kata kunci “belajar python” adalah “belajar bahasa pemrogrman python”.
2. Mencari halaman yang relevan dengan keinginan user
Setelah memahami apa yang diinginkan user, Google akan mencari halaman-halaman yang sesuai dan relevan. Halaman-halaman tersebut kemudian akan dilakukan ranking berdasarkan kualitas halaman.
3. Mengurutkan hasil berdasarkan kualitas halaman
Kualitas sebuah halaman web dilihat dari berbagai macam faktor seperti:
- keterbaruan konten halaman (apakah halaman tersebut sudah tua atau baru diterbitkan?)
- mobile friendly (apakah bisa ditampilkan dengan baik di ponsel?)
- backlink
- core web vital
- autoritas situs
- tingkat kepercayaan situs
- dan lain sebagainya
4. menentukan format hasil pencarian yang tepat
Setelah mendapatkan hasil yang paling relevan, google kemudian akan menentukan format hasil pencarian seperti apa yang paling sesuai untuk sebuah kata kunci.
Misalkan kita mencari kata kunci tentang cuaca, google akan menampilkan hasil seperti ini:
Untuk pencarian tentang jadwal kereta, google akan menampilkan hasil seperti ini:
Hasil MotoGP:
Dan lain sebagainya.
Google akan berusaha menampilkan format hasil yang paling sesuai sehingga user bisa lebih cepat mendapatkan informasi yang mereka inginkan.
4. Personalisasi Hasil Pencarian
Tahap selanjutnya adalah tahap personalisasi hasil pencarian.
Dengan “mengetik” satu keyword yang sama, hasil pencariannya bisa berbeda-beda tergantung berbagai macam faktor.
Faktor-faktor tersebut di antaranya adalah:
- Lokasi
- Riwayat Pencarian Sebelumnya
- Usia
- Gender
- Bahasa
- dan lain sebagainya
Contoh: hasil pencarian dari kata kunci “masjid terdekat” akan berbeda dari orang yang berada di Jakarta dengan orang yang berada di Surabaya.
Ilustrasi Resmi dari Google
Google sendiri memiliki halaman khusus yang menampilkan ilustrasi bagaimana cara kerja proses pencarian pada halaman How Search Works
Referensi
[1] https://www.google.com/search/howsearchworks/crawling-indexing/ - diakses tanggal 21 Juli 2021
[2] https://www.google.com/search/howsearchworks/algorithms/ - diaskses tanggal 21 Juli 2021