pengukuran web

ANALISIS WEB

A. Pengukuran Web

Di bawah ini ada beberapa tools yang digunakan untuk mengeukur website dari segi kecepatan akses dan performanya, serta mengukut banyaknya pengunjung suatu website, berikut ini penjelasan mengenai beberapa tools yang digunakan untuk mengukur kecepatan akses website.

Tools-tools pengukur analisis web :

• SEO (Search Engine Optimization) adalah mengoptimalkan sebuah blog/web dengan memanfaatkan mesin pencari dan mendapatkan peringkat yang tinggi di halaman pertama mesin pencari dengan menggunakan keyword agar dibanjiri pengunjung yang datang dari search engine.
• GTmetrix merupakan sebuah situs dimana kita dapat mengetahui berbagai hal yang membuat blog/web kita lambat dan performa blog/web ketika akses, tersedia secara gratis dengan mengunakan yahoo Yslow dan Google page speed sebagai mesin penganalisa dan menampilkan hasil juga rekomendasi yang harus dilakukan.

Kelebihan dari GTmetrix :

1. dapat membandingkan beberapa URL secara bersamaan.
2. dapt menjadwalkan pengecekan web/blog secara otomatis dan dapat menyimpan laporan.

kekurangan dari GTmetrix :

Dalam penggunaan GTmetrix harus menggunakan koneksi internet yang cepat.

• Keynote Internet Testing Environment (KITE)
• Alat pengujian dan pengukur berbasis desktop yang digunakan untuk merekam atau mengedittransaksi web dan menganalis kinerja dari aplikasi web. KITE sangat mudah untuk digunakan dan sebagai salah satu alat yang sudah cukup terkenal didunia.
• CloudStatus

CloudStatus adalah alat pengukur web yang berfungsi menelusuri kinerja utama dari layanan-layanan cloud computing. CloudStatus terdiri dari 5 layanan dasar yang ditawarkan oleh amazon, dan memiliki kemampuan monitoring yang lebih baik.

• Jiffy

jiffy tersedia secara bebas(open source). Cara kerja jiffy adalah dengan memasukan kode jiffy ke dalam halamanhalaman web yang akan di telusuri. Dengan jiffy kita dapat mengukur page rendering times, melaporkan hasil pengukuran dari web server, aggregate log into database, dan membuat laporan-laporan.

Pembasan berikutnya tentang bagaimana sebuah web perlu dianalisis , yaitu :

1. membantu mengetahui nilai yang akan didapat dari suatu web maupun blog

2. membantu memantau beberapa lama pengunjung yang membuka situs web tersebut

3. membantu mengoptimalkan situs web dalam hal penampilan dan menambah informasi.  

B. Crawlers

proses pengambilan sejumlah besar halaman web dengan cepat kedalam satu tempat penyimpanan lokal dan mengindexnya berdasarkan sejumlah kata kunci. yakni sebuah komponen utama dalam sebuah Search Engine (Mesin Pencari), sebagai Aplikasi Information Retrieval Modern

Cara kerja :

suatu data dikumpulkan oleh web crawler kemudian digunakan oleh mesin pencari untuk memberikan link situs yang relavan bagi pengguna ketika mereka melakukan pencarian. web crawler menangkap banyak hal yang berbeda ketika mereka memindai situs. Informasi diperoleh dari metatag, konten itu sendiri dan link. untuk mendapatkan ide yang baik dari apa situs adalah tentang. Crawler digunakan sebagai scan situs anda. jika ada bagian-bagian tertentu dari situs yang seharusnya tidak diindeks, mereka harus mencatat dalam file ini. setelah mendapat instruksi crawler dari file ini, akan mulai dengan merangkak halaman situs anda.

Ini kemudian akan melanjutkan ke indeks konten, dan kemudian akhirnya akan mengunjungi link di situs Anda. Jika crawler mengikuti link dan tidak menemukan halaman, maka akan dihapus dari indeks. Informasi yang dikumpulkan dari situs Anda kemudian disimpan dalam database, yang kemudian digunakan oleh mesin pencari.

BEBERAPA CONTOH WEB CRAWLER :

1.Teleport Pro

Salah satu software web crawler untuk keperluan offline browsing. Software ini sudah cukup lama popular, terutama pada saat koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di http://www.tenmax.com.

2.HTTrack

Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software ini free dan dapat di download pada website resminya di http://www.httrack.com

3.Googlebot

Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling ini.

4.Yahoo!Slurp

Kalau Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.

5.YaCy

Sedikit berbeda dengan web crawler lainnya di atas, YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central. Contoh search engine yang menggunakan YaCy ialah Sciencenet, untuk pencarian dokumen di bidang sains.

C. Search Engines

adalah program komputer yang dirancang untuk melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www, ftp, publikasi milis, ataupun news group dalam sebuah ataupun sejumlah komputer peladen dalam suatu jaringan. Search engine merupakan perangkat pencari informasi dari dokumen-dokumen yang tersedia. Hasil pencarian umumnya ditampilkan dalam bentuk daftar yang seringkali diurutkan menurut tingkat akurasi ataupun rasio pengunjung atas suatu berkas yang disebut sebagai hits. Informasi yang menjadi target pencarian bisa terdapat dalam berbagai macam jenis berkas seperti halaman situs web, gambar, ataupun jenis-jenis berkas lainnya. Beberapa mesin pencari juga diketahui melakukan pengumpulan informasi atas data yang tersimpan dalam suatu basisdata ataupun direktori web.

Sebagian besar mesin pencari dijalankan oleh perusahaan swasta yang menggunakan algoritma kepemilikan dan basisdata tertutup, di antaranya yang paling populer adalah Google (MSN Search dan Yahoo!). Telah ada beberapa upaya menciptakan mesin pencari dengan sumber terbuka (open source), contohnya adalah Htdig, Nutch, Egothor dan OpenFTS

Contoh – Contoh Search Enginess

1. GOOGLE

google muncul pada akhir tahun 1997, dimana google memasuki pasar yang telah diisi oleh para pesaing lain dalam penyediaan layanan mesin pencari, seperti Yahoo, Altavista , HotBot, Excite, InfoSeek dan Lycos. dimana perusahaan-perusahaan tersebut mengklaim sebagain perusahaan tabg bergerak dalam bidang layanan pencarian internert. Hingga akhirnya Google mampu menjadi sebagai penyedia mesin pencari yang cukup diperhitungkan didunia.

2. Yahoo

Yahoo raja directori di internet disamping para pengguna internet melihat DMOZ serta LookSma berusaha menurunkan nya diposisi puncak tersebut. akhir-akhir ini telah tumbuh secara cepat dalam ukurannya mereka pun sudah memliki harga sehingga mudah untuk memasukinya, dengan demikian mendapatkan sebuah daftar pada direktori yahoo memang memiliki nilai yang tinggi.

Perbedaan Search Enginess

1. Yahoo! dan bing : On page keyword merupakan faktor yang paling penting .

2. Google : linklah yang merupakan faktor yang sangat penting. halaman website google seperti wine semakin tua umurnya semakin bagus peringkatnya. Google akan secara otomatis melakukan pencarian dengan logika boolean dengan menggunakan batasan-batasan AND, NOT, PHRASE, dan OR. google tidak mendukung pemotongan, penambahan dan tidak membedakan bentuk huruf besar atau kecil. kelebihan google menggunakan relavansi dan linking, yaity jumlah tertentu halaman-halaman sejenis yang berhubungan dengan halamab yang dicari. Google juga menyediakan file-file berekstensi PDF yang jarang dihasilkan oleh alat-alat pencari lainnya.

3. Yahoo : untuk yahoo tidak mementingkan layaknya seperti google. yahoo tidak menggunakan robot dalam membuat direktori informasi, web ini bergantung pada jumlah website yang didaftakan di direktori mereka. Sekalipun demikian yahoo sangat selektif dalam menerima situs-situs yang didaftarkan. karena yahoo tidak mempunyai jangkauan yang luas, maka web ini menyediakan mesin pencari milik google sebagai pelengkap.

4. google dan Altavista :

   1. Loading altavista lebih lama daripada google.

   2. Tampilan altavista kurang menarik

   3. Altavista lebih sulit dalam pengambilan data dibanding google.

5. Alltheweb : metode pencarian dalam web ini menggunakan logika boolean. kita dapat membatasi pencarian hanya pada judul, teks, nama link, URL, link, bahasa, dan domain. Ranking pencarian didasarkan pada relavansi, analisa link, penempatan teks pada halaman tertentu, danpenggunaan kata kunci.

D. Web Archiving

adalah proses mengumpulkan bagian dari WWW dan memastikan koleksi tersebut diawetkan dalam suatu arsip, misalnya situs arsip, untuk diakses peneliti, sejarawan, dan masyarakat umum pada masa datang. Besarnya ukuran Web membuat arsiparis web umumnya menggunakan web crawlers untuk pengumpulan secara otomatis. Organisasi pengarsip web terbesar yang menggunakan ancangan perangkak web ini adalah Internet Archive yang berupaya memelihara arsip dari seluruh Web. Perpustakaan nasional, arsip nasional, dan berbagai konsorsium organisasi lain juga terlibat dalam upaya pengarsipan konten Web yang memiliki nilai penting bagi mereka. Perangkat lunak dan layanan komersial juga tersedia bagi organisasi yang ingin mengarsipkan konten web mereka sendiri untuk berbagai keperluan.

CARA KERJA WEB ARCHIVING

A. Remote Harvesting

Merupakan cara yang plaing umum dalam web archiving dengan menggunkana teknik web crawlers yang secara otomatis melakukan proses pengumpulan halaman web. Metode yang digunakan web crawler untuk mengakses halaman web sama semeprti user mengakses halaman web menggunakan wob browser. Contoh web crawler yang digunakan dalam web archiving seperti :

·         Heritrix

·         HTTrack

·         Wget

B. On-Demand

Ada banyak layanan yang dapat digunakan sebagai sumber archive web “on-demand”, menggunakan teknik web crawling. Contohnya seperti

·         Aleph Archives

·         archive.is

·         Archive-It

·         Archivethe.net

·         Compliance WatchDog by SiteQuest Technologies

·         freezePAGE snapshots

·         Hanzo Archives

·         Iterasi

·         Nextpoint

·         Patrina

·         PageFreezer

·         Reed Archives

·         Smarsh Web Archiving

·         The Web Archiving Service

·         webEchoFS

·         WebCite

·         Website-Archive.com

C. Database archiving

Databasa Archiving mengacu pada metode untuk menarsipkan konten database-driven websites. Hal ini biasanya memerlukan ekstraksi konten database ke standard schema, sering menggunakan XML. Setelah disimpan dalam format standar, konten yang diarsipkan dari beberapa databse dapat tersedia untuk diakses dengan menggunakan single access system. Motode ini digunkanan seprti pada DeepArc dan Xinq masiing masing dikembangkan oleh Bibliothèque nationale de France dan National Library of Australia.

D. Transactional archiving

Transactional archiving merupakan event-driven yang mengumpulkan transaksi yang berlangsung antara web server dan web browser. Hal ini terutama digunakan untuk menjamin keaslian dari isi suatu website, pada tanggal tertentu. Hal ini sangatlah penting untuk organisasi atau perusahaan yang perlu mematuhi persyaratan hukum atau peraturan untuk mengungkapkan dan mempertahankan informasi.

Sistem yang digunakan pada transactional archiving biasanya beroperasi dengan memeriksa setiap permintaan HTTP dan respon dari web server, menyaring setiap aktifitas untuk menghilangkan konten yang duklikat dan secara permanen disimpan sebagai bitstreams. Sebuah sistem transactional archiving membutuhkan instalasi perangkat lunak pada web server, dan karena hal itu maka metode ini tidka dapat mengumpulkan konten dari remote website.

 sumber : https://elsietelibertador76.wordpress.com/tag/pengukuran-web/

Crawler

Pengertian Web Crawler / Web Spider

Web Crawler atau biasa juga disebut web spider memiliki tugas untuk meng-crawl (merayapi) seluruh informasi dari suatu website. Spider akan menggali seluruh data dari suatu website termasuk didalamnya komponen website seperti : meta data, keywords dan lain sebagainya. Kemudian web spider akan mengumpulkan atau mengindeks seluruh website ke dalam data base search engine. Sampai pada akhirnya halaman website akan di tampilkan pada Search Engine Result Page (SERP).

Sederhananya seperti ini : Ketika Anda mengetikkan query atau kata kunci pada search engine, mesin akan mencari database index dan memberikan daftar halaman web yang sesuai dengan kriteria yang Anda cari.

Proses web crawler dalam mengunjungi setiap dokumen web disebut web crawling atau spidering.

Nah, jadi kalo blog Anda telah dipasang Meta Tag SEO Friendly, judul artikel yang mengandung sebagian dari keywords (kata kunci) dan memiliki konten yang berkualitas, maka tidak tertutup kemungkinan, artikel Anda akan mejeng di halaman pertama Search Engine Result Page (SERP).

Fungsi Web Crawler / Web Spider

1. Web crawler biasa digunakan untuk membuat salinan sebahagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.

2. Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.

3. Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email.

Demikian artikel saya kali ini tentang pengertian dan fungsi web crawler / web spider. Semoga bermanfaat buat Anda semua.

sumber : http://www.blogmashendra.com/2014/05/pengertian-dan-fungsi-web-crawler.html

Cara Kerja Search Engine

Pengertian Search Engine

Search engine atau mesin pencari adalah sebuah sistem perangkat lunak (software) yang didesain untuk melakukan pencarian tentang suatu informasi pada World Wide Web. Hasil pencarian ini akan ditampilkan pada sebuah halaman yang disebut Search Engine Result Pages (SERPs). Hasil dari pencarian informasi tersebut bisa dalam bentuk yang bermacam-macam seperti halaman web, gambar, video, dan lain-lain. Contoh search engine yang sering digunakan adalah: Google, Bing, Ask, Yahoo, dan lain-lain.

 Cara Kerja Search Engine

Pada saat seseorang melakukan pencarian informasi dengan menggunakan search engine, maka hasil pencarian akan ditampilkan dalam sebuah halaman SERP dengan begitu cepat. Lalu bagaimana mesin semacam Google bisa menemukan informasi yang kita inginkan dalam sekejap? Apakah Google menyimpan seluruh konten web yang ada di internet?

Pada dasarnya search engine memiliki tiga fungsi utama, yaitu merayapi suatu halaman (crawling), menata dan menyimpan hasil rayapan (indexing), dan memilah kemudian mengirimkan pada pengguna yang mencari informasi (Filter and delivering). Beberapa halaman mengibaratkan cara kerja search engine seperti buku dan adapula seperti sebuah stasiun. Namun biar berbeda, saya mau mengibaratkannya seperti Tour Agency hehehe. Anggap saja suatu lokasi wisata seperti informasi yang kita cari. Sebuah Tour Agency memiliki Tour Guide yang bertugas untuk membantu pengunjung. Tour Guide awalnya telah mendatangi (crawling) lokasi-lokasi wisata dan mencatat keindahan dari masing-masing tempat wisata dan menyimpannya (indexing). Ketika anda datang pada suatu tour agency dan ingin mencari suatu tempat wisata misal  pantai maka tour agency tersebut akan memberikan daftar pantai yang telah dipilah dari segi keindahan, kenyamanan, dan lain-lain (filtering and delivering).

Crawling

gambar: wpromote.com

Crawling atau perayapan adalah suatu proses yang dilakukan oleh web  crawlers atau spiders untuk mengambil informasi dari sebuah web. Web crawler atau spiders adalah software yang berisi algoritma tertentu yang berfungsi untuk melakukan perayapan. Informasi-informasi yang diambil oleh spiders berupa URL (Uniform Resource Locator), judul halaman, title (yang ada pada bagian tab browser), kode Javascript, kode CSS, URL gambar, dan isi web. Saya juga pernah melakukan riset untuk menguji apakah crawler juga membaca URL berupa text seperti damar.my.id, dan ternyata crawler juga dapat membacanya. Setiap kali spiders melakukan perayapan pada suatu website, maka spiders akan menyalin informasi-informasi dari halaman website tersebut kemudian menambahkan URL halaman tersebut dalam indeks. Ketika spiders telah menyelesaikan tugasnya pada suatu halaman web, maka web crawler atau spiders akan menjelajahi seluruh link atau url yang terdapat pada halaman tersebut dan melakukan proses penyalinan, indexing, dan mengikuti link pada halaman tersebut. Namun tidak semua halaman web bersedia untuk dirayapi oleh web crawler. Penyebabnya bisa jadi karena halaman tersebut sudah tidak penting lagi, terlalu privasi, atau sebab lainnya.

Kebanyakan orang pasti ingin agar halaman web nya sering dikunjungi oleh sang spiders agar halaman web tersebut semakin dipercaya oleh si search engine. Lalu bagaimana caranya agar halaman web bisa dirayapi oleh Google sesering mungkin? Apakah dengan membayar Google? Tentu saja tidak, Google sebagai perusahaan search engine terkemuka bekerja secara profesional untuk memberikan informasi yang relevan pada para user (thanks Google). Google spiders memiliki algoritma khusus yang menentukan kapan dia mulai, seberapa sering, dan berapa banyak halaman yang di crawl. Sehingga informasi yang diberikan murni informasi yang paling relevan untuk Anda (tanpa campur tangan uang atau sogok-menyogok).

Indexing

Indexing atau indeksisasi adalah proses sortir dan pengelompokan informasi dari web crawler yang dilakukan oleh suatu search engine. Informasi yang disimpan akan disortir sesuai dengan apa yang diambil oleh web crawler seperti URL, title, heading, konten, dan lain-lain. Indexing bertujuan agar memudahkan search engine dalam mencari informasi yang diminta oleh user. Perlu diketahui, hingga saat ini (Kamis, 28 January 2016 jam 15:21 WIB) google telah mengindeks 60 Triliun halaman web dan tentunya akan terus bertambah. Bila ada yang bertanya berapa ukuran index yang dimiliki perusahaan search engine seperti Google maka jawabannya adalah 100 juta Gigabyte.

Pada saat seseorang mencari informasi pada sebuah search engine, maka search engine akan mencari pada index yang mereka miliki. Kemudian dari ribuan bahkan jutaan hasil, search engine akan mengecek masing-masing halaman. Pengecekan tersebut berupa kualitas halaman, pembaruan, keamanan (bebas virus dan konten dewasa), kecocokan dengan user (bahasa, negara, dan history web), dan lain-lain.

Delivering

Delivering adalah proses pemberian informasi kepada para user. Bagaimana search engine bisa memberikan informasi yang tepat kepada user? Tentu saja yang berperan kali ini adalah algoritma yang dimiliki oleh search engine. Algoritma tersebut bekerja untuk mencari dan memahami kata kunci yang dimasukkan oleh user. Dari Algoritma tersebut, ada beberapa manfaat yang bisa kita rasakan secara langsung, yaitu:

1. Spelling

Mengidentifikasi lafal atau ejaan yang dimasukkan. Identifikasi tersebut bisa berupa kesalahan atau alternatif kata lain. Ketika salah mengetikkan keyword maka mesin pencari yang baik mampu memberikan kata yang tepat sesuai dengan bahasa Anda.

2. Autocomplete

Memprediksi apa yang mungkin akan dicari user termasuk memahami istilah lainnya. Mesin pencari mampu memprediksi informasi dan memberikan referensi lain yang mungkin ingin dicari oleh pengguna.

3. Synonyms

Memahami kata lain atau sinonim sehingga hasil pencarian bisa lebih tepat. Pada contoh gambar diatas, saya mencoba mencari kata “Cara Kerja Search Engine” dan hasilnya tidak hanya kata exact tetapi juga ada kata lain berupa terjemahan dari search engine yaitu “Mesin Pencari”.

4. Query Understanding

Memahami secara lebih dalam arti dari kata yang kita masukkan untuk memberikan informasi yang tepat. Ketika kita merasa bingung menggunakan keyword, algoritma search engine akan membantu kita untuk menemukan kata kunci yang kita inginkan.

5. Search Methods

Membuat trobosan teknologi terbaru dalam melakukan pencarian. Jika dulu orang melakukan pencarian dengan cara mengetik. Maka beberapa search engine saat ini telah meningkatkan algoritmanya sehingga bisa mencari data dari masukan berupa gambar atau suara. Semoga suatu saat juga video.

6.  Instant Search

Menampilkan secara cepat informasi yang diinginkan pengguna. Instant Search adalah kemampuan search engine dalam menampilkan hasil pencatian dengan cepat meski memiliki index hingga triliunan data. Sebagai contoh ketika mencari kata “Langkah Membuat Website” maka search engine seperti Google hanya membutuhkan waktu selama 0.54 detik untuk menampilkan 10 hasil dari 2.930.000 data.

Sebelum mengirimkan hasil kepada pengguna, mesin pencari akan melakukan sorting ketat terhadap konten yang disajikan. Berikut adalah beberapa filter konten yang dilakukan mesin pencari:

1.      Kualitas Website dan Halaman

Hanya kualitas halaman dan website yang bagus saja yang akan ditampilkan oleh mesin pencari. Search Engine akan memilha satu persatu halaman yang relevan. Ada halaman yang dikategorikan sangat terpercaya, terpercaya, dan tidak terpercaya. Halaman yang sangat terpercaya dan terpercaya saja yang akan ditampilkan terlebih dahulu.

2.      Konten Baru

Hanya halaman dan website dengan konten yang up to date yang akan ditampilkan. Baru atau tidaknya halaman dapat diketahui dengan seberapa sering web tersebut memperbarui sebuah informasi atau membuat berita baru.

3.      Keamanan

Untuk masalah keamanan, mesin pencari cukup ketat dalam memilah mana halaman website yang mengandung konten dewasa dan yang bisa dilihat oleh semua umur. Halaman yang mengandung konten dewasa akan diblokir untuk ditampilkan pada keyword yang sifatnya general. Kecuali jika Anda memang memasukkan kata kunci yang mengandung konten dewasa maka yang muncul adalah konten dewasa.

4.      Filter Tepat dan Akurat

Dalam memberikan informasi, mesin pencari akan memilah informasi berdasarkan negara, bahasa, dan lain-lain. Jadi, jika ada pengguna dari Indonesia yang mencari informasi tentang “Meningkatkan Ranking Website” maka hasil yang ditampilkan adalah hasil dengan bahasa Indonesia atau bahasa Internasional yaitu bahasa Inggris, bukan bahasa dari negara lain seperti bahasa Belanda.

Jenis Halaman Hasil Pencarian

Jenis hasil pencarian search engine dapat digolongkan ke beberapa jenis berdasarkan perangkat yang digunakan seperti desktop, tablet, atau smartphone.

Jenis Hasil Pencarian di Desktop

1. Slider Result

Slider result adalah jenis hasil pencarian berupa slider yang bisa digeser. Slider result akan berada pada top SERPs sehingga dapat memunculkan semua hasil yang relevan tanpa memakan banyak ruang di SERPs.

2. Snippets

Snippets adalah jenis hasil pencarian yang menampilkan ringkasan mengenai informasi yang dicari. Ringkasan tersebut biasanya beruapa judul halaman, deskripsi singkat, tanggal terbit artikel, URL, kategori artikel, dan lain-lain.

3. Knowledge Graph

Knowledge Graph adalah informasi yang berisi tentang biografi atau cerita singkat tentang sebuah informasi yang popule (biasanya data tokoh, artis, atau film) yang berada pada sisi kanan SERPs. Dengan adanya Knowledge Graph maka pengguna akan lebih cepat mendapatkan informasi umum tanpa harus membuka halaman web.

Hasil pencarian yang kita dapat dari search engine tentunya sudah bebas spam (sampah) untuk kenyamanan kita. Jadi jangan merasa bahwa para pemilik web adalah orang yang selalu memberikan info saja. Beberapa diantara mereka juga ada yang menyisipkan spam pada halaman webnya agar halaman webnya selalu terpilih oleh search engine.

Jadi begitulah bagaimana cara kerja search engine. Terimakasih telah membaca artikel ini sampai ke tulisan ini hehehe. Sampai bertemu di artikel berikutnya.


Sumber : https://damaraja.com/cara-kerja-search-engine/

PENGERTIAN, MACAM-MACAM DAN SEJARAH SEARCH ENGINE

SEARCH ENGINE

            Dalam mencari informasi melalui internet dewasa ini sering digunakan suatu sistem perangkat lunak yang sering disebut sebagai mesin pencari (search engine). Search engine adalah program komputer yang dirancang untuk membantu menemukan file-file yang disimpan dalam komputer. Search engine memungkinkan untuk meminta content media dengan kriteria yang spesifik dan memperoleh daftar file yang memenuhi kriteria tersebut.

Perkembangan teknologi internet selain dari teknik pencarian dengan menggunakan mesin pencari adalah email dan mailing list. Email atau mailing list juga merupakan salah satu bagian dari teknologi internet. Email adalah fasilitas yang dapat memudahkan kita menerima dan mengirim surat elektronik melalui aplikasi secara online maupun berada dalam computer. Email adalah sarana komunikasi yang mudah diakses dan sangat hemat serta cepat hanya dalam hitungan detik seseorang sudah dapat menerima dan mengirim email ke mana pun di dunia ini

A. Sejarah Search Engine

Sejarah Lahirnya Search Engine (Mesin Pencari) Perkembangan search engine berawal dari diciptakannya perangkat lunak yang bernama Archie oleh Alan Emtage, seorang mahasiswa dari Universitas McGill, Montreal, Kanada, pada tahun 1990. Perangkat lunak Archie mampu mengindex file-file terdapat pada FTP server publik. Ini merupakan aplikasi pertama yang digunakan untuk mencari informasi di internet, sehingga Archie dinobatkan sebagai nenek moyang dari search engine. Search engine berikutnya adalah Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) dan Jughead (Jonzy’s Universal Gopher Hierarchy Excavation And Display), yang mampu mengindex halaman-halaman plain text yang terdapat pada server gopher.

World Wide Web Wanderer merupakan aplikasi search engine pertama yang menggunakan teknologi robot dalam melakukan proses indeks halaman-halaman web yang terdapat pada web server. Aplikasi ini dirintis oleh Matthew Gray, seorang mahasiswa dari MIT, namun sayang, aplikasi ini menimbulkan kontroversi, karena akibat dari kinerja robot ini menghabiskan bandwith yang sangat besar. Berikutnya, pada tahun 1993, Martijn Koster membuat ALIWEB (Archie-Like Indexing of the Web). ALIWEB mengizinkan pengguna internet untuk men-submit halaman webnya untuk di indeks dengan teknologi kumpulan meta-data Aplikasi-aplikasi diataslah yang menginspirasi lahirnya teknologi-teknologi search engine yang baru, mulai dari munculnya website search engine webcrawler, yahoo, lycos, altavista, excite, hotbot, alltheweb, google, baidu dan banyak lagi yang lainnya.

B. Pengertian Search Engine

Search Engine / Mesin pencari Internet merupakan gudang segala jenis informasi yang tidak terbatas. Beragam informasi disimpan di internet. Informasi yang begitu lengkap dan sangat banyak memberi keuntungan, sehingga kita bisa mendapatkan informasi apapun yang kita butuhkan. Namun di satu sisi, beragamnya informasi dalam jumlah yang sangat banyak memberi kesulitan dalam mencari halaman tertentu. Untuk memecahkan masalah tersebut, dibuatlah program untuk memudahkan kita mencari halaman di internet. Program tesebut dikenal dengan nama mesin pencari atau search engine.

Mesin pencari adalah sebuah program yang digunakan sebagai alat bantu untuk mencari informasi di internet. Mesin pencari mempunyai sebuah database yang memuat semua item yang terdapat di internet dan halaman-halaman web yang menyimpan informasi yang berhubungan dengan item-item tersebut. Mesin pencari mempunyai metode pencarian tertentu yang sering disebut alogaritma pencarian. Kecepatan dan ketepatan pencarian sebuah mesin pencari sangat tergantung kepada cara pengindex-an dan alogaritma pencarian yang digunakan.

Umumnya, struktur dasar sebuah mesin pencari adalh sebagai berikut:

1. kotak teks pencarian digunakan sebagai tempat untuk memasukan kata kunci yang akan dijadikan sebagai acuan pencarian
2. tombol pencarian utuk menjalankan perintah pencarian. Informasi di internet setiap saat akan terus berubah dan bertambah.

Oleh karena itu sebuah mesin pencari harus terus memperbaharui database yang dimilikinya. Untuk melakukan hal ini mesin pencari dilengkapi sebuah program yang berjalan seperti robot. Disebut robot karena dia dapat bekerja sendiri tanpa harus dijalankan atau diperintahkan terlebih dahulu.program tersebut disebut dengan spider, bot, atau crawler. Setiap selang waktu tertentu, program “robot”tersebut akan menjelajahi intrnet, membaca dokumen-dokumen yang ada di internet, meringkasnya, dan kemiudia menyimpan di database dengan menggunakan system pengindex-an.

Ada beberapa kriteria yang bisa dgunakan untuk menentukan sebuah mesin pencari yang bagus dan handal, yaitu :

1. mempunyai database yang besar dan sering diperbaharui.
2. tidak memiliki spam dan memberikan hasil pencarian yang relevan.
3. mempunyai kecerdasan buatan yang baik, sehigga mengerti dan dapat memperkirakan apa yang dicari oleh penggunanya.

Selain itu kita perlu mengetahui cara kerja mesin pencari yang digunakan, sehingga kita bisa mengeksploitasi kelebihan mesin pencari tersebut. Saat ini ada banyak website yang menyediakan mesin pencari. Berikut adalah beberapa search engine / mesin pencari yang terkenal dan banyak digunakan oleh orang diseluruh dunia.

C. Jenis-Jenis Search Engine

Jenis-Jenis Search Engine didasarkan pada cara atau teknik mengoleksi/mengumpulkan data dari halaman situs web, mesin pencari dapat dikelompokkan menjadi 4 jenis search engine:

1. Human Organized Search Engine

Jenis Search engine yang di kelola secara manual dalam artian jenis search engine ini adalah sepenuhnya ditangani oleh manusia, penggunaan metode ini dengan menyortir informasi yang sesuai permintaan dari pengguna agar lebih relevan dan bermanfaat bagi pencari informasi.

Situs mesin pencari dengan metode ini memperkerjakan para ahli sesuai bidang keahlian untuk mengelompokkan situs web sesuai dengan bidangnya. Beberapa situs search engine yang mengunakan jenis search engine manual:

• http://www.yahoo.com
• http://www.looksmart.com

2. Computer Created Search Engine

Jenis Search Engine ini memiliki banyak kelebihan karena dapat menyajikan

informasi yang banyak meskipun terkadang beberapa informasi yang tidak relevan dengan yang diinginkan pencari informasi. Jenis Search engine ini mengaplikasikan spider software atau software laba-laba untuk menyusupi situs web tertentu dan selanjutnya mengumpulkan data serta mengelompokkannya dengan sedikit bantuan secara manual, diantara situs yang menggunakan metode ini:

• http://www.webcrawler.com
• http://www.excite.com
• http://www.inktomi.com
• http://www.nothernlight.com

3. Hybrid Seacrh Engine

Jenis Search engine ini merupakan penggabungan secara manual dan komputerisasi, dengan demikian menghasilkan hasil pencarian lebih akurat. Peran manusia disini adalah sebagai penelaah dalam proses pengoleksian database halaman situs web. Diantara situs mesin pencari dengan metode ini :

• http://www.lycos.com
• http://www.altavista.com
• http://www.hotbot.com
• http://www.goto.com
• http://www.snap.com
• http://www.directthit.com
• http://www.google.com
• go.com

4. MetaCrawler/Metasearch

Jenis Search engine ini adalah perantara dari search engine yang sebenarnya. Mesin ini bekerja mengirimkan permintaan pencarian ke berbagai mesin pencari dan menampilkan banyal hasil pencarian dari berbagai mesin pencari yang ada. Situs serch engine dengan metode metasearch diantaranya:

• http://www.dogpile.com
• http://www.infind.com
• http://www.snap.com

D. Macam-Macam Search Engine

Ada beberapa macam Search Engine :

1. Google

Website : www.google.com

Penjelasan : Selain pencarian web, Google juga menyediakan jasa pencarian gambar, pencarian berita serta pencarian pada arsip USENET (newsgroup), serta direktori, seperti Yahoo! Kelemahannya terletak pada tidak tersedianya pencarian file, video, dan audio. Keunggulan Google terutama adalah pada pencarian teks, terutama dari algoritma PageRank, database-nya yang besar serta banyaknya jenis file yang diindeksnya.

* Kelebihan   

1. Kecepatan dan kemudahan dalam mencari.
   2. lebih canggih dengan fitur yang dimilikinya.
   3. Tampilan yang sederhana                            .
   4. Google merupakan satu-satunya mesin pencari yang memilki cach. Dengan adanya cache ini, si pencari dapat menghemat waktu pencarian, karena hasil pencarian yang akan ditampilkan.
   5. Dapat mencari segala informasi seperti gambar, berita artikel, hiburan dll.

* Kekurangan            
1. Dengan kelebihan yang dimilikinya, ternyata mesin pencari ini jadi bidikan para spamer untuk menampilkan iklan-iklan yang tidak diperlukan. Mereka memanfaatkan setiap celah yang ada pada sistem algoritma Google untuk memaksa iklan mereka tampil pada halaman terdepan. Maka, pencarian pun terasa tergangggu.

Sejarah : Google didirikan oleh Larry Page dan Sergey Brin saat masih mahasiswa Ph.D. di Universitas Stanford. Mereka berdua memegang 16 persen saham perusahaan. Mereka menjadikan Google perusahaan swasta pada tanggal 4 September 1998. Pernyataan misinya adalah “mengumpulkan informasi dunia dan membuatnya dapat diakses dan bermanfaat oleh semua orang”, dan slogan tidak resminya adalah “Don’t be evil”.Pada tahun 2006, kantor pusat Google pindah ke Mountain View, California.

2. Yahoo!

Website: www.yahoo.com

Penjelasan : Salah satu portal terbesar di Internet, selain MSN., dan juga salah satu mesin pencaru tertua. Halaman utamanya sendiri tidak terlalu ramah untuk pencarian, tetapi Yahoo! menyediakan search.yahoo.com untuk itu. Yahoo! menggunakan jasa Google untuk mencari informasi di web, ditambah dengan informasi dari databasenya sendiri. Kelebihan Yahoo! adalah direktorinya. Yahoo! juga menyediakan pencarian yellow pages dan peta, yang masih terbatas pada Amerika Serikat. Yahoo juga menyediakan pencarian gambar. berikut ini kelebihan dan kekurangannya yang lebih jelas :

* Kelebihan:

1. carta surat menyurat modern untuk membuat orang menjadi lebih maju
2. salah satu web yang menyediakan layanan fasilitas gratis
3. salah satunyapun yang anda bilang, bila di refresh cepat
4. banyak fasilitas yang disediakan, seperti: Y!A Y!A Y! mail Y! 360 dan lain2
5. sudah ada di banyak negara

* Kekurangan:

1. Satu id yahoo hanya untuk yahoo, tak bisa untuk produk windows, seperti IM dan msn
2. Teralu mudah untuk membuat id, sehingga kadang-kadang disalah gunakan
3. Fitur Y!M msh sangat kalah jauh dengan IM keluaran windows
4. Skin untuk Y!M msh sangatlah simple, tak seperti IM yang ada cukup banyak

Sejarah : Yahoo! pada awalnya hanyalah semacam bookmark (petunjuk halaman buku), ide itu berawal pada bulan April 1994, saat itu dua orang alumni Universitas Stanford mendapat liburan ketika profesor mereka pergi ke luar kota karena cuti besar. Dua mahasiswa teknik tersebut hanya mempunyai sedikit pekerjaan yang harus dilakukan selain menjelajah internet. Mereka tidak membutuhkan waktu lama untuk mengkompilasi sebuah daftar bookmark yang besar, yang dikelompokkan berdasarkan subyek. Kemudian mereka berpikir untuk memasukannya di web, dan mulai bekerja membuat sebuah program database untuk menanganinya sehingga dapat memberikan hasil secara online.

3. AskJeeves

Website : http://www.ask.com

Penjelasan : Situs mesin pencari yang satu ini mengunggulkan kemampuannya untuk memahami bahasa manusia. Pengguna bisa menggunakan kalimat lengkap, bukan kata kunci. Situs ini berguna untuk mengetahui jawaban dari pertanyaan(misal: when did world war II end?)

* Kelebihan

1. Keunggulan utamanya adalah ia akan mencari situs penyedia jawaban untuk pertanyaan anda.

Sejarah : Ask.com awalnya dikenal sebagai Ask Jeeves, dimana “Jeeves” adalah nama “gentleman pribadi pria ini”, atau pelayan, mengambil jawaban atas pertanyaan ditanyakan. Karakter didasarkan pada Jeeves, valet fiksi Bertie Wooster ini dari karya Wodehouse PG.

4. Bing

Website : www.bing.com

Penjelasan : Bing merupakan mesin pencari web milik Microsoft yang launching pada 1 juni 2009. Sebelumnya layanan ini dikenal dengan nama MSN search dan Windows Live seacrh dan Live Search yang sudah ada sejak 1998. Saat ini Bing sudah digunakan sekitar 9.5 % pengguna internet sebagai mesin penjari. Bing memiliiki tampilan dengan latar pemandangan yang selalu berubah-ubah.

Kelebihan :

1. Mempunyai fasilitas instant answer.
2. Hasil pencarian image atau video dapat ditampilkan dan disaring secara detail
3. Kotak detail pada link hasil pencarian.
4. Bing.com ini mesin pencari yang sangat complet, semua yang Anda cari pasti ada.
5. Sistem filternya bisa kita aktif kan ataudi non aktifkan, jadi anda bisa membuka situs yang diblokir.

Kekurangan :

1. Tidak dapat berhitung.
2. Fiturnya tidak lengkap.
3. Bing.com kurang di minati oleh pengguna.
4. Bing.com kurang cepat dalam pencariannya.

Sejarah : Microsoft telah memproduksi tiga mesin pencari sebelum Bing, yakni MSN Search, Windows Live Search, dan Live Search. Namun sayangnya menurut Microsoft ini, kinerja ketiga mesin pencari ini kurang maksimal dalam menarik pengguna sehingga belum mampu menggeser kedudukan Google Search sebagai penguasa mesin pencari di dunia Internet. Kegagalan ketiga mesin pencari sebelum Bing ini, tidak mematahkan semangat Microsoft untuk terus menerus berinovasi dengan mencoba untuk mengevaluasi dan menganalisis kelemahan-kelemahan yang ada pada ketiga mesin pencari sebelum Bing tersebut. Selain itu, Microsoft juga menganalisis kelemahan-kelemahan yang dimiliki oleh mesin pencari pesaing, terutama Google Search dan Yahoo Search. Setelah melalui segala bentuk usaha di atas, Microsoft berusaha memperbaiki dan mengaplikasikannya pada produk mesin pencari terbaru, yaitu Bing. Sejarah terciptanya Bing pada prinsipnya tidak terlepas dari tiga mesin pencari produksi Microsoft sebelumnya. Secara historis dapat dikemukakan bahwa terciptanya Bing dimulai dari MSN Search sampai Windows Live Search lalu Live Search.

5. AOL Search

Penjelasan : AOL Inc. (NYSE: AOL) dulunya adalah perusahaan America Online, Inc., dan merupakan penyelenggara jasa Internet global yang berpusat di New York dan sebelum berstatus publik sejak tanggal 9 Desember 2009, AOL dioperasikan oleh perusahaan Time Warner. Pada saat ini AOL melayani banyak perusahaan dalam hal layanan Internet di berbagai negara di dunia, sehingga menjadikan AOL sebagai ISP bersifat Internasional dengan jumlah pelanggan mencapai 30 juta pengguna.

Kelebihan :

1. download di aol lebih cepat
2. bisa membuat surat elektronik

Kekurangan :

1. fiturnya sangat kurang
2. dan mesin pencarinya pun kurang akurat

Sejarah : AOL didirikan pada tahun 1983 dengan nama Control Video Corporation (CVC). Produk tunggal AOL dalah Gameline. Pelanggan membeli modem dari perusahaan untuk $ 49,95 dan membayar satu kali biaya setup $ 15. Para pelanggan Gameline diizinkan untuk sementara download game dan melacak nilai yang tinggi, dengan biaya $ 1 per game. Telepon terputus dan permainan ter-download akan tetap berada di Gameline Master Module dimainkan sampai pengguna mematikan atau mendownload konsol permainan lain.

E. CARA MENCARI INFORMASI MENGGUNAKAN SEARCH ENGINE

Dalam perkembangan teknologi pada zaman sekarang ini kita harus bisa menguasai teknologi salah satunya ialah searh engine. Search engine adalah program komputer yang dirancang untuk mencari informasi yang tersedia didalam dunia maya. Web search engine mengumpulkan informasi yang tersedia secara otomatis. Untuk sekarang ini sebuah search engine sudah mulai di kembangkan untuk lebih memudahkan bagi kita dalam menggunakan search engine tersebut. Hasil dari pecarian data biasanya di urutkan berdasarkan tingkat akurasi dan popularitas di search engine tersebut. Beberapa search engine biasanya mengumpulkan informasi atau data yang di cari di dalam sebuah basisdata. Atau direktori web.
Dengan search engine tersebut kita dapat mencari berbagai informasi yang kita inginkan dari seluruh dunia, jadi dengan adanya search engine ini sangat memudahkan bagi kita untuk mencari data. Adapun beberapa contoh cara mencari informasi menggunakan search engine yaitu :

1. Pencarian secara umum yaitu :
2. Supaya tidak terjebak pada pencarian tak berujung, tentukan terlebih dahulu data / informasi apa yang dibutuhkan dan tetaplah fokus pada pencarian informasi tersebut.
3. Bukalah program browser (internet explorer, mozilla firefox, dll) yang tersedia di komputer anda.
4. Ketik alamat situs search engine pada kolom address browser. Banyak situs yang menyediakan layanan ini. Seperti Google, Alltheweb, Altavista, Yahoo, Lycos dan sebagainya. Bahkan ada situs yang menyediakan multi engine atau metasearch seperti Graball dan Myrad Search.
   – http://www.google.com
   – http://www.alltheweb.com
   – http://www.yahoo.com
   – http://www.altavista.com
   – http://www.lycos.com
   – http://www.graball.com (multi engine)
   – http://www.myradsearch.com (multi engine)
   Sebagai contoh, sekarang menggunakan search engine Google yang umum digunakan oleh banyak orang.
5. Ketik keyword sesuai dengan informasi yang dibutuhkan. Sebagai contoh, sekarang menggunakan keyword taman nasional. Kemudian tekan enter atau telusuri dengan Google.
6. Dalam sekian detik akan keluar 10 link situs-situs pada halaman pertama yang mempunyai keterkaitan dengan keyword taman nasional. Bacalah keterangan singkat pada tiap link situs, apakah sudah sesuai dengan informasi yang dibutuhkan. Kemudian buka link situs tersebut pada browser baru (open new window atau new tab) dengan klik kanan pada link situs yang dimaksud.
7. Pada halaman yang baru akan tampil situs yang memuat keterkaitan dengan keyword taman nasional. Kemudian masukkan situs ini ke dalam bookmarks (mozilla firefox) atau favorites (internet explorer) pada browser anda. Dengan demikian akan tersimpan dan bisa dibuka jika sewaktu-waktu dibutuhkan kembali. Bacalah seluruh informasi yang ada dalam situs tersebut sampai menemukan informasi yang dibutuhkan. Jika masih belum menemukan, pencarian bisa dilakukan kembali pada link situs-situs halaman google yang telah dibuka sebelumnya (langkah no. 5).
8. Ada baiknya jika pencarian informasi mengunakan lebih dari satu search engine untuk mengoptimalkan waktu yang ada. Namun harus mempertimbangkan pula kecepatan akses internet yang tersedia. Program search engine seperti katalog pada sebuah perpustakaan.
9. Namun demikian masih sering kita alami bahwa informasi yang keluar tidak sesuai dengan yang diinginkan.

sumber : https://rizkavirgiliaputri.wordpress.com/2015/05/15/searcing-engine/