Mesin pencari adalah program komputer yang dirancang untuk melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www, ftp, publikasi milis, ataupun news group dalam sebuah ataupun sejumlah komputer peladen dalam suatu jaringan.
Hasil pencarian umumnya ditampilkan dalam bentuk daftar yang seringkali diurutkan menurut tingkat akurasi ataupun rasio pengunjung atas suatu berkas yang disebut sebagai hits. Informasi yang menjadi target pencarian bisa terdapat dalam berbagai macam jenis berkas seperti halaman situs web, gambar, ataupun jenis-jenis berkas lainnya. Beberapa mesin pencari juga diketahui melakukan pengumpulan informasi atas data yang tersimpan dalam suatu basisdata ataupun direktori web.
Sebagian besar mesin pencari dijalankan oleh perusahaan swasta yang menggunakan algoritma kepemilikan dan basisdata tertutup, di antaranya yang paling populer adalah Google (MSN Search dan Yahoo!). Telah ada beberapa upaya menciptakan mesin pencari dengan sumber terbuka (open source), contohnya adalah Htdig, Nutch, Egothor dan OpenFTS
Cara kerja mesin pencari
Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web, yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler — browser web otomatis yang mengikuti setiap pranala yang dilihatnya. Isi setiap halaman lalu dianalisis untuk menentukan cara indeks-nya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.
Selain halaman web, Mesin pencari juga menyimpan dan memberikan informasi hasil pencarian berupa pranala yang merujuk pada file, seperti file audio, file video, gambar, foto dan sebagainya, serta informasi tentang seseorang, suatu produk, layanan, dan informasi beragam lainnya yang semakin terus berkembang sesuai dengan perkembangan teknologi informasi.
Ketika seseorang mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan kadang-kadang sebagian teksnya.
Ada jenis mesin pencari lain: mesin pencari real-time, seperti Orase. Mesin seperti ini tidak menggunakan indeks. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal: informasi selalu mutakhir, (hampir) tak ada pranala mati, dan lebih sedikit sumber daya sistem yang diperlukan. (Google menggunakan hampir 100.000 komputer, Orase hanya satu.) Tetapi, ada juga kelemahannya: pencarian lebih lama rampungnya.
Manfaat mesin pencari bergantung pada relevansi hasil-hasil yang diberikannya. Meskipun mungkin ada jutaan halaman web yang mengandung suatu kata atau frase, sebagian halaman mungkin lebih relevan, populer, atau autoritatif daripada yang lain. Kebanyakan mesin pencari menggunakan berbagai metode untuk menentukan peringkat hasil pencarian agar mampu memberikan hasil "terbaik" lebih dahulu. Cara mesin menentukan halaman mana yang paling sesuai, dan urutan halaman-halaman itu diperlihatkan, sangat bervariasi. Metode-metode nya juga berubah seiring waktu dengan berubahnya penggunaan internet dan berevolusinya teknik-teknik baru.
Sebagian besar mesin pencari web adalah usaha komersial yang didukung pemasukan iklan dan karenanya sebagian menjalankan praktik kontroversial, yaitu membolehkan pengiklan membayar agar halaman mereka diberi peringkat lebih tinggi dalam hasil pencarian.
Proses Pencarian
Melakukan pencarian dokumen yang dimuat pada suatu situs bisa begitu mudah dan kelihatannya mungkin sulit juga. apalagi mengignat begitu menyebarnya informasi dimana-mana, bahkan University of Calofornia menyebutkan saat ini telah terdapat lebih dari 50 milyar halaman web di internet, meskipun tidak ada ada satupun yang benar-benar tahu jumlah persisnya.
kesulitan yang mungkin terjadi adalah karena WWW tersebut tidak terdata dalam bentuk yang terstandarisasi isinya. tidak sama halnya dengan katalog yang ada di perpustakaan, yang memiliki standarisasi secara mendunia berdasarkan subjek dari judul buku, meskipun jumlahnya juga tidak sedikit.
Dalam pencarian di web, pengguna selalu memperkirakan kata apa yang di kira-kira terdapat pada halaman yang ingin anda temukan. atau kira-kira apa subjek yang dipilih oleh seseorang untuk mengelolah halaman situs yang mereka kelola, topik apa saja kira-kira yang di bahas.
Jika pengguna melakukan apa yang dikenal dengan pencarian pada halaman web, sebenarnya tidaklah melakukan pencarian. tidak mungkin melakukan pencarian di WWW secara langsung.
Pada web benar-benar terdiri dari banyak sekali halaman web yang ingin disimpan dari berbagai server diseluruh dunia. Komputer pengguna tidak langsung melakukan pencarian kepada seluruh komputer tersebut secara langsung.
Apa yang mungkin pengguna lakukan hanyalah melalui komputer untuk mengakses satu atau lebih perantara yang disebut dengan alat bantu pencarian yang ada saat ini. Melakukan pencarian pada alat bantu itu tadi ke database yang dimiliki. data base tersebut mengkoleksi situs-situs yang ditemukan dan simpan.
alat bantu pencarian ini menyediakan hasil pencarian dalam bentuk hypertext link dengan URL menuju halaman lainnya. ketika anda klik link ini, dan menuju ke alamat tersebut maka dokumen, gambar, suara dan banyak lagi bentuk lainnya yang ada pada server tersebut disediakan, sesuai dengan informasi yang terdapat di dalamnya. layanan ini bisa menjangkau ke manapun di seluruh dunia.
Tidak mungkin seseorang untuk melakukan pencarian ke seluruh komputer yang terhubung internet ini, atau bahkan alat bantu pencarian yang mengklaim bahwa melakukannya, tidak benar.
Kategori Alat Pencari
Saat ini, tiga bentuk dari alat bantu pencarian ini. Menggunakan strategi yang berbeda untuk memanfaatkan kemampuan potensial dari masing-masing nya, yaitu
Mesin pencari dan mesin pencari-meta
Karakteristik:
1. Menyimpan data dalam bentuk teks penuh pada halaman yang terpilih,
2. Pencarian berdasarkan kata kunci, mereka mencoba mencocokkan dengan tepat kata kunci tersebut dengan teks yang ada dalam dokumen,
3. Tidak perlu dilakukan browsing, dan tidak ada subjek dari kategori,
4. Database dijaring dan dikumpulkan oleh spidr, yaitu komputer yang memiliki program robot, dengan kemampuan seminimal mungkin dari pandangan atau sentuhan manusia,
5. Ukuran search engine:dari skala kecil hingga mampu menyimpan sangat banyak (sekitar hingga 20 milyar halaman web).
6. Meta-search engine dengan cepat melakukan pencarian ke dalam beberapa data base dari berbagai search engine dalam satu kali permintaan. hasilnya adalah daftar yang hasilnya dan penggabungan hasil pencarian dari beberapa mesin pencari yang mereka libatkan. Contoh : Search engine: Google, Yahoo Search, Ask.com. Meta-Search : Dogpile, Copernic, dan lainnya.
Subject Directories
1. Karakteristik :
2. Seleksi dari situs yang ada merupakan seleksi langsung yang dilakukan oleh manusia, kadang kala para ahli untuk subjek tertentu,
3. Sering dengan hati-hati dievaluasi dan menjaga keterbaruan informasi yang mereka miliki, namun tidak selalu, kadang-kadang tidak, terutama untuk mereka yang telah memiliki data yang banyak dan bersifat general,
4. Biasanya dikelola dalam bentuk subjek dan direktori yang tersusun secara hirarki,
5. Sering dilengkapi dengan catatan mengenai deskripsinya ( tidak untuk Yahoo),
6. Subjek dapat di-browse subjek dan kategorinya atau melakukan pencarian berdasarkan kata-kata tertentu,
7. Dokumen yang tidak penuh teks. pencarian diminta lebih spesifik dibandingkan dengan pencarian melalui mesin pencari, karena kata kunci tidak bisa dibandingkan dengan isi dari halaman suatu situs, melainkan hanya pada subjek, kategori-kategori, dan deskripsi.
8. Terdapat ribuan atau bahkan lebih subjek direktori dalam praktek dan kenyataannya apa saja yang dipikirkan di sana.
Specialized Databade (Invisible Web)
Karakteristik :
1. Merupakan web yang menyediakan akses melalui suatu kotak pencarian ke dalam isi database pada sebuah komputer di suatu tempat,
2. Dapat saja berubah berbagai topik, dapat pula juga hal yang komersial, pekerjaan yang spesifik, pemerintahan, dll
3. Juga terdiri dari banyak halaman yang menghasilkan hasil pencarian dari katalog direktori online.
Prinsip Umum Dari mesin pencari
Sistem kinerja mesin ini ada beberapa hal yang perlu di perhatikan terutama keterkaitannya dengan masalah arsitekrut dan mekanismenya.
Sebagian besar mesin pencari dijalankan oleh perusahaan swasta yang menggunakan algoritma kepemilikan dan basisdata tertutup, di antaranya yang paling populer adalah Google (MSN Search dan Yahoo!). Telah ada beberapa upaya menciptakan mesin pencari dengan sumber terbuka (open source), contohnya adalah Htdig, Nutch, Egothor dan OpenFTS
Cara kerja mesin pencari
Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web, yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler — browser web otomatis yang mengikuti setiap pranala yang dilihatnya. Isi setiap halaman lalu dianalisis untuk menentukan cara indeks-nya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.
Selain halaman web, Mesin pencari juga menyimpan dan memberikan informasi hasil pencarian berupa pranala yang merujuk pada file, seperti file audio, file video, gambar, foto dan sebagainya, serta informasi tentang seseorang, suatu produk, layanan, dan informasi beragam lainnya yang semakin terus berkembang sesuai dengan perkembangan teknologi informasi.
Ketika seseorang mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan kadang-kadang sebagian teksnya.
Ada jenis mesin pencari lain: mesin pencari real-time, seperti Orase. Mesin seperti ini tidak menggunakan indeks. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal: informasi selalu mutakhir, (hampir) tak ada pranala mati, dan lebih sedikit sumber daya sistem yang diperlukan. (Google menggunakan hampir 100.000 komputer, Orase hanya satu.) Tetapi, ada juga kelemahannya: pencarian lebih lama rampungnya.
Manfaat mesin pencari bergantung pada relevansi hasil-hasil yang diberikannya. Meskipun mungkin ada jutaan halaman web yang mengandung suatu kata atau frase, sebagian halaman mungkin lebih relevan, populer, atau autoritatif daripada yang lain. Kebanyakan mesin pencari menggunakan berbagai metode untuk menentukan peringkat hasil pencarian agar mampu memberikan hasil "terbaik" lebih dahulu. Cara mesin menentukan halaman mana yang paling sesuai, dan urutan halaman-halaman itu diperlihatkan, sangat bervariasi. Metode-metode nya juga berubah seiring waktu dengan berubahnya penggunaan internet dan berevolusinya teknik-teknik baru.
Sebagian besar mesin pencari web adalah usaha komersial yang didukung pemasukan iklan dan karenanya sebagian menjalankan praktik kontroversial, yaitu membolehkan pengiklan membayar agar halaman mereka diberi peringkat lebih tinggi dalam hasil pencarian.
Proses Pencarian
Melakukan pencarian dokumen yang dimuat pada suatu situs bisa begitu mudah dan kelihatannya mungkin sulit juga. apalagi mengignat begitu menyebarnya informasi dimana-mana, bahkan University of Calofornia menyebutkan saat ini telah terdapat lebih dari 50 milyar halaman web di internet, meskipun tidak ada ada satupun yang benar-benar tahu jumlah persisnya.
kesulitan yang mungkin terjadi adalah karena WWW tersebut tidak terdata dalam bentuk yang terstandarisasi isinya. tidak sama halnya dengan katalog yang ada di perpustakaan, yang memiliki standarisasi secara mendunia berdasarkan subjek dari judul buku, meskipun jumlahnya juga tidak sedikit.
Dalam pencarian di web, pengguna selalu memperkirakan kata apa yang di kira-kira terdapat pada halaman yang ingin anda temukan. atau kira-kira apa subjek yang dipilih oleh seseorang untuk mengelolah halaman situs yang mereka kelola, topik apa saja kira-kira yang di bahas.
Jika pengguna melakukan apa yang dikenal dengan pencarian pada halaman web, sebenarnya tidaklah melakukan pencarian. tidak mungkin melakukan pencarian di WWW secara langsung.
Pada web benar-benar terdiri dari banyak sekali halaman web yang ingin disimpan dari berbagai server diseluruh dunia. Komputer pengguna tidak langsung melakukan pencarian kepada seluruh komputer tersebut secara langsung.
Apa yang mungkin pengguna lakukan hanyalah melalui komputer untuk mengakses satu atau lebih perantara yang disebut dengan alat bantu pencarian yang ada saat ini. Melakukan pencarian pada alat bantu itu tadi ke database yang dimiliki. data base tersebut mengkoleksi situs-situs yang ditemukan dan simpan.
alat bantu pencarian ini menyediakan hasil pencarian dalam bentuk hypertext link dengan URL menuju halaman lainnya. ketika anda klik link ini, dan menuju ke alamat tersebut maka dokumen, gambar, suara dan banyak lagi bentuk lainnya yang ada pada server tersebut disediakan, sesuai dengan informasi yang terdapat di dalamnya. layanan ini bisa menjangkau ke manapun di seluruh dunia.
Tidak mungkin seseorang untuk melakukan pencarian ke seluruh komputer yang terhubung internet ini, atau bahkan alat bantu pencarian yang mengklaim bahwa melakukannya, tidak benar.
Kategori Alat Pencari
Saat ini, tiga bentuk dari alat bantu pencarian ini. Menggunakan strategi yang berbeda untuk memanfaatkan kemampuan potensial dari masing-masing nya, yaitu
Mesin pencari dan mesin pencari-meta
Karakteristik:
1. Menyimpan data dalam bentuk teks penuh pada halaman yang terpilih,
2. Pencarian berdasarkan kata kunci, mereka mencoba mencocokkan dengan tepat kata kunci tersebut dengan teks yang ada dalam dokumen,
3. Tidak perlu dilakukan browsing, dan tidak ada subjek dari kategori,
4. Database dijaring dan dikumpulkan oleh spidr, yaitu komputer yang memiliki program robot, dengan kemampuan seminimal mungkin dari pandangan atau sentuhan manusia,
5. Ukuran search engine:dari skala kecil hingga mampu menyimpan sangat banyak (sekitar hingga 20 milyar halaman web).
6. Meta-search engine dengan cepat melakukan pencarian ke dalam beberapa data base dari berbagai search engine dalam satu kali permintaan. hasilnya adalah daftar yang hasilnya dan penggabungan hasil pencarian dari beberapa mesin pencari yang mereka libatkan. Contoh : Search engine: Google, Yahoo Search, Ask.com. Meta-Search : Dogpile, Copernic, dan lainnya.
Subject Directories
1. Karakteristik :
2. Seleksi dari situs yang ada merupakan seleksi langsung yang dilakukan oleh manusia, kadang kala para ahli untuk subjek tertentu,
3. Sering dengan hati-hati dievaluasi dan menjaga keterbaruan informasi yang mereka miliki, namun tidak selalu, kadang-kadang tidak, terutama untuk mereka yang telah memiliki data yang banyak dan bersifat general,
4. Biasanya dikelola dalam bentuk subjek dan direktori yang tersusun secara hirarki,
5. Sering dilengkapi dengan catatan mengenai deskripsinya ( tidak untuk Yahoo),
6. Subjek dapat di-browse subjek dan kategorinya atau melakukan pencarian berdasarkan kata-kata tertentu,
7. Dokumen yang tidak penuh teks. pencarian diminta lebih spesifik dibandingkan dengan pencarian melalui mesin pencari, karena kata kunci tidak bisa dibandingkan dengan isi dari halaman suatu situs, melainkan hanya pada subjek, kategori-kategori, dan deskripsi.
8. Terdapat ribuan atau bahkan lebih subjek direktori dalam praktek dan kenyataannya apa saja yang dipikirkan di sana.
Specialized Databade (Invisible Web)
Karakteristik :
1. Merupakan web yang menyediakan akses melalui suatu kotak pencarian ke dalam isi database pada sebuah komputer di suatu tempat,
2. Dapat saja berubah berbagai topik, dapat pula juga hal yang komersial, pekerjaan yang spesifik, pemerintahan, dll
3. Juga terdiri dari banyak halaman yang menghasilkan hasil pencarian dari katalog direktori online.
Prinsip Umum Dari mesin pencari
Sistem kinerja mesin ini ada beberapa hal yang perlu di perhatikan terutama keterkaitannya dengan masalah arsitekrut dan mekanismenya.
Spider
Merupakan program yang men-download halaman-halaman yang mereka temukan, mirip dengan browser. Perbedannya adalah bahwa browser menapilkan secara langsung informasi yang ada (baik tekas, gambar, dll). Untuk kepentingan manusia yang menggunakannya pada saat itu, sedangkan spider tidak melakukan untuk menampulkan dalam bentuk yang terlihat seperti itu, karena kepentingannya adalah untuk mesin, bukan untuk manusia, spider pun dijalankan oleh mesin secara otomatis. Kepentingannya adalah untuk mengambil halaman-halaman yang dikunjunginya untuk disimpan kedalam database yang dimiliki oleh search engine.
Merupakan program yang men-download halaman-halaman yang mereka temukan, mirip dengan browser. Perbedannya adalah bahwa browser menapilkan secara langsung informasi yang ada (baik tekas, gambar, dll). Untuk kepentingan manusia yang menggunakannya pada saat itu, sedangkan spider tidak melakukan untuk menampulkan dalam bentuk yang terlihat seperti itu, karena kepentingannya adalah untuk mesin, bukan untuk manusia, spider pun dijalankan oleh mesin secara otomatis. Kepentingannya adalah untuk mengambil halaman-halaman yang dikunjunginya untuk disimpan kedalam database yang dimiliki oleh search engine.
Crawler
Merupakan program yang dimiliki search engine untuk melacak dan menemukan link yang terdapat dari setiap halaman yang ditemuinya. Tugasnya adalah untuk menentukan spoder harus pergi kemana dan mengevaluasi link berdasarkan alamat yang ditentukan dari awal. Crawler mengikuti link dan mencoba menemukan dokumen yang belum dikenal oleh search engine.
Merupakan program yang dimiliki search engine untuk melacak dan menemukan link yang terdapat dari setiap halaman yang ditemuinya. Tugasnya adalah untuk menentukan spoder harus pergi kemana dan mengevaluasi link berdasarkan alamat yang ditentukan dari awal. Crawler mengikuti link dan mencoba menemukan dokumen yang belum dikenal oleh search engine.
Indexer
Komponen ini melakukan aktifitas untuk menguraikan masing-masing halaman dan meneliti berbagai unsur, seperti teks, headers, struktur atau fitur dari gaya penulisan, tag HTML khusus, dll.
Database
Merupakan tempat standar untuk menyimpan data-data dari halaman yang telah dikunjungi, di-download dan sudah dianalisis. kadang kala disebut juga dengan index dari suatu search engine.
Result Engine
Mesin yang melakukan penggolongan dan penentuan peringkat dari hasil pencarian pada search engine. Mesin ini menentukan halaman mana yang menemui kriteria terbaik dari hasil pencarian berdasarkan permintaan penggunanya, dan bagaimana bentuk penampulan yang akan ditampilkan.
Proses ini dilaksanakan berdasarkan algoritma perangkingan yang dimiliki oleh search engine tersebut, mengikuti kaidah perangkingan hakaman yang dipergunakan oleh mereka adalah hak mereka, para peneliti mempelajari sifat-sifat yang mereka gunakan, terutama untuk meningkatkan pencarian yang dihasilkan oleh serach engine tersebut.
Web Server
Merupakan komponen yang melayani permintaan dan memberikan respon balik dari permintaan tersebut. Web Server ini biasanya menghasilkan informasi atau dokumen dalam format [[[HTML]]. Pada halaman tersebut tersedia layanan untuk mengisikan kata kunci pencarian yang diinginkan oleh usernya. Web Server ini juga bertanggung jawab dalam menyampaikan hasil pencarian yang dikirimkan kepada komputer yang meminta informasi.
Mesin pencari populer
Terdapat ratusan bahkan ribuan mesin pencari yang ada di internet, dan kapasitas mesin tersebut akan selalu tumbuh dari waktu ke waktu. Dari sebanyak itu, hanya sebagian kecil yang berpengaruh besar dalam lalulintas untuk pengantar pengunjungnya ke situs tersebut. untuk itu, harus pintar dalam memilih mereka yang tepat terutama dalam efisiensi dan efektifitas waktu yang anda miliki dalam mencapai sasaran yang diinginkan, karena situs yang tidak terlalu populer belum tentu akan berpengaruh besar terhadap pertumbuhanke situs yang dikelola. Apalagi juka pendaftaran situs-situs penyedia layanan pencarian tersebut dilakukan satu persatu, akan membuang waktu. Cara mudahnya, lebih baik menggunakan software pendaftar ke mesin pencari yang banyak beredar di internet, sehingga proses pendaftaran bisa dilakukan secara otomatis melalui software tersebut.
Berikut ini adalah beberapa mesin pencari:
1. Google ( http://www.google.com/ )
2. Yahoo ( http://www.yahoo.com/ )
3. Open Directory (http://www.dmoz.com/ )
4. MSN ( http://www.msn.com/ )
5. Live ( http://www.live.com )
6. Altavista ( http://www.altavista.com )
7. AOL ( http://www.aol.com )
8. Altheweb ( http://www.althweb.com )
9. Baidu ( http://www.baidu.com )
10. Looksmart ( http://www.looksmart.com )
Penggalian data
adalah ekstraksi pola yang menarik dari data dalam jumlah besar [1]. Suatu pola dikatakan menarik apabila pola tersebut tidak sepele, implisit, tidak diketahui sebelumnya, dan berguna. Pola yang disajikan haruslah mudah dipahami, berlaku untuk data yang akan diprediksi dengan derajat kepastian tertentu, berguna, dan baru. Penggalian data memiliki beberapa nama alternatif, meskipun definisi eksaknya berbeda, seperti KDD (knowledge discovery in database), analisis pola, arkeologi data, pemanenan informasi, dan intelegensia bisnis. Penggalian data diperlukan saat data yang tersedia terlalu banyak (misalnya data yang diperoleh dari sistem basis data perusahaan, e-commerce, data saham, dan data bioinformatika), tapi tidak tahu pola apa yang bisa didapatkan.
Daftar isi
Penggalian data adalah salah satu bagian dari proses pencarian pola. Berikut ini urutan proses pencarian pola:
1. Pembersihan Data: yaitu menghapus data pengganggu (noise) dan mengisi data yang hilang.
2. Integrasi Data: yaitu menggabungkan berbagai sumber data.
3. Pemilihan Data: yaitu memilih data yang relevan.
4. Transformasi Data: yaitu mentransformasi data ke dalam format untuk diproses dalam penggalian data.
5. Penggalian Data: yaitu menerapkan metode cerdas untuk ekstraksi pola.
6. Evaluasi pola: yaitu mengenali pola-pola yang menarik saja.
7. Penyajian pola: yaitu memvisualisasi pola ke pengguna.
Perkembangan yang pesat di bidang pengumpulan data dan teknologi penyimpanan di berbagai bidang, menghasilkan basis data yang terlampau besar. Namun, data yang dikumpulkan jarang dilihat lagi, karena terlalu panjang, membosankan, dan tidak menarik. Seringkali, keputusan -yang katanya berdasarkan data- dibuat tidak lagi berdasarkan data, melainkan dari intuisi para pembuat keputusan. Sehingga, lahirlah cabang ilmu penggalian data ini.
Analisis data tanpa menggunakan otomasi dari penggalian data adalah tidak memungkinkan lagi, kalau 1) data terlalu banyak, 2) dimensionalitas data terlalu besar, 3) data terlalu kompleks untuk dianalisis manual (misalnya: data time series, data spatiotemporal, data multimedia, data streams).
Teknik Penggalian Data
Pada dasarnya penggalian data dibedakan menjadi dua fungsionalitas, yaitu deskripsi dan prediksi. Berikut ini beberapa fungsionalitas penggalian data yang sering digunakan:
* Karakterisasi dan Diskriminasi: yaitu menggeneralisasi, merangkum, dan mengkontraskan karakteristik data.
* Penggalian pola berulang: yaitu pencarian pola asosiasi (association rule) atau pola intra-transaksi, atau pola pembelian yang terjadi dalam satu kali transaksi.
* Klasifikasi: yaitu membangun suatu model yang bisa mengklasifikasikan suatu objek berdasar atribut-atributnya. Kelas target sudah tersedia dalam data sebelumnya, sehingga fokusnya adalah bagaimana mempelajari data yang ada agar klasifikator bisa mengklasifikasikan sendiri.
* Prediksi: yaitu memprediksi nilai yang tidak diketahui atau nilai yang hilang, menggunakan model dari klasifikasi.
* Penggugusan/Cluster analysis: yaitu mengelompokkan sekumpulan objek data berdasarkan kemiripannya. Kelas target tidak tersedia dalam data sebelumnya, sehingga fokusnya adalah memaksimalkan kemiripan intrakelas dan meminimalkan kemiripan antarkelas.
* Analisis outlier: yaitu proses pengenalan data yang tidak sesuai dengan perilaku umum dari data lainnya. Contoh: mengenali noise dan pengecualian dalam data.
* Analisis trend dan evolusi: meliputi analisis regresi, penggalian pola sekuensial, analisis periodisitas, dan analisis berbasis kemiripan.
Berikut ini adalah 10 algoritma penggalian data yang paling populer berdasarkan konferensi ICDM '06, semua algoritma dinominasikan oleh para pemenang ACM KDD Innovation Award dan IEEE ICDM Research Contributions Award [2]:
1. C4.5
2. k-Means
3. SVM
4. Apriori
5. EM
6. PageRank
7. AdaBoost
8. kNN
9. Naive Bayes
Berikut ini adalah yang hanya masuk nominasi:
* CART
* FP-Tree
* HITS
* BIRCH
* GSP
* PrefixSpan
* CBA
* Finding Reduct
* gSpan
Penambangan teks
adalah proses ekstraksi pola berupa informasi dan pengetahuan yang berguna dari sejumlah besar sumber data teks, seperti dokumen Word, PDF, kutipan teks, dll. Jenis masukan untuk penambangan teks ini disebut data tak terstruktur dan merupakan pembeda utama dengan penambangan data yang menggunakan data terstruktur atau basis data sebagai masukan. Penambangan teks dapat dianggap sebagai proses dua tahap yang diawali dengan penerapan struktur terhadap sumber data teks dan dilanjutkan dengan ekstraksi informasi dan pengetahuan yang relevan dari data teks terstruktur ini dengan menggunakan teknik dan alat yang sama dengan penambangan data. Proses yang umum dilakukan oleh penambangan teks di antaranya adalah perangkuman otomatis, kategorisasi dokumen, penggugusan teks, dll. (Turban, et.al., 2011)
Komponen ini melakukan aktifitas untuk menguraikan masing-masing halaman dan meneliti berbagai unsur, seperti teks, headers, struktur atau fitur dari gaya penulisan, tag HTML khusus, dll.
Database
Merupakan tempat standar untuk menyimpan data-data dari halaman yang telah dikunjungi, di-download dan sudah dianalisis. kadang kala disebut juga dengan index dari suatu search engine.
Result Engine
Mesin yang melakukan penggolongan dan penentuan peringkat dari hasil pencarian pada search engine. Mesin ini menentukan halaman mana yang menemui kriteria terbaik dari hasil pencarian berdasarkan permintaan penggunanya, dan bagaimana bentuk penampulan yang akan ditampilkan.
Proses ini dilaksanakan berdasarkan algoritma perangkingan yang dimiliki oleh search engine tersebut, mengikuti kaidah perangkingan hakaman yang dipergunakan oleh mereka adalah hak mereka, para peneliti mempelajari sifat-sifat yang mereka gunakan, terutama untuk meningkatkan pencarian yang dihasilkan oleh serach engine tersebut.
Web Server
Merupakan komponen yang melayani permintaan dan memberikan respon balik dari permintaan tersebut. Web Server ini biasanya menghasilkan informasi atau dokumen dalam format [[[HTML]]. Pada halaman tersebut tersedia layanan untuk mengisikan kata kunci pencarian yang diinginkan oleh usernya. Web Server ini juga bertanggung jawab dalam menyampaikan hasil pencarian yang dikirimkan kepada komputer yang meminta informasi.
Mesin pencari populer
Terdapat ratusan bahkan ribuan mesin pencari yang ada di internet, dan kapasitas mesin tersebut akan selalu tumbuh dari waktu ke waktu. Dari sebanyak itu, hanya sebagian kecil yang berpengaruh besar dalam lalulintas untuk pengantar pengunjungnya ke situs tersebut. untuk itu, harus pintar dalam memilih mereka yang tepat terutama dalam efisiensi dan efektifitas waktu yang anda miliki dalam mencapai sasaran yang diinginkan, karena situs yang tidak terlalu populer belum tentu akan berpengaruh besar terhadap pertumbuhanke situs yang dikelola. Apalagi juka pendaftaran situs-situs penyedia layanan pencarian tersebut dilakukan satu persatu, akan membuang waktu. Cara mudahnya, lebih baik menggunakan software pendaftar ke mesin pencari yang banyak beredar di internet, sehingga proses pendaftaran bisa dilakukan secara otomatis melalui software tersebut.
Berikut ini adalah beberapa mesin pencari:
1. Google ( http://www.google.com/ )
2. Yahoo ( http://www.yahoo.com/ )
3. Open Directory (http://www.dmoz.com/ )
4. MSN ( http://www.msn.com/ )
5. Live ( http://www.live.com )
6. Altavista ( http://www.altavista.com )
7. AOL ( http://www.aol.com )
8. Altheweb ( http://www.althweb.com )
9. Baidu ( http://www.baidu.com )
10. Looksmart ( http://www.looksmart.com )
Penggalian data
adalah ekstraksi pola yang menarik dari data dalam jumlah besar [1]. Suatu pola dikatakan menarik apabila pola tersebut tidak sepele, implisit, tidak diketahui sebelumnya, dan berguna. Pola yang disajikan haruslah mudah dipahami, berlaku untuk data yang akan diprediksi dengan derajat kepastian tertentu, berguna, dan baru. Penggalian data memiliki beberapa nama alternatif, meskipun definisi eksaknya berbeda, seperti KDD (knowledge discovery in database), analisis pola, arkeologi data, pemanenan informasi, dan intelegensia bisnis. Penggalian data diperlukan saat data yang tersedia terlalu banyak (misalnya data yang diperoleh dari sistem basis data perusahaan, e-commerce, data saham, dan data bioinformatika), tapi tidak tahu pola apa yang bisa didapatkan.
Daftar isi
Penggalian data adalah salah satu bagian dari proses pencarian pola. Berikut ini urutan proses pencarian pola:
1. Pembersihan Data: yaitu menghapus data pengganggu (noise) dan mengisi data yang hilang.
2. Integrasi Data: yaitu menggabungkan berbagai sumber data.
3. Pemilihan Data: yaitu memilih data yang relevan.
4. Transformasi Data: yaitu mentransformasi data ke dalam format untuk diproses dalam penggalian data.
5. Penggalian Data: yaitu menerapkan metode cerdas untuk ekstraksi pola.
6. Evaluasi pola: yaitu mengenali pola-pola yang menarik saja.
7. Penyajian pola: yaitu memvisualisasi pola ke pengguna.
Perkembangan yang pesat di bidang pengumpulan data dan teknologi penyimpanan di berbagai bidang, menghasilkan basis data yang terlampau besar. Namun, data yang dikumpulkan jarang dilihat lagi, karena terlalu panjang, membosankan, dan tidak menarik. Seringkali, keputusan -yang katanya berdasarkan data- dibuat tidak lagi berdasarkan data, melainkan dari intuisi para pembuat keputusan. Sehingga, lahirlah cabang ilmu penggalian data ini.
Analisis data tanpa menggunakan otomasi dari penggalian data adalah tidak memungkinkan lagi, kalau 1) data terlalu banyak, 2) dimensionalitas data terlalu besar, 3) data terlalu kompleks untuk dianalisis manual (misalnya: data time series, data spatiotemporal, data multimedia, data streams).
Teknik Penggalian Data
Pada dasarnya penggalian data dibedakan menjadi dua fungsionalitas, yaitu deskripsi dan prediksi. Berikut ini beberapa fungsionalitas penggalian data yang sering digunakan:
* Karakterisasi dan Diskriminasi: yaitu menggeneralisasi, merangkum, dan mengkontraskan karakteristik data.
* Penggalian pola berulang: yaitu pencarian pola asosiasi (association rule) atau pola intra-transaksi, atau pola pembelian yang terjadi dalam satu kali transaksi.
* Klasifikasi: yaitu membangun suatu model yang bisa mengklasifikasikan suatu objek berdasar atribut-atributnya. Kelas target sudah tersedia dalam data sebelumnya, sehingga fokusnya adalah bagaimana mempelajari data yang ada agar klasifikator bisa mengklasifikasikan sendiri.
* Prediksi: yaitu memprediksi nilai yang tidak diketahui atau nilai yang hilang, menggunakan model dari klasifikasi.
* Penggugusan/Cluster analysis: yaitu mengelompokkan sekumpulan objek data berdasarkan kemiripannya. Kelas target tidak tersedia dalam data sebelumnya, sehingga fokusnya adalah memaksimalkan kemiripan intrakelas dan meminimalkan kemiripan antarkelas.
* Analisis outlier: yaitu proses pengenalan data yang tidak sesuai dengan perilaku umum dari data lainnya. Contoh: mengenali noise dan pengecualian dalam data.
* Analisis trend dan evolusi: meliputi analisis regresi, penggalian pola sekuensial, analisis periodisitas, dan analisis berbasis kemiripan.
Berikut ini adalah 10 algoritma penggalian data yang paling populer berdasarkan konferensi ICDM '06, semua algoritma dinominasikan oleh para pemenang ACM KDD Innovation Award dan IEEE ICDM Research Contributions Award [2]:
1. C4.5
2. k-Means
3. SVM
4. Apriori
5. EM
6. PageRank
7. AdaBoost
8. kNN
9. Naive Bayes
Berikut ini adalah yang hanya masuk nominasi:
* CART
* FP-Tree
* HITS
* BIRCH
* GSP
* PrefixSpan
* CBA
* Finding Reduct
* gSpan
Penambangan teks
adalah proses ekstraksi pola berupa informasi dan pengetahuan yang berguna dari sejumlah besar sumber data teks, seperti dokumen Word, PDF, kutipan teks, dll. Jenis masukan untuk penambangan teks ini disebut data tak terstruktur dan merupakan pembeda utama dengan penambangan data yang menggunakan data terstruktur atau basis data sebagai masukan. Penambangan teks dapat dianggap sebagai proses dua tahap yang diawali dengan penerapan struktur terhadap sumber data teks dan dilanjutkan dengan ekstraksi informasi dan pengetahuan yang relevan dari data teks terstruktur ini dengan menggunakan teknik dan alat yang sama dengan penambangan data. Proses yang umum dilakukan oleh penambangan teks di antaranya adalah perangkuman otomatis, kategorisasi dokumen, penggugusan teks, dll. (Turban, et.al., 2011)
sumber : wikipedia.com