PERBANDINGAN TEKNIK WEB SCRAPING: CSS SELECTOR, HTML
DOM, REGULAR EXPRESSION DAN XPATH DENGAN
IMPLEMENTASI MULTIPROCESSING
Total View This Week0
Total View This Week0
Institusion
Universitas Siliwangi
Author
Maulana, Muhamad
Subject
T Technology (General)
Datestamp
2023-08-29 02:05:00
Abstract :
Pengumpulan data sudah menjadi berbagai kebutuhan pada saat ini, terlebih banyaknya sumber data di internet yang beragam. Data extraction atau proses pengambilan data dari internet dikenal juga dengan sebutan web scraping. Beberapa teknik web scraping diantaranya: CSS Selector, HTML DOM, Regular Expression (Regex) dan XPath. Banyaknya jumlah data yang bersebaran di internet akan cukup memakan waktu bila dilakukan web scraping dalam skala besar. Hadirnya berbagai inovasi baru menjadi sebuah solusi yang dapat digunakan, dengan adanya sistem paralel sebuah pekerjaan dapat diselesaikan dengan lebih cepat dan sistem paralel tersebut dapat dilakukan oleh multiprocessing. Penelitian ini bertujuan untuk mengetahui kinerja metode web scraping dengan implementasi multiprocessing didalamnya. Pengujian dilakukan terhadap masing-masing metode dengan cara melakukan sebuah proses scraping, kemudian diukur kinerja dari proses tersebut dan dibandingkan. Jumlah objek data yang didapat, penggunaan CPU, penggunaan memori, waktu proses dan penggunaan bandwith network dijadikan parameter pengukuran dalam percobaan. Hasil percobaan menunjukkanXPath 10,31% lebih cepat dalam melakukan proses dan memiliki perbandingan hasil yang tidak terlalu jauh pada parameter penggunaan memori dengan score 351.642 bytes untuk XPath dan 334.438 untuk CSS Selector. Kata Kunci: CSS Selector, HTML DOM,, Multiprocessing, Regex, Web Scraping , XPath
Pengumpulan data sudah menjadi berbagai kebutuhan pada saat ini, terlebih banyaknya sumber data di internet yang beragam. Data extraction atau proses pengambilan data dari internet dikenal juga dengan sebutan web scraping. Beberapa teknik web scraping diantaranya: CSS Selector, HTML DOM, Regular Expression (Regex) dan XPath. Banyaknya jumlah data yang bersebaran di internet akan cukup memakan waktu bila dilakukan web scraping dalam skala besar. Hadirnya berbagai inovasi baru menjadi sebuah solusi yang dapat digunakan, dengan adanya sistem paralel sebuah pekerjaan dapat diselesaikan dengan lebih cepat dan sistem paralel tersebut dapat dilakukan oleh multiprocessing. Penelitian ini bertujuan untuk mengetahui kinerja metode web scraping dengan implementasi multiprocessing didalamnya. Pengujian dilakukan terhadap masing-masing metode dengan cara melakukan sebuah proses scraping, kemudian diukur kinerja dari proses tersebut dan dibandingkan. Jumlah objek data yang didapat, penggunaan CPU, penggunaan memori, waktu proses dan penggunaan bandwith network dijadikan parameter pengukuran dalam percobaan. Hasil percobaan menunjukkanXPath 10,31% lebih cepat dalam melakukan proses dan memiliki perbandingan hasil yang tidak terlalu jauh pada parameter penggunaan memori dengan score 351.642 bytes untuk XPath dan 334.438 untuk CSS Selector. Kata Kunci: CSS Selector, HTML DOM,, Multiprocessing, Regex, Web Scraping , XPath
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
