Optimasi Etl Pada Perangkat Lunak Data Mart Di PT. Mabra Technology
Total View This Week0
Total View This Week0
Institusion
Universitas Komputer Indonesia
Author
Iriyanto, Tryan Gilang Pratama
Subject
004_Data Processing & Computer Science
Datestamp
2021-07-26 07:30:35
Abstract :
Proses ETL pada data mart atau data warehouse merupakan prosedur mengekstraksi data dari sumber(extract) lalu mengubahnya ke dalam bentuk sesuai dengan yang diharapkan(transform) dan menyimpannya ke dalam data mart (load). ETL umumnya merupakan proses batch dimana sistem akan melakukan ekstraksi terhadap keseluruhan data sumber dan mengubahnya [3], [4]. Proses batch ini dapat memakan waktu yang lama dan memakan sumber daya komputasi yang besar mengakibatkan ETL hanya dapat dijalankan dalam waktu-waktu tertentu. Hal ini dapat mengganggu sistem operasional yang berjalan karena memakan sumber daya yang besar dan waktu yang lama sehingga menjadi permasalahan apabila data yang diproses diperlukan secara real-time. Optimasi terhadap proses ETL dimaksud untuk mengurangi penggunaan sumber daya dan waktu dengan menghindari proses batch dengan menggunakan metode Change Data Capture (CDC). Metode ini menangkap setiap penambahan atau perubahan pada record di sumber data dalam bentu log lalu mengirim data perubahan tersebut ke antrian di message broker untuk diproses lebih lanjut. Berdasarkan hasil pengujian yang telah dilakukan dapat disimpulkan bahwa proses ETL dengan metode Change Data Capture ini dapat mengurangi penggunaan sumber daya dan waktu secara signifikan, dan secara efektif memperbarui data yang ada pada data mart.
Proses ETL pada data mart atau data warehouse merupakan prosedur mengekstraksi data dari sumber(extract) lalu mengubahnya ke dalam bentuk sesuai dengan yang diharapkan(transform) dan menyimpannya ke dalam data mart (load). ETL umumnya merupakan proses batch dimana sistem akan melakukan ekstraksi terhadap keseluruhan data sumber dan mengubahnya [3], [4]. Proses batch ini dapat memakan waktu yang lama dan memakan sumber daya komputasi yang besar mengakibatkan ETL hanya dapat dijalankan dalam waktu-waktu tertentu. Hal ini dapat mengganggu sistem operasional yang berjalan karena memakan sumber daya yang besar dan waktu yang lama sehingga menjadi permasalahan apabila data yang diproses diperlukan secara real-time. Optimasi terhadap proses ETL dimaksud untuk mengurangi penggunaan sumber daya dan waktu dengan menghindari proses batch dengan menggunakan metode Change Data Capture (CDC). Metode ini menangkap setiap penambahan atau perubahan pada record di sumber data dalam bentu log lalu mengirim data perubahan tersebut ke antrian di message broker untuk diproses lebih lanjut. Berdasarkan hasil pengujian yang telah dilakukan dapat disimpulkan bahwa proses ETL dengan metode Change Data Capture ini dapat mengurangi penggunaan sumber daya dan waktu secara signifikan, dan secara efektif memperbarui data yang ada pada data mart.
File :
UNIKOM_Tryan Gilang Pratama Iriyanto_COVER.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_LEMBAR PENGESAHAN.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_BAB 5.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_DAFTAR PUSTAKA.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_LAMPIRAN KONTAK PENULIS DAN KONTRIBUTOR.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_SURAT KETERANGAN PUBLIKASI.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_SURAT KETERANGAN ORISINALITAS.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_KATA PENGANTAR.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_DAFTAR ISI.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_BAB 1.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_BAB 2.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_BAB 3.pdf
UNIKOM_Tryan Gilang Pratama Iriyanto_BAB 4.pdf
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
