RANCANG BANGUN APLIKASI PENGENALAN EMOSI BERDASARKAN HIGH LEVEL STATISTICAL FUNCTION DARI SPECTRAL FEATURES DENGAN MACHINE LEARNING
Total View This Week0
Total View This Week0
Institusion
Institut Teknologi Kalimantan
Author
Priambodo, Arjun
Subject
TK Electrical engineering. Electronics Nuclear engineering
Datestamp
2023-07-21 05:51:56
Abstract :
Emosi merupakan bagian dari diri manusia yang dirasakan setiap harinya. Gangguan emosi tentunya membuat seseorang tidak bisa menjalani kesehariannya dengan normal seperti manusia pada umumnya. Pendeteksian emosi butuh dilakukan untuk membantu para pakar psikologi dalam menangani gangguan emosi. Maka dari itu akan dilakukan penelitian Speech Emotion Recognition dengan sistem realtime untuk mempermudah berbagai bidang yang membutuhkan manfaat dari teknologi ini. Aplikasi akan dibuat dengan metode High Level Statistical Function sebagai fitur ekstraksi dan Multi layer perceptron sebagai klasifikator. Langkah awal dilakukan training & testing dataset RAVDESS Speech Audio Emotion Sample agar didapatkan hasil akurasi terbaik. Dataset berisi audio dari pembicara yang berintonasi emosi berupa emosi natural, kalem, senang, sedih, marah, tenang, jijik, dan terkejut. Kombinasi fitur ekstraksi high-statistical function dilakukan dengan variasi pengurangan 1 fitur dari 5 fitur yang digunakan pada dataset. Hasil dari kombinasi fitur yang didapatkan yaitu pada penggunan 1 fitur mendapatkan hasil akurasi 72.2%, 2 fitur mendapatkan hasil 77.0%, 3 fitur mendapatkan hasil 71.5%, 4 fitur mendapatkan hasil 77.7%, dan 5 fitur mendapatkan hasil 77.7%. Karena pada kombinasi pada 5 fitur mendapatkan hasil akurasi tertinggi, maka aplikasi yang dibuat akan menggunakankombinasi 5 fitur ekstraksi yaitu MFCC, Chroma, Mel, Contrast, dan Tonnetz. Model klasifikasi yang digunakan yaitu Machine Learning Artificial Neural Network Multi-Layer Perceptron. Model ini menggunakan Hidden Layer sebanyak 3 lapis dan 256 pada setiap titiknya. Perekaman audio secara langsung juga dibuat pada aplikasi dengan menggunakan pyaudio. Setelah program perekaman dibuat, maka dilanjutkan dengan pembuatan GUI menggunakan framework Kivy. Aplikasi telah dibuat dan dapat berjalan sesuai dengan penggunaan fitur ekstraksi seta model klasifikasi. Pengujian aplikasi dilakukan pada 20 responden yaitu 10 orang pria dan 10 orang wanita. Nilai hasil rata-rata akurasi tiap emosi pada pria yaitu natural 27.74%, kalem 18.77%, senang 21.42%, sedih 18.02%, marah 21.83%, tenang 18.12%, jijik 20.53%, dan terkejut 23.84%. Sedangkan nilai hasil rata-rata pada wanita tiap emosinya yaitu natural 19.67%, kalem 16.63%, senang 21.66%, sedih 19.32%, marah 16.19%, tenang 19.28%, jijik 18.91%, dan terkejut 15.29%.
Emosi merupakan bagian dari diri manusia yang dirasakan setiap harinya. Gangguan emosi tentunya membuat seseorang tidak bisa menjalani kesehariannya dengan normal seperti manusia pada umumnya. Pendeteksian emosi butuh dilakukan untuk membantu para pakar psikologi dalam menangani gangguan emosi. Maka dari itu akan dilakukan penelitian Speech Emotion Recognition dengan sistem realtime untuk mempermudah berbagai bidang yang membutuhkan manfaat dari teknologi ini. Aplikasi akan dibuat dengan metode High Level Statistical Function sebagai fitur ekstraksi dan Multi layer perceptron sebagai klasifikator. Langkah awal dilakukan training & testing dataset RAVDESS Speech Audio Emotion Sample agar didapatkan hasil akurasi terbaik. Dataset berisi audio dari pembicara yang berintonasi emosi berupa emosi natural, kalem, senang, sedih, marah, tenang, jijik, dan terkejut. Kombinasi fitur ekstraksi high-statistical function dilakukan dengan variasi pengurangan 1 fitur dari 5 fitur yang digunakan pada dataset. Hasil dari kombinasi fitur yang didapatkan yaitu pada penggunan 1 fitur mendapatkan hasil akurasi 72.2%, 2 fitur mendapatkan hasil 77.0%, 3 fitur mendapatkan hasil 71.5%, 4 fitur mendapatkan hasil 77.7%, dan 5 fitur mendapatkan hasil 77.7%. Karena pada kombinasi pada 5 fitur mendapatkan hasil akurasi tertinggi, maka aplikasi yang dibuat akan menggunakankombinasi 5 fitur ekstraksi yaitu MFCC, Chroma, Mel, Contrast, dan Tonnetz. Model klasifikasi yang digunakan yaitu Machine Learning Artificial Neural Network Multi-Layer Perceptron. Model ini menggunakan Hidden Layer sebanyak 3 lapis dan 256 pada setiap titiknya. Perekaman audio secara langsung juga dibuat pada aplikasi dengan menggunakan pyaudio. Setelah program perekaman dibuat, maka dilanjutkan dengan pembuatan GUI menggunakan framework Kivy. Aplikasi telah dibuat dan dapat berjalan sesuai dengan penggunaan fitur ekstraksi seta model klasifikasi. Pengujian aplikasi dilakukan pada 20 responden yaitu 10 orang pria dan 10 orang wanita. Nilai hasil rata-rata akurasi tiap emosi pada pria yaitu natural 27.74%, kalem 18.77%, senang 21.42%, sedih 18.02%, marah 21.83%, tenang 18.12%, jijik 20.53%, dan terkejut 23.84%. Sedangkan nilai hasil rata-rata pada wanita tiap emosinya yaitu natural 19.67%, kalem 16.63%, senang 21.66%, sedih 19.32%, marah 16.19%, tenang 19.28%, jijik 18.91%, dan terkejut 15.29%.
File :
04181016_cover.pdf
04181016_statement_of_authenticity.pdf
04181016_notations.pdf
04181016_chapter_1.pdf
04181016_chapter_2.pdf
04181016_chapter_3.pdf
04181016_chapter_4.pdf
04181016_conclusion.pdf
04181016_blibliography.pdf
04181016_enclosure.pdf
04181016_paper.pdf
04181016_presentation.pdf
04181016_publishing_agreement.pdf
04181016_Form. TA-020.pdf
04181016_approval_sheet.pdf
04181016_preface.pdf
04181016_abstract_id.pdf
04181016_abstract_en.pdf
04181016_Illustration.pdf
04181016_table_of_content.pdf
04181016_tables.pdf
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
