PENGEMBANGAN APLIKASI MOBILE BI-CARA MENGGUNAKAN ALGORITMA LONG-SHORT TERM MEMORY DALAM BERKOMUNIKASI DENGAN BAHASA ISYARAT
Total View This Week0
Total View This Week0
Institusion
Politeknik Harapan Bersama
Author
Anitsa, Desty Nurul
Subject
T Technology
Datestamp
2024-08-30 09:19:33
Abstract :
Interaksi manusia dalam kehidupan sehari-hari sangat tergantung pada komunikasi. Penyandang disabilitas tunarungu dan tunawicara mengandalkan bahasa isyarat sebagai sarana komunikasi. Namun, kurangnya pemahaman individu normal terhadap bahasa isyarat menimbulkan kesulitan komunikasi. Studi ini mengevaluasi kemampuan tenaga kesehatan di Rumah Sakit Mitra Siaga Tegal dalam berkomunikasi dengan penyandang disabilitas tunarungu dan tunawicara. Hasilnya menunjukkan bahwa sebagian besar tenaga kesehatan tidak mengerti bahasa isyarat, menciptakan hambatan komunikasi. Oleh karena itu, dibutuhkan solusi berupa aplikasi Bi-Cara yang dapat menerjemahkan bahasa isyarat SIBI ke suara menggunakan teknologi Hand Gesture Recognition dan Text-to-Speech. Penelitian ini menggunakan Mediapipe untuk memberikan landmark atau titik point pada tangan dan algoritma Long Short-Term Memory (LSTM) untuk klasifikasi isyarat. Hasil pengujian dari 14 kelas isyarat SIBI menunjukkan akurasi evaluasi model LSTM sebesar 86,7%, dengan nilai loss sebesar 0,4, menunjukkan bahwa model berhasil mengklasifikasikan dengan benar sekitar 86,7% dari total data uji. Penelitian juga dilakukan pengujian fungsionalitas aplikasi menggunakan black box testing, dan pengujian implementasi model pada aplikasi dengan indikator cahaya dan jarak. Hasil pengujian tersebut didapatkan bahwa aplikasi dapat mengenali gestur tangan dengan baik pada saat cahaya terang maksimal dari lampu atau cahaya matahari dan dengan jarak 30 cm dan 50 cm. Kata Kunci : sistem isyarat bahasa indonesia, long short-term memory, hand gesture recognition, text-to-speech
Interaksi manusia dalam kehidupan sehari-hari sangat tergantung pada komunikasi. Penyandang disabilitas tunarungu dan tunawicara mengandalkan bahasa isyarat sebagai sarana komunikasi. Namun, kurangnya pemahaman individu normal terhadap bahasa isyarat menimbulkan kesulitan komunikasi. Studi ini mengevaluasi kemampuan tenaga kesehatan di Rumah Sakit Mitra Siaga Tegal dalam berkomunikasi dengan penyandang disabilitas tunarungu dan tunawicara. Hasilnya menunjukkan bahwa sebagian besar tenaga kesehatan tidak mengerti bahasa isyarat, menciptakan hambatan komunikasi. Oleh karena itu, dibutuhkan solusi berupa aplikasi Bi-Cara yang dapat menerjemahkan bahasa isyarat SIBI ke suara menggunakan teknologi Hand Gesture Recognition dan Text-to-Speech. Penelitian ini menggunakan Mediapipe untuk memberikan landmark atau titik point pada tangan dan algoritma Long Short-Term Memory (LSTM) untuk klasifikasi isyarat. Hasil pengujian dari 14 kelas isyarat SIBI menunjukkan akurasi evaluasi model LSTM sebesar 86,7%, dengan nilai loss sebesar 0,4, menunjukkan bahwa model berhasil mengklasifikasikan dengan benar sekitar 86,7% dari total data uji. Penelitian juga dilakukan pengujian fungsionalitas aplikasi menggunakan black box testing, dan pengujian implementasi model pada aplikasi dengan indikator cahaya dan jarak. Hasil pengujian tersebut didapatkan bahwa aplikasi dapat mengenali gestur tangan dengan baik pada saat cahaya terang maksimal dari lampu atau cahaya matahari dan dengan jarak 30 cm dan 50 cm. Kata Kunci : sistem isyarat bahasa indonesia, long short-term memory, hand gesture recognition, text-to-speech
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
