APLIKASI PENGENALAN HURUF ABJAD BAHASA ISYARAT
MENGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK
(CNN) BERBASIS REACT JS
Total View This Week0
Total View This Week0
Institusion
Universitas PGRI Semarang
Author
AFANDI, KHOIR
Subject
L Education (General)
Datestamp
2024-08-12 03:37:36
Abstract :
Komunikasi merupakan hal yang sangat penting bagi manusia untuk berinteraksi dan menyampaikan informasi. Namun, bagi penyandang tuna rungu dan tuna wicara, komunikasi menjadi tantangan karena mereka menggunakan bahasa isyarat sebagai alat komunikasi. Bahasa Isyarat Indonesia (BISINDO) adalah bahasa isyarat yang umum digunakan di Indonesia, tetapi banyak orang normal yang tidak memahaminya, sehingga menyulitkan komunikasi antara kedua kelompok ini. Penelitian ini mengembangkan sebuah aplikasi pengenalan huruf abjad bahasa isyarat menggunakan metode Convolutional Neural Network (CNN) yang bertujuan untuk memudahkan komunikasi antara penyandang tuna rungu dan tuna wicara dengan orang normal. Penelitian ini membatasi fokus pada penerjemahan dan pengenala huruf abjad dalam Bahasa Isyarat Indonesia (BISINDO) menggunakan metode CNN berbasis framework React JS untuk antarmuka pengguna. Dengan menggunakan dataset gambar bahasa isyarat, CNN dilatih untuk mengenali pola isyarat dan menerjemahkannya ke dalam huruf yang sesuai. Hasil proses pelatihan model untuk pengenalan huruf abjad Bahasa Isyarat BISINDO menggunakan metode CNN menghasilkan akurasi sebesar 96%, dan akurasi validasi sebesar 90%. Pelatihan model ini menggunakan teknik transfer learning MobileNetV2 dengan dataset training sebanyak 7.800 gambar (80%) dan validasi sebanyak 1.950 gambar (20%). Faktor-faktor seperti pencahayaan, dan variasi gestur memang mempengaruhi akurasi pengenalan, namun secara keseluruhan sistem ini mampu memberikan kontribusi signifikan dalam meningkatkan aksesibilitas komunikasi bagi penyandang tuna rungu dan tuna wicara. Penelitian ini diharapkan dapat mengurangi kesenjangan komunikasi dan menjadi landasan untuk inovasi masa depan dalam teknologi bantu bagi disabilitas. Dalam pengujian pada aplikasi pengenalan huruf abjad bahasa isyarat menggunakan metode Convolutional Neural Network (CNN) ini mengunakan 3 pengujian black box, white box dan UAT (User Acceptance Testing). Pada black box dilakukan pada 3 dosen informatika menghasilkan keberhasilan 100%, white box menghasilkan hasil 100% keberhasilan dan mendapatkan 2 independent path, dan yang terakhir pengujian UAT menghasilan 95.2% dari 5 responden dengan 10 pertanyaan. Kata kunci: Convolutional Neural Network, Bahasa Isyarat Indonesia, MobileNetV2, Transfer Learning, Aplikasi Penerjemah black box, white box dan UAT (User Acceptance Testing).
Komunikasi merupakan hal yang sangat penting bagi manusia untuk berinteraksi dan menyampaikan informasi. Namun, bagi penyandang tuna rungu dan tuna wicara, komunikasi menjadi tantangan karena mereka menggunakan bahasa isyarat sebagai alat komunikasi. Bahasa Isyarat Indonesia (BISINDO) adalah bahasa isyarat yang umum digunakan di Indonesia, tetapi banyak orang normal yang tidak memahaminya, sehingga menyulitkan komunikasi antara kedua kelompok ini. Penelitian ini mengembangkan sebuah aplikasi pengenalan huruf abjad bahasa isyarat menggunakan metode Convolutional Neural Network (CNN) yang bertujuan untuk memudahkan komunikasi antara penyandang tuna rungu dan tuna wicara dengan orang normal. Penelitian ini membatasi fokus pada penerjemahan dan pengenala huruf abjad dalam Bahasa Isyarat Indonesia (BISINDO) menggunakan metode CNN berbasis framework React JS untuk antarmuka pengguna. Dengan menggunakan dataset gambar bahasa isyarat, CNN dilatih untuk mengenali pola isyarat dan menerjemahkannya ke dalam huruf yang sesuai. Hasil proses pelatihan model untuk pengenalan huruf abjad Bahasa Isyarat BISINDO menggunakan metode CNN menghasilkan akurasi sebesar 96%, dan akurasi validasi sebesar 90%. Pelatihan model ini menggunakan teknik transfer learning MobileNetV2 dengan dataset training sebanyak 7.800 gambar (80%) dan validasi sebanyak 1.950 gambar (20%). Faktor-faktor seperti pencahayaan, dan variasi gestur memang mempengaruhi akurasi pengenalan, namun secara keseluruhan sistem ini mampu memberikan kontribusi signifikan dalam meningkatkan aksesibilitas komunikasi bagi penyandang tuna rungu dan tuna wicara. Penelitian ini diharapkan dapat mengurangi kesenjangan komunikasi dan menjadi landasan untuk inovasi masa depan dalam teknologi bantu bagi disabilitas. Dalam pengujian pada aplikasi pengenalan huruf abjad bahasa isyarat menggunakan metode Convolutional Neural Network (CNN) ini mengunakan 3 pengujian black box, white box dan UAT (User Acceptance Testing). Pada black box dilakukan pada 3 dosen informatika menghasilkan keberhasilan 100%, white box menghasilkan hasil 100% keberhasilan dan mendapatkan 2 independent path, dan yang terakhir pengujian UAT menghasilan 95.2% dari 5 responden dengan 10 pertanyaan. Kata kunci: Convolutional Neural Network, Bahasa Isyarat Indonesia, MobileNetV2, Transfer Learning, Aplikasi Penerjemah black box, white box dan UAT (User Acceptance Testing).
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
