TA : Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe dan Resnet-50
Total View This Week0
Total View This Week0
Institusion
Universitas Dinamika
Author
Nofal Anam (STUDENT ID : 18410200050)
Heri Pratikno (LECTURER ID : 0716117302)
Yosefine Triwidyastuti (LECTURER ID : 0729038504)
Heri Pratikno (LECTURER ID : 0716117302)
Yosefine Triwidyastuti (LECTURER ID : 0729038504)
Subject
005 Computer programming, programs & data
Datestamp
2022-02-16 07:53:48
Abstract :
Bahasa isyarat menjadi alternatif yang sering digunakan oleh penyandang tuna rungu dan wicara untuk berkomunikasi. Namun cara tersebut sulit digunakan oleh mereka untuk berkomunikasi dengan orang normal, terutama yang belum belajar Bahasa isyarat. Sementara tetap perlu adanya interaksi dan komunikasi antara penyandang tuna rungu, wicara dengan orang normal. Penggunaan teknologi deep learning telah banyak diterapkan dalam berbagai hal, termasuk Bahasa isyarat. Pengembangan deep learning dalam ranah Bahasa isyarat masih berlanjut, termasuk dalam penelitian ini. Penulis melakukan penelitian terhadap metode Pre-trained Convolutional Neural Network model ResNet-50 untuk klasifikasi simbol Sistem Isyarat Bahasa Indonesia (SIBI). Penulis juga menggunakan teknologi Mediapipe Holistic yang dikembangkan oleh Google untuk mendeteksi posisi pose dan tangan dari setiap simbol isyarat, sehingga lebih mudah membedakan gerakan simbol. Telah dibuat 1200 citra gambar yang terdiri dari 6 class sebagai dataset dengan pembagian 960 untuk training, 180 validasi, dan 60 testing. Hasil dari proses training menggunakan ResNet-50 mendapatkan akurasi training 33% dan akurasi validation 40%, dengan adanya penambahan Medipapipe telah meningkatkan nilai akurasi training menjadi 88% dan akurasi validation 87%. Sehingga telah terjadi peningkatan nilai akurasi training sebesar 55% dan akurasi validation sebesar 47%. Perhitungan performance metrics menggunakan Mediapipe dan ResNet-50 telah menghasilkan nilai performa rata-rata keenam simbol sebagai berikut: precission 86%, recall 86%, dan F1-score 85%. Sedangkan akurasi testing menggunakan Mediapipe dan ResNet-50 mempunyai nilai persentase setiap simbol sebagai berikut: ?Aku? 90%, ?Cinta? 100%, ?Dia? 100%, ?Kamu? 50%, ?Maaf? 100%, dan ?Sedih? 80%.
Bahasa isyarat menjadi alternatif yang sering digunakan oleh penyandang tuna rungu dan wicara untuk berkomunikasi. Namun cara tersebut sulit digunakan oleh mereka untuk berkomunikasi dengan orang normal, terutama yang belum belajar Bahasa isyarat. Sementara tetap perlu adanya interaksi dan komunikasi antara penyandang tuna rungu, wicara dengan orang normal. Penggunaan teknologi deep learning telah banyak diterapkan dalam berbagai hal, termasuk Bahasa isyarat. Pengembangan deep learning dalam ranah Bahasa isyarat masih berlanjut, termasuk dalam penelitian ini. Penulis melakukan penelitian terhadap metode Pre-trained Convolutional Neural Network model ResNet-50 untuk klasifikasi simbol Sistem Isyarat Bahasa Indonesia (SIBI). Penulis juga menggunakan teknologi Mediapipe Holistic yang dikembangkan oleh Google untuk mendeteksi posisi pose dan tangan dari setiap simbol isyarat, sehingga lebih mudah membedakan gerakan simbol. Telah dibuat 1200 citra gambar yang terdiri dari 6 class sebagai dataset dengan pembagian 960 untuk training, 180 validasi, dan 60 testing. Hasil dari proses training menggunakan ResNet-50 mendapatkan akurasi training 33% dan akurasi validation 40%, dengan adanya penambahan Medipapipe telah meningkatkan nilai akurasi training menjadi 88% dan akurasi validation 87%. Sehingga telah terjadi peningkatan nilai akurasi training sebesar 55% dan akurasi validation sebesar 47%. Perhitungan performance metrics menggunakan Mediapipe dan ResNet-50 telah menghasilkan nilai performa rata-rata keenam simbol sebagai berikut: precission 86%, recall 86%, dan F1-score 85%. Sedangkan akurasi testing menggunakan Mediapipe dan ResNet-50 mempunyai nilai persentase setiap simbol sebagai berikut: ?Aku? 90%, ?Cinta? 100%, ?Dia? 100%, ?Kamu? 50%, ?Maaf? 100%, dan ?Sedih? 80%.
Download
book
BibTex
Latex, Jabref
cloud_download
Original Resource
url resource Institution
