Rancang Bangun Perangkat Penerjemah Bahasa Isyarat SIBI Berbasis Convolutional Neural Network Pada Raspberry Pi

Abstrak

Penyandang tunarungu mengalami keterbatasan dalam berkomunikasi dengan masyarakat non-disabilitas akibat keterbatasan pendengaran. Bahasa isyarat menjadi media utama bagi tunarungu, khususnya Sistem Isyarat Bahasa Indonesia (SIBI) yang digunakan secara resmi di Indonesia. Namun rendahnya pemahaman masyarakat terhadap bahasa isyarat SIBI menimbulkan keterbatasan komunikasi dan ketergantungan pada interpreter. Penelitian ini bertujuan untuk merancang dan membangun perangkat penerjemah bahasa isyarat SIBI berbasis Convolutional Neural Network (CNN) menggunakan Raspberry Pi. Perangkat ini memanfaatkan modul kamera sebagai sensor untuk menangkap data citra pola tangan, kemudian mengolah data citra tersebut menggunakan metode CNN untuk mempelajari pola angka, huruf, dan kosakata dasar SIBI, lalu menerjemahkannya ke dalam bentuk teks pada LCD yang dapat dipahami oleh pengguna umum. Penelitian ini menggunakan empat tahapan, yaitu pengambilan dataset pada 86 kelas sebanyak 17.220 data citra pola tangan sesuai dengan kamus SIBI, preprocessing, pelatihan model, dan pengujian pola tangan pada Raspberry Pi. Hasil pengujian menunjukkan bahwa perangkat yang dibangun mampu menangkap, mengenali, dan menerjemahkan pola tangan yang terbaca pada kamera. Namun, ketika dilakukan pengujian dua pola tangan secara bersamaan, sistem masih belum mampu menerjemahkan keduanya secara simultan karena sistem membaca dua pola tangan tersebut sebagai pola yang cukup mirip sehingga terjadi kesalahan dalam penerjemahan