PENDETEKSIAN BAHASA ISYARAT INDONESIA SECARA REAL-TIME MENGGUNAKAN LONG SHORT-TERM MEMORY (LSTM)

Abstract

Bahasa Isyarat Indonesia (BISINDO) adalah salah satu cara teman Tuli untuk berkomunikasi. BISINDO muncul secara alami dari interaksi Tuli dengan lingkungannya dan dikenal sebagai budaya Tuli di Indonesia. Namun saat ini terdapat kendala dalam berkomunikasi antar teman Tuli dengan teman dengar dalam menggunakan fasilitas publik dikarenakan petugas pada pelayanan publik tersebut tidak dapat mengerti apa yang disampaikan oleh teman Tuli. Penelitian ini bertujuan untuk menjadi alat penghubung komunikasi satu arah antar teman Tuli dengan teman dengar yang diharapkan dapat mempermudah dalam berkomunikasi. Sistem yang dihasilkan akan mengklasifikasi dan mendeteksi gestur dari kosakata isyarat BISINDO secara langsung yang dikonversi menjadi sebuah teks. Klasifikasi BISINDO pada penelitian ini menggunakan metode Long short-term memory (LSTM) dan Mediapipe Holistic untuk mendeteksi kerangka pada tangan, wajah dan badan. Objek yang digunakan pada penelitian ini merupakan 30 kosakata isyarat BISINDO yang sering digunakan teman Tuli. Dari hasil evaluasi deteksi real-time penelitian ini mendapatkan akurasi sebanyak 92% untuk model 10 kelas dengan bidirectional layer LSTM, epoch 1000, hidden layer 64, batch size 32 dan mendapatkan akurasi sebanyak 65% untuk model 30 kelas dengan 2 layer LSTM epoch 500, hidden layer 64, batch size 64.