LIP-SYNC KARAKTER ANIMASI MENGGUNAKAN HIDDEN MARKOV MODEL

Abstract

Ketika berbicara manusia menggerakkan bibir untuk mengucapkan huruf atau kata. Model bibir ini menggambarkan suatu viseme (visual phoneme). Visual phoneme atau visual fonem adalah bentuk bibir ketika mengucapkan suatu fonem. Bentuk bibir tersebut dapat digolongkan berdasarkan model bibir yang mirip, meskipun suara yang ditimbulkan berbeda. Konsonan konsonan tersebut terdapat pada satu golongan yang sama. Gerakan bibir juga dipengaruhi oleh bentuk koartikulasi dalam suatu kata dan kalimat. Koartikulasi muncul dari pertukaran bentuk bibir ketika mengucapkan fonem yang berurutan. Gerakan mulut /bibir selama berbicara merupakan komponen penting dari animasi wajah. Banyak dijumpai gerak mulut model karakter animasi ketika berbicara sering terlihat tidak sesuai dengan suara yang dikeluarkan. Biasanya gerak mulut relatif lebih cepat sehingga hasil gerakan bibir sebuah model karakter saat berbicara menjadi tidak realistis.  Sangat dibutuhkan sebuah teknik singkronisasi suara  yang bisa membuat model karakter animasi mampu menyelaraskan gerak bibir dengan kata atau kalimat yang dibunyikan secara otomatis. Proses singkronisasi  gerak bibir pada penelitian ini menggunakan shape matching dengan algoritma Hidden Markov Model (HMM). Dari permasalahan tersebut maka permasalahan dapat rumuskan adalah bagaimana mendesain bentuk mulut yang sesuai dengan Shape Priston Blair, bagaimana mensegmentasi suara dan teks dan bagaimana mendapatkan kecocokan bentuk mulut dengan suara  menggunakan algoritma Hidden Markov Model (HMM). Algoritma HMM menggunakan prinsip-prinsip rantai markov yaitu ucapan masukan akan dibandingkan (dihitung probabilitasnya) dengan parameter ucapan yang sudah dimodelkan. Nilai koefisien HMM  dari bentuk bibir yang aktif dalam singkronisasi gerak bibir untuk kata Selamat Datang adalah ect adalah sebesar 0.8 untuk Se, ect sebesar 0.193.  L sebesar 0.502,   dan WQ sebesar  0.193 untuk phonem La,  ect sebesar 0.4, L sebesar 0.026, dan MBP sebesar 0.8 untuk phoneme Mat, E sebesar 0.8 dan ect sebesar 0.193 untuk phoneme Da, dan Rest sebesar 0.8 untuk phoneme Tang.