LIP-SYNC KARAKTER ANIMASI MENGGUNAKAN HIDDEN MARKOV MODEL
DOI:
https://doi.org/10.29103/techsi.v8i1.118Abstract
Ketika berbicara manusia menggerakkan bibir untuk mengucapkan huruf atau kata. Model bibir ini menggambarkan suatu viseme (visual phoneme). Visual phoneme atau visual fonem adalah bentuk bibir ketika mengucapkan suatu fonem. Bentuk bibir tersebut dapat digolongkan berdasarkan model bibir yang mirip, meskipun suara yang ditimbulkan berbeda. Konsonan konsonan tersebut terdapat pada satu golongan yang sama. Gerakan bibir juga dipengaruhi oleh bentuk koartikulasi dalam suatu kata dan kalimat. Koartikulasi muncul dari pertukaran bentuk bibir ketika mengucapkan fonem yang berurutan. Gerakan mulut /bibir selama berbicara merupakan komponen penting dari animasi wajah. Banyak dijumpai gerak mulut model karakter animasi ketika berbicara sering terlihat tidak sesuai dengan suara yang dikeluarkan. Biasanya gerak mulut relatif lebih cepat sehingga hasil gerakan bibir sebuah model karakter saat berbicara menjadi tidak realistis. Sangat dibutuhkan sebuah teknik singkronisasi suara yang bisa membuat model karakter animasi mampu menyelaraskan gerak bibir dengan kata atau kalimat yang dibunyikan secara otomatis. Proses singkronisasi gerak bibir pada penelitian ini menggunakan shape matching dengan algoritma Hidden Markov Model (HMM). Dari permasalahan tersebut maka permasalahan dapat rumuskan adalah bagaimana mendesain bentuk mulut yang sesuai dengan Shape Priston Blair, bagaimana mensegmentasi suara dan teks dan bagaimana mendapatkan kecocokan bentuk mulut dengan suara menggunakan algoritma Hidden Markov Model (HMM). Algoritma HMM menggunakan prinsip-prinsip rantai markov yaitu ucapan masukan akan dibandingkan (dihitung probabilitasnya) dengan parameter ucapan yang sudah dimodelkan. Nilai koefisien HMM dari bentuk bibir yang aktif dalam singkronisasi gerak bibir untuk kata Selamat Datang adalah ect adalah sebesar 0.8 untuk Se, ect sebesar 0.193. L sebesar 0.502, dan WQ sebesar 0.193 untuk phonem La, ect sebesar 0.4, L sebesar 0.026, dan MBP sebesar 0.8 untuk phoneme Mat, E sebesar 0.8 dan ect sebesar 0.193 untuk phoneme Da, dan Rest sebesar 0.8 untuk phoneme Tang.
References
Chen, Y.-M., 2012. Animating Lip-Sync Character Whith Dominate Anime Models. IEEE.
Gultom, M., 2012. Rancang Bangun Aplikasi Pengenal Penutur Menggunakan Metode Hidden Markov Model (Hmm), s.l.: Teknik Informatika STIMIK GI MDP.
Park, J., 2008. Real-Time Continuous Phoneme Recognition System Using Class-Dependent Tied-Mixture HMM With HBT Structure for Speech-Driven Lip-Sync. IEEE, Volume 10.
Firdaus, dkk, 2008. Hidden Markov Model, Jurnal Matematika FMIPA Universitas Padjadjaran.
https://cartoonsolutions.com/store/catalog/Lip-Sync-Mouth-Animation-sp-79.html, Mouth Movements Instructional.
Downloads
Published
Issue
Section
License
Authors retain copyright and grant the journal right of first publication and this work is licensed under a Creative Commons Attribution-ShareAlike 4.0 that allows others to share the work with an acknowledgement of the works authorship and initial publication in this journal.
All articles in this journal may be disseminated by listing valid sources and the title of the article should not be omitted. The content of the article is liable to the author.
Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgment of its initial publication in this journal.
Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work.
In the dissemination of articles by the author must declare the TECHSI Journal as the first party to publish the article.
