ABSTRAKSI: Suatu isyarat dapat dikenali melalui gerakan dan gerakan mulut seseorang. Dengan mengenali ciri-ciri khusus pada masing-masing isyarat, maka kita dapat dengan mudah menerjemahkannya. Pada tugas akhir ini dilakukan pengenalan sejumlah kalimat dalam bahasa isyarat, agar orang-orang dengan kemampuan berbicara secara verbal lebih mudah menerjemahkan isyarat seorang tunawicara.
Masukan yang digunakan berupa file video yang berisi bahasa isyarat yang dilakukan oleh seorang individu, dengan mengacu kepada Sistem Isyarat Bahasa Indonesia (SIBI). File video tersebut kemudian dibagi ke dalam frame-frame citra. Masing-masing frame citra tersebut dianalisa dan dilakukan ekstraksi ciri yang menghasilkan vektor ciri dari masing-masing citra. Karakteristik tersebut dilihat dari gerakan tangan tiap pelaku bahasa isyarat. Kerikutnya vektor ciri akan dikuantisasi dan dimodelkan dengan Hidden Markov Model (HMM), dan dilakukan pelatihan sehingga dihasilkan sebuah basis data untuk seluruh HMM. Pengenalan dari tiap-tiap isyarat akan dilakukan melalui evaluasi pada HMM. Keluaran dari sistem ini berupa suara yang merupakan terjemahan dari isyarat pada masukan. Dalam tugas
Dalam tugas akhir ini digunakan sepuluh variasi kata dalam bahasa isyarat yang dilakukan oleh dua orang pelaku bahasa isyarat. Tingkat akurasi sistem mencapai 90% pada saat digunakan pada dua individu yang berbeda.
Kata Kunci : penerjemah bahasa isyarat, SIBI, video, ekstraksi ciri, hidden markov model, suara.ABSTRACT: A sign language can be identified through a person's mouth movements and movements. By recognizing the special characteristics of each sign, we can easily translate it. This research conducted the introduction of a number of sentences in sign language, so that people with the ability to speak more easily translate the verbal cues of a mute or deaf people.
Inputs used in this research are in the form of video files that contain sign language performed by two individuals, by referring to Indonesian Sign Systems (SIBI). Video files are then divided into frames of images. Each image frame is analyzed and then feature extraction produces feature vector of each image. Characteristics are made based on each actor's hand movements of sign language. Next, feature vector will be quantized and modeled with a Hidden Markov Model (HMM), and training conducted to produce a database for the entire HMM. The introduction of each signal will be done through an evaluation of the HMM. The output of this system is in the form of sound that is a translation of the input signal.
In this final research, ten variations of words in sign language performed are used by two actors in sign language. The accuracy of the system reaches 90% when used on two different individuals.
Keyword: sign language translator, SIBI, videos, feature extraction, Hidden Markov Model, sounds