Speaker recognition adalah teknologi komputer yang dapat mengenali karakteristik dari manusia melalui suara yang diucapkannya. Speaker recognition termasuk ke dalam permasalahan pengenalan pola yang salah satu bagian terpentingnya adalah proses klasifikasi data. Permasalahan multiclass data dalam klasifikasi menyebabkan waktu proses lama dan beban komputasi yang berat.Dalam tugas akhir ini, permasalahan tersebut akan diselesaikan dengan cara membagi data kedalam kelompok-kelompok data yang lebih kecil berdasarkan kelas tertentu. Untuk membagi data dipergunakan metode SVM sebagai discriminant dengan mengimplementasikan binary tree structure. Pada akhir proses dipergunakan metode HMM sebagai classifier, yaitu untuk mengklasifikasikan data kedalam kelas tertentu setelah melalui pembagian data sebelumnya. Masukan dari sistem ini adalah data vektor ciri suara yang telah diekstraksi sebelumnya. Pengujian sistem dilakukan dengan menggunakan total 400 data suara pembicara. Keluaran dari sistem adalah data yang menunjukkan suara masukan telah dikenali sebagai suara orang tertentu.Hasil dari pengujian performansi sistem menunjukkan bahwa rata-rata waktu proses dengan cara membagi data terlebih dahulu lebih cepat dari pada melakukan klasifikasi secara langsung. speaker reocognition, classification, binary tree structure, support vector