Ancaman malware yang terus berkembang menjadi salah satu tantangan utama dalam keamanan sistem komputer, terutama karena metode deteksi tradisional sering gagal mengenali varian malware baru. Penelitian ini mengembangkan sistem deteksi malware berbasis file eksekutabel Windows untuk mengklasifikasikan file sebagai aman atau berbahaya menggunakan pendekatan pembelajaran mesin. Dalam konteks keamanan siber, tingkat kesalahan seperti false negative dapat berdampak besar terhadap sistem. Solusi yang diusulkan adalah penerapan algoritma pembelajaran mesin berbasis boosting, menggunakan algoritma CatBoost baik dengan maupun tanpa fitur yang sudah direduksi. Sistem ini dibandingkan dengan pendekatan lainnya, seperti decision tree serta ACO-DT, yang merupakan salah satu algoritma terbaik yang digunakan pada penelitian sebelumnya, melalui pengujian pada dataset malware. Hasil menunjukkan bahwa CatBoost dengan fitur yang sudah direduksi menghasilkan performa terbaik, dengan akurasi dan recall sebesar 0.994, meskipun waktu prediksinya bukan yang paling cepat yaitu 0.004 detik. Kontribusi utama dari penelitian ini adalah penyediaan pendekatan deteksi malware yang tidak hanya akurat tetapi juga efisien, sehingga dapat meningkatkan respons terhadap ancaman siber secara lebih adaptif dan tepat sasaran.
Kata kunci: deteksi malware, pembelajaran mesin, CatBoost, gradient boosting, keamanan siber