Buah-buahan merupakan sumber makanan yang penting untuk memenuhi kebutuhan nutrisi manusia. Mangga cengkir adalah satu diantara buah khas dari Indonesia. Pengklasifikasian tingkat kematangan buah ini umumnya dilakukan secara manual berdasarkan perubahan ciri fisiknya. Meski demikian, metode tersebut rentan terhadap ketidaktepatan yang berdampak pada kepuasan konsumen. Dalam kemajuan teknologi yang semakin berkembang, penggunaan transfer learning dan model deep learning yang mampu mempelajari pola dan ciri fisik buah dari gambar menjadi solusi dalam mengembangkan sistem klasifikasi kematangan buah secara otomatis. Berdasarkan permasalahan tersebut, penelitian ini berfokus pada pengembangan sistem klasifikasi kematangan buah manga cengkir menggunakan pretrained model Xception. Tahap pelatihan dan pengujian pada penelitian ini terbagi menjadi 3 skenario untuk mengetahui perbedaan performa Xception yang dilatih dengan pendekatan berbeda. Pendekatan tersebut mencakup augmentasi pada data latih, penambahan fully connected layer, hidden layer freezing, dan regularisasi. Analisis perbandingan dilakukan dengan membandingkan performa Xception dari setiap skenario pelatihan dan pengujian. Analisis perbandingan menunjukkan bahwa model Xception tanpa modifikasi yang dilatih menggunakan augmentasi pada data latih menjadi model dengan performa terbaik, yaitu 72%, 83.4%, 74%, 72%, 73% untuk akurasi, rerata presisi, presisi, recall, dan F1.