Perkembangan teknologi digital telah mendorong pemanfaatan chatbot sebagai solusi praktis untuk mempercepat penyampaian informasi, terutama dalam konteks layanan akademik. Penelitian ini berfokus pada pengembangan chatbot menggunakan framework RASA yang dilengkapi dengan metode CRFEntityExtractor untuk menangani pertanyaan umum (FAQ) dari mahasiswa Telkom University. Fokus utama penelitian ini adalah mengevaluasi pengaruh kualitas anotasi entitas terhadap performa chatbot, baik dalam proses ekstraksi informasi maupun dalam menghasilkan respons yang relevan. Model dilatih menggunakan dua jenis dataset, yakni anotasi lengkap dan konsisten (clean annotation), serta anotasi tidak lengkap dan tidak konsisten (noisy annotation). Evaluasi dilakukan menggunakan metrik precision, recall, F1-score, BLEU, dan ROUGE. Hasil eksperimen menunjukkan bahwa kualitas anotasi memiliki dampak signifikan terhadap kinerja model. Pada dataset clean annotation, precision mencapai 99.5%, recall sebesar 99.97%, dan F1-score sebesar 99.72%. Selain itu, nilai BLEU mencapai 100 dan ROUGE F1-score sebesar 0.9, menunjukkan relevansi jawaban yang tinggi terhadap konteks pertanyaan. Dataset dengan anotasi yang baik mampu meningkatkan akurasi ekstraksi entitas dan menghasilkan jawaban yang lebih sesuai dengan konteks. Penelitian ini menegaskan pentingnya konsistensi dan ketelitian dalam proses anotasi sebagai fondasi utama dalam pengembangan sistem chatbot berbasis NLP untuk layanan informasi kampus.
Kata Kunci: chatbot, RASA, CRF-NER, customer service, FAQ, Telkom University.