Kitab kuning merupakan kitab tradisional yang mengandung diraasah islamiyah yang diajarakan pada pondok pesantren, mulai dari struktur bahasa arab (ilmu nahwu dan shorof), ‘ulumul qur’an, hadits, aqidah, tasawuf/akhlaq, tafsir, fiqh sampai ilmu sosial dan kemasyarakatan (mu’amalah).  Disebut juga dengan kitab gundul karena tidak memiliki harakat (fathah, kasroh, dhammah, sukun) untuk bisa membaca dan memahami secara menyeluruh dibutuhkan waktu yang relatif lama. Penelitian ini bertujuan untuk mendapatkan model klasifikasi dari data pembelajaran kitab kuning di pondok pesantren. Metode yang digunakan dalam penelitian ini adalah forward selection sebagai praproses dalam mengurangi dimensi data, menghilangkan data yang tidak relevan dan naive bayes yang berguna untuk mengklasifikasi data. Hasil dari klasifikasi data pembelajaran kitab kuning menggunakan atribut yang telah diklasifikasi berdasarkan fitur-fiturnya dan dilakukan iterasi pada cross validation sehingga menghasilkan akurasi yang tepat. Berdasarkan hasil pengujian dengan dua metode, pengujian dengan algoritma Naive bayes saja menghasilkan akurasi 96,02%, untuk algoritma Naive bayes berbasis forward selection menghasilkan akurasi 97,38% . Terdapat peningkatan akurasi dengan penambahan fitur seleksi.