Abstak: Mengingat urgennya TOAFL dalam mengukur keterampilan bahasa Arab mahasiswa di IAIN Curup, peneliti merasa perlu untuk melakukan evaluasi terhadap soal TOAFL. Agar tes ini tidak kehilangan fungsi yang seharusnya yaitu menjadi alat pengukur pemahaman mahasiswa terhadap bahasa Arab. Tujuan penelitian ini adalah untuk mengetahui tingkat kesulitan butir soal, daya pembeda butir soal, validitas butir soal, dan reliabilitas butir soal TOAFL IAIN Curup. Metode  penelitian yang digunakan adalah penelitian  deskriptif kuantitatif. Teknik pengumpulan data menggunakan tes, wawancara, dokumentasi dan observasi. Hasil penelitian ini menunjukkan bahwa tingkat kesukaran soal TOAFL, terdapat 15 soal kategori mudah, 71 soal kategori sedang, dan 54 soal kategori sukar. Persentase tingkat kesukaran soal, soal masuk dalam kategori baik, karena lebih 50% indeks kesukarannya memenuhi standar. Untuk daya pembeda, tidak terdapat  soal kategori baik, 48 soal kategori sedang, 56 soal kategori kurang, 4 soal tidak memiliki daya pembeda, dan 32 soal yang negatif. Melihat persentase daya pembeda soal, soal pilihan ganda kategori tidak baik, karena 0% soal kategori baik. Untuk validitas  adalah 78 soal kategori valid dan 62 kategori tidak valid. Persentase validitas soal TOAFL IAIN Curup tersebut menunjukkkan lebih 50% soal kualitas valid. Sedangkan reliabilitas  menunjukkan bahwa soal TOAFL memiliki kategori reliabilitas yang tinggi yaitu 0,87.