Penelitian ini bertujuan untuk menemukan karakteristik item evaluasi pada mata pelajaran Pendidikan Agama Islam. Data utama dalam penelitian ini adalah lembar jawaban peserta didik terhadap item soal evaluasi yang diselenggarakan oleh Dinas Pendidikan Nasional Kabupaten Sleman pada tanggal 14 Maret 2020. Data dikumpulkan pada tanggal 21 Maret 2020 dengan metode dokmentasi di Sekolah Dasar Islam Terpadu Bakti Insani Kabipaten Sleman. Data yang digunakan untuk analisa seluruh peserta didik kelas VI yang berjumlah 56 peserta didik dengan jumlah soal sebanyak 40 item. Analisa data dengan menggunakan Program QUEST untuk mendapatkan karakteristik dari item soal evaluasi. Hasil penelitian menunjukkan bahwa sebanyak 5 (lima) item terjadi item has perfect score, sebagian besar item memiliki tingkat kesukaran “Sedang”. Sebanyak 48,5% item memiliki daya beda dengan kategori “sangat Baik”. Sebanyak 88,5% item merupakan item yang sesuai untuk mengevaluasi kemampuan peserta didik pada mata pelajaran Pendidikan Agama Islam. Estimasi reliabilitas sebesar 0,75, dan jumlah distractor yang efektif sebanyak 50%.