Pelaksanaan evaluasi terdapat faktor-faktor yang mempengaruhi yaitu alat pengukur, evaluator, peserta didik dan situasi yang akhirnya dapat berimbas kepada hasil belajar. Evaluator tidak hanya mendasarkan penilaian secara langsung dari hasil perkuliahan, tapi juga harus memperhatikan faktor-faktor pelaksanaannya. Penelitian bertujuan untuk menghasilkan produk Computer Based Testing (CBT) yang sesuai dengan kriteria kelayakan media dan materi pada mata kuliah Evaluasi Pembelajaran melalui validasi beberapa ahli dan uji coba produk. Model penelitian pengembangan ini adalah model prosedural dengan subjek penelitian terdiri dari validator ahli media dan validator ahli materi. Instrumen yang digunakan dalam penelitian ini adalah format penilaian dengan kriteria yang meliputi aspek isi materi berupa Tes Pilihan Ganda dan aspek media, kemudian angket yang digunakan dalam pelaksanaan uji coba untuk melihat kemudahan bagi subjek coba menggunakan produk CBT. CBT dikembangkan dengan 2 tipe yaitu dengan software dan online yang dilaksanakan secara serentak dengan 2 laboratorium komputer yang berbeda. Hasil pengembangan dikategorikan produk CBT mata kuliah evaluasi pembelajaran layak untuk digunakan, sedangkan untuk hasil ujicoba efektifitas penggunaan menghasilkan kesimpulan bahwa tidak terdapat perbedaan yang signifikan dalam penggunaan tes dengan sistem manual dengan CBT baik secara online maupun software. Namun fungsi utama dari CBT tetap pada kemudahan bagi evaluator untuk melakukan verivikasi dan scoring yang dapat dilakukan dengan segera.. Kata Kunci: evaluasi, computer based testing, evaluator.