Emosi seseorang dapat ditunjukan melalui ekspresi wajah. Ekspresi wajah manusia dapat berubah-ubah secara dinamis tanpa disadari oleh orang tersebut. Penelitian ini melakukan penentuan emosi dengan melakukan pengenalan ekspresi wajah manusia dan melakukan perekaman untuk setiap perubahan ekspresi wajah tersebut. Metode dalam penelitian ini adalah dengan melakukan klasifikasi terhadap 6 ekspresi dasar wajah manusia ditambah ekspresi netral dengan Convolutional Neural Network (CNN). Pemerataan distribusi data dilakukan untuk meningkatkan kinerja model. Dari pemodelan tersebut, dihasilkan model klasifikasi yang dapat diterapkan pada sebuah video. Model tersebut diuji menggunakan data yang terpisah dari data latih dan dievaluasi menggunakan confusion matrix. Sebagai hasil evaluasi, diperoleh akurasi 74%, rata-rata presisi 75,05%, dan rata-rata recall 74%. Di akhir penelitian ini, peneliti melakukan percobaan dengan menerapkan model klasifikasi tersebut pada beberapa video yang mewakili ekspresi seseorang di dalam video tersebut. Setiap perubahan ekspresi akan direkam dan dianalisis sehingga ditemukan emosi yang paling dominan.