Algoritma Deep Learning untuk Mengukur Tingkat Kesesuaian Rumusan dan Asesmen Capaian Pembelajaran Mata Kuliah

Abstract

Penelitian ini mengamati kinerja algoritma deep learning untuk mengukur keselarasan antara pertanyaan ujian dengan capaian pembelajaran matakuliah. Keselarasan kedua teks menggambarkan kewajaran proses pembelajaran, sehigga proses terbukti telah berjalan sesuai rencana pembelajaran. Secara umum, proses pembelajaran dimulai dari penyusunan rencana pembelaran, yang menghasilkan dokumen yang mengandung capaian pembelajaran (learning outcome). Selanjutnya proses belajar mengajar dijalankan baik secara daring ataupun luring, dan capaian pembelajaran diuur dengan metode asesmen yang mengukur secara substantif tingkat pencapaian pembelajaran. Riset dimulai dengan pengumpulan data dan preprosesing, dan berlanjut dengan menghitung tingkat kesesuaian menggunakan tiga model deep learning. Ketiga model yang diuji adalah sentence-transformer (model SBERT), denaya/indoSBERT-large (model Denaya), and cahya/bert-base-indonesian-1.5G (model Cahya). Penelitian ini menunjukkan bahwa model Cahya memiliki kinerja terbaik dengan nilai akurasi 0.92 dan F1-score 0.88 dibanding dengan evaluasi oleh manusia. Studi ini menunjukkan bahwa algoritma deep learning dapat diterapkan untuk mereview teks soal dalam kegiatan ujian agar selaras dengan capaian pembelajaran.