PDF Pendekatan Eyebrow Movement Analysis Berbasis Sensitivitas untuk Pemodelan Respons Pengguna Implisit dalam ML4SE

Abstract

Penelitian ini mengusulkan pendekatan berbasis sensitivitas (sensitivity-aware) untuk menganalisis pergerakan alis sebagai indikator awal respons pengguna implisit dalam Machine Learning for Software Engineering (ML4SE). Tujuan penelitian adalah mengembangkan dan mengevaluasi mekanisme deteksi berbasis sensitivitas yang mampu menangkap pergerakan mikro alis secara halus dengan tetap mempertahankan ketahanan terhadap noise. Micro-expression merupakan gerakan wajah yang sangat singkat dan tidak disadari, umumnya berlangsung kurang dari setengah detik, sehingga sulit dideteksi karena intensitasnya rendah dan rentan terhadap noise. Pendekatan yang diusulkan memanfaatkan analisis facial landmark untuk mengukur perubahan relatif posisi alis berdasarkan baseline personal. Parameter sensitivitas digunakan untuk mengontrol ambang deteksi secara dinamis. Pipeline sistem meliputi akuisisi video, ekstraksi landmark wajah, normalisasi berbasis baseline, temporal smoothing, serta klasifikasi berbasis aturan. Eksperimen dilakukan pada 10 video independen, masing-masing terdiri dari 580--619 frame, dengan rata-rata 589 frame yang dianalisis per video setelah inisialisasi baseline. Tiga konfigurasi sensitivitas (1,5; 2,0; dan 3,0) dievaluasi. Hasil menunjukkan bahwa peningkatan sensitivitas meningkatkan respons terhadap pergerakan halus, namun juga meningkatkan false positive, yang mengindikasikan sensitivitas lebih tinggi terhadap noise, serta menyebabkan pergeseran klasifikasi ke intensitas yang lebih tinggi. Nilai sensitivitas 2,0 memberikan keseimbangan terbaik antara sensitivitas terhadap perubahan halus dan ketahanan terhadap noise, dengan rasio deteksi 98,30% berdasarkan analisis tingkat frame. Temuan ini menunjukkan bahwa sensitivitas berfungsi sebagai batas keputusan (decision boundary) dalam analisis pergerakan alis. Dalam konteks ML4SE, pendekatan ini memberikan dasar untuk integrasi sinyal afektif implisit dalam pemodelan respons pengguna. Penelitian selanjutnya akan mengintegrasikan analisis pergerakan pupil untuk membangun pendekatan multimodal yang diharapkan dapat meningkatkan robustness dan generalisasi sistem.