ECL-tEEG: MÔ HÌNH ƯỚC LƯỢNG CẢM XÚC CỦA NGƯỜI HỌC DỰA TRÊN SÓNG NÃO

Võ Lê Phúc Hậu1, , Phan Thị Quý Thịnh, Phùng Ngọc Nhân, Mai Yến Khoa, Trần Thanh Nhã1, Nguyễn Viết Hưng2
1 Trường Đại Học Sư phạm Thành Phố Hồ Chí Minh
2 Đại Học Sư Phạm Thành Phố Hồ Chí Minh

Nội dung chính của bài viết

Tóm tắt

Nhận diện cảm xúc và đánh giá mức độ tham gia của người học đóng vai trò quan trọng trong việc nâng cao hiệu quả giảng dạy và tối ưu hóa phương pháp giảng dạy cá nhân hóa. Các nghiên cứu trước đây chủ yếu sử dụng video hoặc hình ảnh kết hợp với mô hình học sâu để phân tích hành vi và cảm xúc. Tuy nhiên, phương pháp này dễ bị ảnh hưởng bởi góc quay, điều kiện ánh sáng và biểu cảm khuôn mặt không rõ ràng, dẫn đến sai lệch trong đánh giá cảm xúc. Để khắc phục những hạn chế đó, nghiên cứu này đề xuất mô hình ECL-tEEG, một mô hình kết hợp CNN, LSTM-GRU và Transformer nhằm phân tích tín hiệu điện não (EEG) để nhận diện cảm xúc và đánh giá mức độ tham gia của người học. Mô hình đề xuất tận dụng CNN để trích xuất đặc trưng không gian, LSTM-GRU để học đặc trưng tuần tự theo thời gian và Transformer để khai thác các mối quan hệ dài hạn theo cơ chế học song song. Để đánh giá hiệu suất, nghiên cứu tiến hành thử nghiệm trên ba mô hình: CNN-LSTM-GRU, CNN-Transformer và ECL-tEEG. Kết quả thực nghiệm cho thấy ECL-tEEG đạt độ chính xác 71%, vượt trội hơn hai mô hình còn lại trong phân loại cảm xúc tích cực, trung tính và tiêu cực. Nghiên cứu này không chỉ khẳng định tiềm năng ứng dụng của EEG trong nhận diện cảm xúc người học, mà còn đặt nền tảng cho hệ thống hỗ trợ giảng dạy thông minh, giúp cá nhân hóa trải nghiệm học tập và hỗ trợ giáo viên trong việc điều chỉnh phương pháp giảng dạy dựa trên tín hiệu não bộ thay vì chỉ dựa vào quan sát hành vi.




 



 


 


 






Chi tiết bài viết

Tài liệu tham khảo

Andayani, F., Theng, L. B., Tsun, M. T., & Chua, C. (2022). Hybrid LSTM-Transformer Model for Emotion Recognition From Speech Audio Files. IEEE Access, 10, 36018–36027. https://doi.org/10.1109/access.2022.3163856
Apicella, A., Arpaia, P., Frosolone, M., Improta, G., Moccaldi, N., & Pollastro, A. (2022). EEG-based measurement system for monitoring student engagement in learning 4.0. Scientific Reports, 12(1). https://doi.org/10.1038/s41598-022-09578-y
B. Hari Krishna, Rose, S., Goda Srinivasa Rao, Ch., K. Srujan Raju, T.S. Ghouse Basha, & Bharath, V. (2024). Emotion-net: Automatic emotion recognition system using optimal feature selection-based hidden markov CNN model. Ain Shams Engineering Journal, 103038–103038. https://doi.org/10.1016/j.asej.2024.103038
Hussein Ali Hamzah, & Abdalla, K. K. (2024). EEG-based emotion recognition systems; Comprehensive study. Heliyon, 10(10), e31485–e31485. https://doi.org/10.1016/j.heliyon.2024.e31485
Joshi, V. M., & Ghongade, R. B. (2022). IDEA: Intellect database for emotion analysis using EEG signal. Journal of King Saud University - Computer and Information Sciences, 34(7), 4433–4447. https://doi.org/10.1016/j.jksuci.2020.10.007
Lee, M.-H., Shomanov, A., Begim, B., Kabidenova, Z., Nyssanbay, A., Yazici, A., & Lee, S.-W. (2024). EAV: EEG-Audio-Video Dataset for Emotion Recognition in Conversational Contexts. Scientific Data, 11(1). https://doi.org/10.1038/s41597-024-03838-4
Lun, X., Yu, Z., Chen, T., Wang, F., & Hou, Y. (2020). A Simplified CNN Classification Method for MI-EEG via the Electrode Pairs Signals. Frontiers in Human Neuroscience, 14. https://doi.org/10.3389/fnhum.2020.00338
Mahmoud, A., Amin, K., Al Rahhal, M. M., Elkilani, W. S., Mekhalfi, M. L., & Ibrahim, M. (2023). A CNN Approach for Emotion Recognition via EEG. Symmetry, 15(10), 1822. https://doi.org/10.3390/sym15101822
Maximilian Achim Pfeffer, Sai, S., & Kwok, J. (2024). Exploring the frontier: Transformer-based models in EEG signal analysis for brain-computer interfaces. Computers in Biology and Medicine, 178, 108705–108705. https://doi.org/10.1016/j.compbiomed.2024.108705
None Mangaras Yanu Florestiyanto. (2024). Emotion Recognition for Improving Online Learning Environments: A Systematic Review of the Literature. Deleted Journal, 20(4s), 1860–1873. https://doi.org/10.52783/jes.2255
Shwetkranti Taware, & Anuradha Thakare. (2023). Critical Analysis on Multimodal Emotion Recognition in Meeting the Requirements for Next Generation Human Computer Interactions. International Journal on Recent and Innovation Trends in Computing and Communication, 11(9s), 523–534. https://doi.org/10.17762/ijritcc.v11i9s.7464
Song, T., Zheng, W., Lu, C., Zong, Y., Zhang, X., & Cui, Z. (2019). MPED: A Multi-Modal Physiological Emotion Database for Discrete Emotion Recognition. IEEE Access, 7, 12177–12191. https://doi.org/10.1109/ACCESS.2019.2891579
Song, Y., Zheng, Q., Liu, B., & Gao, X. (2023). EEG Conformer: Convolutional Transformer for EEG Decoding and Visualization. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 31, 710–719. https://doi.org/10.1109/tnsre.2022.3230250
Wan, Z., Li, M., Liu, S., Huang, J., Tan, H., & Duan, W. (2023). EEGformer: A transformer–based brain activity classification method using EEG signal. 17. https://doi.org/10.3389/fnins.2023.1148855
Yu, C., & Wang, M. (2022). Survey of emotion recognition methods using EEG information. Cognitive Robotics, 2, 132–146. https://doi.org/10.1016/j.cogr.2022.06.001
Zhu, X., Song, Y., & Li, D. (2024). EEG Emotion Recognition Based on CNN+LSTM. 2024 IEEE 25th China Conference on System Simulation Technology and Its Application (CCSSTA), 144–148. https://doi.org/10.1109/ccssta62096.2024.10691696