Краткий анализ методов Deep Learning для распознавания эмоционального состояния человека для принятия решений

Р. А. Ширинов, Л. А. Гардашова, Д. Р. Богданова

Аннотация


Современный мир меняется в соответствии с изменениями информационных технологий. Последние постепенно становятся частью самых различных сфер жизни человека, что указывает на значимость регулярного обновления данных о разработки тех или иных методов глубокого обучения и работы с большими данными. Глубокое обучение (Deep Learning) в рамках различных алгоритмов обработки данных, а также подобранных компьютерных систем позволяет вычленить ряд методов, предоставляющих высокий процент точности анализа эмоций. Считается необходимым провести анализы современных методов глубокого обучения (Deep Learning), которые используются для распознавания эмоций. Акцент делается на работы зарубежных исследователей, которые на современном этапе активно изучают возможности распознавания эмоций человека при помощи больших данных, машинного и глубокого обучения. В итоге отмечается, что методы Deep Learning, на уровне психологического тестирования позволяют не только распознавать эмоции человека, но также прогнозировать возможности принятия решений в различных ситуациях, прогнозировать рисковые ситуации и выявлять сильные и слабые стороны участников исследования. Что говорит о том, что и в отечественных разработках данное направление необходимо развивать и внедрять в социально-экономическую, а также политико-правовую сферы.

Ключевые слова


глубокое обучение; большие данные; эмоциональное состояние; распознание эмоций; принятие решений

Литература


[Бог21] Богданова Д. Р. Оценка степени удовлетворенности клиентов сферы услуг на основе учета их эмоционально окрашенной информации // СИИТ. 2021. Т. 3, № 3(7). С. 72-81. DOI 10.54708/26585014_2021_33772. EDN NBWLUH. [[ Bogdanova D. R. “Assessing the degree of satisfaction of customers in the service sphere based on their emotionally colored information” // SIIT. 2021. Vol. 3, No. 3(7), pp. 72-81. DOI 10.54708/26585014_2021_33772. EDN NBWLUH. (In Russian). ]]

[Жум23] Жумажанова С. С., Сулавко А. Е., Ложников П. С. Распознавание психофизиологического состояния субъектов-операторов на основе анализа термографических изображений лица с применением сверточных нейронных сетей // СИИТ. 2023. Т. 5, № 2(11). С. 41-55. EDN NNZWLV. [[ Zhumazhanova S. S., Sulavko A. E., Lozhnikov P. S. “Recognition of the psychophysiological state of operator subjects based on the analysis of thermographic facial images using convolutional neural networks” // SIIT. 2023. Vol. 5, No. 2(11), pp. 41-55. EDN NNZWLV. (In Russian). ]]

[Лат24] Латкин И. С., Богданова Д. Р., Ахметвалеев Р. Р. Разработка программного обеспечения для построения карт эмоций: методологии моделирования и сценарии использования // СИИТ. 2024. Т. 6, № 2(17). С. 39-49. EDN JHOJSU. [[ Latkin I. S., Bogdanova D. R., Akhmetvaleev R. R. “Development of software for constructing emotion maps: modeling methodologies and usage scenarios” // SIIT. 2024. Vol. 6, No. 2(17), pp. 39-49. EDN JHOJSU. (In Russian). ]]

[Мав23] Мавлютова Р. Р., Богданова Д. Р. Анализ эффективности рекламной кампании на основе учета эмоционального отклика аудитории с применением аффективных вычислений // СИИТ. 2023. Т. 5, № 2(11). С. 11-17. EDN BBXINF. [[ Mavlyutova R. R., Bogdanova D. R. “Analysis of the effectiveness of an advertising campaign based on the emotional response of the audience using affective computing” // SIIT. 2023. Vol. 5, No. 2(11), pp. 11-17. EDN BBXINF. (In Russian). ]]

[Саз23] Сазонова Е. Ю., Сметанина О. Н., Журавлева К. И., Юлаев Р. С. Интеллектуальная СППР при управлении психофизическим состоянием человека // СИИТ. 2023. Т. 5, № 6(15). С. 38-49. EDN JFLRCX. [[ Sazonova E. Yu., Smetanina O. N., Zhuravleva K. I., Yulaev R. S. “Intelligent decision support system for managing the psychophysical state of a person” // SIIT. 2023. Vol. 5, No. 6(15), pp. 38-49. EDN JFLRCX. (In Russian). ]]

[Cui20] Cui H., Liu A., Zhang X., Chen X., Wang K., Chen X. “EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network” // Knowledge-Based Systems, 2020. V. 205, 106243. DOI 10.1016/j.knosys.2020.106243.

[Dom20] Doma V., Piruz M. “Comparative analysis of machine learning methods for emotion recognition using EEG and peripheral physiological signals” // Big Data. 2020. No. 7 (18), pр. 289-307. DOI 10.1186/s40537-020-00289-7. EDN AKLZMI.

[Don21] Dong S., Wang P., Abbas K. “A survey on deep learning and its applications” // Computer Science Review. 2021. V. 40, pр. 10037-10039. DOI 10.1016/j.cosrev.2021.100379. EDN NEFEQG.

[Fio20] Fiorini L., Mancioppi G., et al. “Unsupervised emotional state classification through physiological parameters for social robotics applications” // Knowledge-Based Systems. 2020. Vol. 190, pр. 105217. DOI 10.1016/j.knosys.2019.105217. EDN WINWSU.

[Gar19] Garg A., Badi A. K., Sunkar R. K. “A combined LSTM model for classifying emotions using EEG signals” // 2019 Int. Conf. on Data Science and Engineering (ICDSE). IEEE. 2019, no. 19, pp. 139-143. DOI 10.1109/ICDSE47409.2019.8971484.

[Gre20] Greche L., Akil M., Kachouri R., Es-Sbai N. “A new pipeline for the recognition of universal expressions of multiple faces in a video sequence” // Journal of Real-Time Image Processing. 2020. V. 17, no. 5, pp. 1389-1402. DOI 10.1007/s11554-019-00896-5. EDN QDYIYP.

[Gua21] Guanghui C., Xiaoping Z. “Multimodal emotion recognition by merging correlative features of speech and vision” // IEEE Signal Process. Lett. 2021. No. 28, pр. 533–537. DOI 10.1109/LSP.2021.3055755.

[Has20] Hassouneh A. M., Mutawa M. M. “Development of a real-time emotion recognition system using facial expressions and EEG based on machine learning methods and deep neural networks” // Computer Science in Medicine Unlocked. 2020. No. 20, рp. 100372. DOI 10.1016/j.imu.2020.100372.

[Hos19] Hossein M. S., Muhammad G. “An audio-visual emotion recognition system using deep learning for a cognitive wireless environment” // IEEE Wireless. Common. 2019. No. 26, pр. 62–68. DOI 10.1109/MWC.2019.1800419.

[Hua21] Huang D., Chen S., Liu C., Zheng L., Tian Z., Jiang D. “Differences primarily in the asymmetric brain a convolutional neural network with two-hemisphere divergence for EEG emotion recognition” // Neurocomputing. 2021. No. 448, pр.140-151. DOI 10.1016/j.neucom.2021.03.105. EDN AQVZPG.

[Hus22] Hussein E. H., Hammad A., Ali A. A. “Recognition of human emotions using an EEG-based brain-computer interface using machine learning a comprehensive review” // Neural Computing and Applications. 2022. No. 34, рp. 12527-12557. DOI 10.1007/s00521-022-07292-4. EDN RBIHHD.

[Iqb21] Iqbal H. Sarker. “Deep Learning: A comprehensive overview of methods, taxonomy, applications, and research directions” // SN Computer Science. 2021. No. 2(6), pр.1–20. DOI 10.1007/s42979-021-00815-1.

[Jos20] Joshi V. M., Ghongaid R. B. “Idea: An intelligence database for emotion analysis using an EEG signal” // J King Saud Univ-Comput Inform Science. 2020. V. 20, р. 59.

[Kha20] Khare S. K., Bajaj V. “Evolutionarily optimized variational mode decomposition for emotion recognition” // IEEE Sens. J. 2020. No. 21, pр. 2035–2042. DOI 10.1109/jsen.2020.3020915. EDN YGCUXC.

[Kul21] Kulke L., Bmmmer L., Pooresmaeili A., Schacht A. “Overt and covert attention shifts to emotional faces Combining EEG, eye tracking, and a go/no-go paradigm” // Psychophysiology. 2021. V. 58, no. 8, pp. e13838. DOI 10.1111/psyp.13838. EDN HZBOIZ.

[Li20] Li I., Zhao J., Lv Z., Li J. “A method of merging medical images using deep learning” // Int. J. Kohn. Comput. Eng. 2021. No. 2, pр. 21–29. DOI 10.1016/j.ijcce.2020.12.004.

[Li22] Li C., Wang B., Zhang S., Liu Y., Song R., Cheng J., Chen X. “Emotion recognition from EEG based on multi-task learning with capsule network and attention mechanism” // Computers in Biology and Medicine. 2022. V. 143, pр.105303. DOI 10.1016/j.compbiomed.2022.105303. EDN CUAQCH.

[Liu20] Liu S., Wang H., Zhao L., Zhao J., Xin K., Wang S. “Subject-independent emotion recognition of EEG signals based on a dynamic empirical convolutional neural network” // IEEE/ACM Trans Computer Bel Bioinform. 2020. No. 20, р.26.

[Lu22] Lu X. “Emotion recognition based on deep learning and visualization of imaginative representation” // Front. Psychol. 2022. No. 12, pр. 818-833. DOI 10.3389/fpsyg.2021.818833.

[Már19] Mário W. L. Moreira, Joel J. P. C. Rodrigues, Neeraj Kumar, Kashif Saleem, Igor V. Illin. “Postpartum depression prediction through pregnancy data analysis for emotion-aware smart systems” // Information Fusion. 2019. V. 47, pp. 23-31. DOI 10.1016/j.inffus.2018.07.001. EDN VBRIAK.

[Mel20] Meluk V., Khandouzi V. “Facial emotion recognition using deep learning an overview and ideas” // Procedia Computer. Sci. 2020. No. 175, pр. 689–694. DOI 10.1016/j.procs.2020.07.101. EDN EEXIAF.

[Nta21] Ntalampiras S. “Speech emotion recognition through learning analogies” // Pattern Resin. Lett. 2021. No. 144, pр. 21–26. DOI 10.1016/j.patrec.2021.01.018. EDN IWUCPA.

[Pat20] Patel P., Thakkar A. “The growth of deep learning for computer vision applications” // Int. J. Electro. Comput. Eng. 2020. No. 10, р.538. DOI 10.11591/ijece.v10i1.pp538-548. EDN HOUXSI.

[Sak21] Sakale A., Tamar P., et al. “STM-based deep learning networks for emotion recognition using a wireless brainwave-controlled system” // Expert Systems Appl.2021. No. 173, р.114516. DOI 10.1016/j.eswa.2020.114516. EDN PGFYHX.

[Sha20] Sharma R., Pachori R.B., Sircar P. “Automated emotion recognition based on higher order statistics and deep learning algorithm” // Biomedical Signal Processing and Control. 2020. V. 58, pр.1018-1067. DOI 10.1016/j.bspc.2020.101867. EDN QQKTHF.

[Son21] Sonal Singh A., Kant C. “Face and age recognition using a three-dimensional discrete wavelet transform and a rotational local binary template using the radial basis function support vector machine” // Int. J. Electro. Eng. Educ. 2021. No. 209, pр.84-89. DOI 10.1177/0020720920988489. EDN SMRFOY.

[Var20] Varma S., Shinde M., Chavan S. S. “Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers” // Techno-Societal 2018 Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. 2020. V. 1, pp. 109119. DOI 10.1007/978-3-030-16848-3_11. EDN VYMQPM.

[Wu21] Wu Y., Fu S., Zhao J., Bryan C. “Powering visualization with deep learning” // IEEE Comput. Graph. Appl. 2021. No. 4.1, pр. 16–17. DOI 10.1109/mcg.2021.3102711. EDN LUMMHN.

[Yan20] Yang J., Huang X., Hongkai W., Yang X. “EEG-based emotion classification based on a bidirectional network of long-term short-term memory” // Procedia Comput Sci. 2020. No. 174, pр.491–504. DOI 10.1016/j.procs.2020.06.117. EDN NXDLPF.

[Zha20] Zhang J., Yin Z., Chen P., Nichele S. “Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review” // Information Fusion. 2020. V. 59, pp. 103-126. DOI 10.1016/j.inffus.2020.01.011. EDN KYOKJA.


Ссылки

  • На текущий момент ссылки отсутствуют.


(c) 2025 Р. А. Ширинов, Л. А. Гардашова, Д. Р. Богданова