Распознавание психофизиологического состояния субъектов-операторов на основе анализа термографических изображений лица с применением сверточных нейронных сетей

С. С. Жумажанова, А. Е. Сулавко, П. С. Ложников

Аннотация


Представлены результаты исследования системы мониторинга и контроля психофизиологического состояния субъектов-операторов. Предметом исследования являются нейросетевые и ансамблевые методы и алгоритмы идентификации психофизиологического состояния в системах поддержки принятия решений по управлению деятельностью субъектов-операторов. Цель исследования — повысить эффективность принятия решений по управлению деятельностью субъектов-операторов в эргатических системах на основе дистанционного мониторинга их состояния. Разработана архитектура системы распознавания психофизиологического состояния субъекта-оператора с использованием методов и алгоритмов интеллектуального анализа данных. Разработан метод распознавания объектов на цифровых изображениях в условиях шумов и помех. Разработан алгоритм идентификации психофизиологического состояния субъектов-операторов на основе нейробайесовского подхода к распознаванию образов. Разработан программно-аппаратный комплекс и методика идентификации психофизиологического состояния субъекта-оператора по данным термограмм лица.

Ключевые слова


психофизиологическое состояние; системы поддержки принятия решений; искусственные нейронные сети; термограммы лица

Полный текст:

PDF

Литература


Идентификационный потенциал пользователей компьютерных систем в процессе их профессиональной деятельности / Б. Н. Епифанцев, А. Е. Сулавко, А. С. Ковальчук, С. С. Жумажанова, Н. Н. Нигрей, Р. В. Борисов / М-во обр. и науки Российской Федерации, Сибирский гос. авт.-дор. ун-т. Омск: Из-во СибАДИ, 2017. [[ B. N. Epifantsev, A. E. Sulavko, A. S. Kovalchuk, S. S. Zhumazhanova, N. N. Nigrei, R. V. Borisov, “Identification potential capacity of computer systems users in the process of their professional activity”. Ministry of Science and Higher Education of the Russian Federation, The Siberian State Automobile and Highway University, Omsk: SibADI, 2017. (In Russian). ]]

Распознавание психофизиологических состояний пользователей на основе скрытого мониторинга действий в компьютерных системах / В. И. Васильев, А. Е. Сулавко, Р. В. Борисов, С. С. Жумажанова // Искусственный интеллект и принятие решений. 2017. № 3. С. 21–37. [[ V. I. Vasiliev, A. E. Sulavko, R. V. Borisov, S. S. Zhumazhanova, “Recognition of psychophysiological states of users based on covert monitoring of actions in computer systems”. Scientific and Technical Information Processing, 2017, no. 3, pp. 21-37. (In Russian). ]]

Сулавко А. Е., Жумажанова С. С., Семёнова З. В., Ковальчук А. С., Борисов Р. В. Комплексная система распознавания водителей транспортных средств и их психофизиологического состояния по динамическим биометрическим признакам // Автоматизация. Современные технологии. 2017. Т. 71. № 8. С. 373–380. [[ A. E. Sulavko, S. S. Zhumazhanova, Z. V. Semyonova, A. S. Kovalchuk, R. V. Borisov, “Complex system for vehicles drivers recognition and their psychophysiological state by dynamic biometric characteristics”. Automation . Modern technologies, 2017, vol. 71, no. 8, pp. 373-380. (In Russian). ]]

Ахметова В. Н., Булыгина О. В. Применение системы поддержки принятия решений при диспетчеризации трубопроводного транспорта // Российское предпринимательство. 2016. Т. 17, № 22. С. 3283–3292. doi: 10.18334/rp.17.22.37019 date accessed: 10.07.2023) [[ Akhmetova V. N. & Bulygina O. V. (2016) “The use of a decision support system for pipeline transportation dispatching control”. Rossiyskoe Predprinimatelstvo, 17 (22), 3283–3292. doi: 10.18334/rp.17.22.37019. (In Russian). ]]

Петухов И. В., Власов А. А., Курасов П. А. Формирование комплекса данных для сппр оценки профессиональной пригодности операторов эргатических систем // Научное обозрение. Технические науки. 2014. № 2. С. 105–105. [[ I. V. Petukhov, A. A. Vlasov, P. A. Kurasov, “Formation of data complex for dss for assessment of professional suitability of operators of ergacy systems”. Scientific Review. Technical Science, 2014, no. 2, pp. 105-105. (In Russian). ]]

G. Rigas, T. Koutlas, C. D. Katsis, P. Bougia, and D. I. Fotiadis, “An intelligent decision support system for driver assistance based on vehicle, driver and road environment monitoring”. In: 7th European Congress and Exhibition on Intelligent Transport Systems and Services, 2008.

S. S. Zhumazhanova, “The problem of biometric identification of a subject and subjects changed state: perspectives of new features application in analysis of face and neck thermograms”. In: International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM): Conference Proceeding (Erlagol, 29 June – 3 July 2018). Novosibirsk : Novosibirsk State Technical University, 2018. DOI: 10.1109/EDM.2018.8434960. URL: https://ieeexplore.ieee.org/document/8434960 (date accessed: 10.12.2020).

Жумажанова С. С., Лукин Д. В., Белгородцев А. А. Разработка методики выделения участков лица и шеи на термограммах и изображениях в видимом спектре для последующего анализа в целях выявления психофизиологического состояния субъекта (обзор) // Вопросы защиты информации – научно-практический журнал. 2018. № 4 (123). С. 24–35. [[ S. S. Zhumazhanova, D. V. Lukin, A. A. Belgorodtsev, “Development of a technique for a subject's face and neck areas detection in infrared and visible images to analyze and identify the subject's psychophysiological state (review)“. Information Security Questions, 2018, no. 4 (123), pp. 24-35. (In Russian). ]]

Жумажанова С. С., Сулавко А. Е., Лукин Д. В. Анализ термограмм лица и шеи для распознавания состояния сонливости пользователей на основе классификатора Байеса // Вопросы защиты информации — научно-практический журнал. 2020. № 2 (129). С. 24–30. [[ S. S. Zhumazhanova, A. E. Sulavko, D. V. Lukin, “Analysis of face and neck thermograms for users' drowsiness recognition based on the Bayesian classifier”. Information Security Questions, 2020, no. 2 (129), pp. 24–30. (In Russian). ]]

S. S. Zhumazhanova, “The problem of biometric identification of a subject and subjects changed state: perspectives of new features application in analysis of face and neck thermograms”. In: International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM): Conference Proceeding (Erlagol, 29 June – 3 July 2018). Novosibirsk : Novosibirsk State Technical University, 2018. DOI: 10.1109/EDM.2018.8434960. URL: https://ieeexplore.ieee.org/document/8434960 (date accessed: 10.12.2020).

S. S. Zhumazhanova, V. A. Pasenchuk, D. V. Lukin, D. D. Vishnyakov, A. A. Belgorodtsev, “Informativeness assessment of the thermal pattern features of the face and neck region in the tasks of recognition of the subjects changed state”. In: International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices (EDM): Conference Proceeding (Erlagol, 29 June —3 July 2019). Novosibirsk: Novosibirsk State Technical University, 2019. DOI: 10.1109/EDM.2019.8823524. URL: https://ieeexplore.ieee.org/document/8823524 (date accessed: 10.12.2020).

S. S. Zhumazhanova, A. E. Sulavko, D. B. Ponomarev, V. A. Pasenchuk, “Statistical approach for subject’s state identification by face and neck thermograms with small training sample”. In: IFAC-PapersOnLine, vol. 52, issue 25, 2019, pp. 46-51. DOI: 10.1016/j.ifacol.2019.12.444. URL: https://www.sciencedirect.com/science/article/pii/S2405896319323523 (date accessed: 10.12.2020).

Епифанцев Б. Н., Жумажанова С. С. О влиянии формы осесимметричного дефекта на его обнаружение на фоне помех // Дефектоскопия. 2017. № 1. С. 57–65. [[ B. N. Epifantsev, S. S. Zhumazhanova, “On the effect of the shape of a flaw on its detectability against noise background”. Russian Journal of Nondestructive Testing, 2017, vol. 53, no. 1, pp. 62-70. (In Russian). ]]

S. S.Zhumazhanova, A. E. Sulavko, P. S. Lozhnikov, “Neurobayesian algorithm for subject's psychophysiological state identification”. In: Proceedings of the 2021 15th International Scientific-Technical Conference on Actual Problems of Electronic Instrument Engineering, APEIE 2021, 2021, pp. 380–383.

Ложников П. С., Сулавко А. Е., Жумажанова С. С. Методы распознавания человека по особенностям лица (обзор) // Вопросы защиты информации – научно-практический журнал. 2017. № 4 (119). С. 32–43. [[ P. S. Lozhnikov, A. E. Sulavko, S. S. Zhumazhanova, “Methods for recognizing a person by their facial features (review)”. Information Security Questions, 2017, no. 4 (119), pp. 32–43. (In Russian). ]]


Ссылки

  • На текущий момент ссылки отсутствуют.


(c) 2023 С. С. Жумажанова, А. Е. Сулавко, П. С. Ложников