Интеграция классификатора эмоций в архитектуру диалоговой системы для корректировки текстовых ответов

И. С. Косачев, Е. Ю. Сазонова

Аннотация


В статье рассматривается задача корректировки ответов чат-бота с учетом эмоционального состояния пользователя без дообучения языковой модели. Предложен подход, при котором отдельная мультимодальная модель определяет состояние человека по голосу и речи, после чего полученная метка объединяется с запросом и подается в GigaChat-2 от Сбера для управления тоном генерации. Проведенное ручное тестирование показало, что передача этой информации позволяет боту генерировать более персонализированные и эмпатичные ответы. Данный метод работает без дополнительного обучения, что значительно уменьшает вычислительные затраты на коррекцию ответов модели.

Ключевые слова


Эмоциональный интеллект; коррекция поведения языковых моделей; человеко-компьютерное взаимодействие; управление контекстом; машинное обучение; мультимодальные данные.

Полный текст:

PDF

Литература


Abinaya S. Ashwin K. S., Alphonse A. S. Enhanced Emotion-Aware Conversational Agent: Analyzing User Behavioral Status for Tailored Reponses in Chatbot Interactions // IEEE Access. 2025. Vol. 13, pp. 19770-19787. DOI: 10.1109/ACCESS.2025.3534197.

Baevski A., et al. Wav2Vec 2.0: A Framework for Self-Supervised Learning of Speech Representations // Proc. 34th Int. Conf. on Neural Information Processing Systems. 2020. pp. 12449-12460. DOI: 10.48550/arXiv.2006.11477.

Devlin J., et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // North American Chapter of the Association for Computational Linguistics. 2019. DOI: 10.48550/arXiv.1810.04805.

Жумажанова С. С., Сулавко А. Е., Ложников П. С. Распознавание психофизиологического состояния субъектов-операторов на основе анализа термографических изображений лица с применением сверточных нейронных сетей // СИИТ. 2023. Т. 5, № 2(11). С. 41-55. EDN: NNZWLV.

Kolesnikova A., Kuratov Yu., et al. (2022). Knowledge Distillation of Russian Language Models with Reduction of Vocabulary. DOI: 10.48550/arXiv.2205.02340.

Kondratenko V., Sokolov A, et al. (2022). Large Raw Emotional Dataset with Aggregation Mechanism. DOI: 10.48550/arXiv.2212.12266.

Косачев И. С. Программное обеспечение для классификации эмоций человека ПО вербальным и невербальным признакам // Мавлютовские чтения: Матер. XVIII Всеросс. молодёжн. науч. конф. В 9-ти томах, Уфа, 25–29 ноября 2024 года. Уфа: УУНиТ, 2024. С. 265-270. EDN: NGNAMP.

Косачев И. С., Сметанина О. Н., Сазонова Е. Ю. Построение нейросетевого классификатора эмоций для мультимодальных данных // Вестник УГАТУ. 2025. Т. 29, № 4(110). С. 39-47. EDN: SCXTEM.

Латкин И. С., Богданова Д. Р., Ахметвалеев Р. Р. Разработка программного обеспечения для построения карт эмоций: методологии моделирования и сценарии использования // СИИТ. 2024. Т. 6, № 2(17). С. 39-49. EDN: JHOJSU.

Longrun Z. GuidedEmpathy: Guiding Large Language Models for Empathetic Response Generation with Situational Awareness. // CSAI '24: Proc. 2024 8th Int. Conf. Computer Science and Artificial Intelligence. 2025, pp. 354-360. DOI: 10.1145/3709026.3709029.

Пиз А., Пиз Б. Новый язык телодвижений. М.: Изд-во Бомбора, 2024.

Radford A., Kim J., et al. (2022). Robust Speech Recognition via Large-Scale Weak Supervision. DOI: 10.48550/arXiv. 2212.04356.

Сазонова Е. Ю. и др. Интеллектуальная СППР при управлении психофизическим состоянием человека // СИИТ. 2023. Т. 5, № 6(15). С. 38-49. EDN: JFLRCX.

Самотуга А. Е. Распознавание субъектов и их психофизиологических состояний на основе параметров подписи для защиты документооборота // СИИТ. 2023. Т. 5, № 2(11). С. 56-65. EDN: JCFRBU.

Siyang L., et al. Towards Emotional Support Dialog Systems // Proc. 59th Annual Meeting of the Association for Computational Linguistics and 11th Int. Joint Conf. Natural Language Processing. 2021. Vol. 1, pp. 3469–3483. DOI: 10.18653/v1/2021.acl-long.269.

Hill C. E. Helping skills: Facilitating, exploration, insight, and action. American Psychological Association, 2009. DOI: 10.1037/0000147-000.

Hu E., et al. LoRA: Low-Rank Adaptation of Large Language Models. 2021. DOI: 10.48550/arXiv.2106.09685.

Ширинов Р. А., Гардашова Л. А., Богданова Д. Р. Краткий анализ методов Deep Learning для распознавания эмоционального состояния человека для принятия решений // СИИТ. 2025. Т. 7, № 2(21). С. 68-77. EDN: DAWGEI.




DOI: https://doi.org/10.54708/SIIT-2026-no5-p66

Ссылки

  • На текущий момент ссылки отсутствуют.


(c) 2026 И. С. Косачев, Е. Ю. Сазонова