Автоматическое разрешение неоднозначности эмоционально окрашенной лексики в мультимодальном корпусе
Екатерина Сергеевна Леонтьева
Докладчик
магистрант 2 курса
Санкт-Петербургский государственный университет
Санкт-Петербургский государственный университет
Ключевые слова, аннотация
В работе представлены результаты экспериментального исследования методов автоматического разрешения эмоциональной неоднозначности на материале текстового корпуса с использованием модели квадрантов Рассела для последующей генерации рекомендаций по русскому жестовому языку (РЖЯ). Корпус включает русскоязычные высказывания, размеченные по эмоциональным классам. Проведен сравнительный анализ эвристического подхода, классических моделей ML на эмбеддингах, трансформеров. Разработан прототип системы, выдающей текстовые рекомендации по жестам РЖЯ в зависимости от предсказанного эмоционального класса.
Тезисы
Ключевые слова: эмоциональная неоднозначность; квадранты Рассела; русский жестовый язык; машинное обучение; генерация рекомендаций
В области мультимодальной коммуникации и автоматической обработки естественного языка актуальной является задача интерпретации эмоционально окрашенной лексики. Особую значимость она приобретает в контексте русского жестового языка (РЖЯ), где неоднозначность лексики влияет на адекватность перевода. Целью исследования стала разработка и сравнительный анализ методов автоматического разрешения эмоциональной неоднозначности на основе модели квадрантов Рассела для последующей генерации текстовых рекомендаций по использованию жестов РЖЯ.
В ходе работы был сформирован текстовый корпус на русском языке, включающий примеры с эмоциональной разметкой по классам, соответствующим квадрантам Рассела: pleasant-high, pleasant-low, unpleasant-high, unpleasant-low. Источниками данных послужили открытые датасеты (RuSentiment, LINIS Crowd) и коллекции, дополненные экспертным отбором контекстов с неоднозначной лексикой. Были протестированы следующие подходы:
1) Эвристический метод, основанный на предобученной модели анализа тональности из библиотеки Aniemore и словаре ключевых слов, позволяющем уточнять эмоциональную окраску с учетом квадрантов Рассела;
2) Классические модели машинного обучения (логистическая регрессия, метод опорных векторов), обученные на эмбеддингах, полученных с помощью модели BERT;
3) Fine-tuning предобученных трансформеров (RuBERT), адаптированных для классификации по четырем квадрантам.
На основе предсказаний лучшей модели был разработан модуль генерации рекомендаций, сопоставляющий эмоциональный класс с условным описанием жеста РЖЯ. Напр., для класса unpleasant-high рекомендовался <резкий жест + напряженная мимика>, для pleasant-low — <мягкий жест + спокойная улыбка>. Экспертная оценка переводчиков РЖЯ подтвердила семантическую адекватность сформированных рекомендаций на репрезентативной выборке.
Архитектура разработанной системы предусматривает возможность интеграции аудиомодальности в будущем: использование библиотеки Aniemore для извлечения акустических признаков и их совместный анализ с текстовыми данными. Это позволит повысить точность распознавания эмоциональных классов с высокой активацией, где интонационные характеристики играют ключевую роль. Проведенное исследование показало перспективность применения методов глубокого обучения на основе трансформеров для автоматического разрешения эмоциональной неоднозначности с использованием модели квадрантов Рассела. Полученные результаты могут быть использованы при создании вспомогательных инструментов для переводчиков РЖЯ, а также в образовательных и реабилитационных целях. Дальнейшие направления работы включают расширение набора данных, интеграцию аудио и учет немануальных компонентов жестовой речи.
В области мультимодальной коммуникации и автоматической обработки естественного языка актуальной является задача интерпретации эмоционально окрашенной лексики. Особую значимость она приобретает в контексте русского жестового языка (РЖЯ), где неоднозначность лексики влияет на адекватность перевода. Целью исследования стала разработка и сравнительный анализ методов автоматического разрешения эмоциональной неоднозначности на основе модели квадрантов Рассела для последующей генерации текстовых рекомендаций по использованию жестов РЖЯ.
В ходе работы был сформирован текстовый корпус на русском языке, включающий примеры с эмоциональной разметкой по классам, соответствующим квадрантам Рассела: pleasant-high, pleasant-low, unpleasant-high, unpleasant-low. Источниками данных послужили открытые датасеты (RuSentiment, LINIS Crowd) и коллекции, дополненные экспертным отбором контекстов с неоднозначной лексикой. Были протестированы следующие подходы:
1) Эвристический метод, основанный на предобученной модели анализа тональности из библиотеки Aniemore и словаре ключевых слов, позволяющем уточнять эмоциональную окраску с учетом квадрантов Рассела;
2) Классические модели машинного обучения (логистическая регрессия, метод опорных векторов), обученные на эмбеддингах, полученных с помощью модели BERT;
3) Fine-tuning предобученных трансформеров (RuBERT), адаптированных для классификации по четырем квадрантам.
На основе предсказаний лучшей модели был разработан модуль генерации рекомендаций, сопоставляющий эмоциональный класс с условным описанием жеста РЖЯ. Напр., для класса unpleasant-high рекомендовался <резкий жест + напряженная мимика>, для pleasant-low — <мягкий жест + спокойная улыбка>. Экспертная оценка переводчиков РЖЯ подтвердила семантическую адекватность сформированных рекомендаций на репрезентативной выборке.
Архитектура разработанной системы предусматривает возможность интеграции аудиомодальности в будущем: использование библиотеки Aniemore для извлечения акустических признаков и их совместный анализ с текстовыми данными. Это позволит повысить точность распознавания эмоциональных классов с высокой активацией, где интонационные характеристики играют ключевую роль. Проведенное исследование показало перспективность применения методов глубокого обучения на основе трансформеров для автоматического разрешения эмоциональной неоднозначности с использованием модели квадрантов Рассела. Полученные результаты могут быть использованы при создании вспомогательных инструментов для переводчиков РЖЯ, а также в образовательных и реабилитационных целях. Дальнейшие направления работы включают расширение набора данных, интеграцию аудио и учет немануальных компонентов жестовой речи.