Большие языковые модели для аспектного сентимент-анализа отзывов на культурные институции
Владислав Владимирович Лобанов
Докладчик
магистрант 2 курса
Лаборатория языковой конвергенции, НИУ ВШЭ - Санкт-Петербург
Лаборатория языковой конвергенции, НИУ ВШЭ - Санкт-Петербург
Ключевые слова, аннотация
Исследование посвящено аспектному сентимент-анализу музейных отзывов с применением больших языковых моделей. Материал составили около 14000 онлайн-отзывов о Владимиро-Суздальском музее-заповеднике за 2020—2025 гг. Сравнение модельной разметки с экспертной показало уровень галлюцинаций не выше 3—5 %. Полученные результаты содержат детализированное описание посетительского мнения и были использованы администрацией музея при совершенствовании работы с аудиторией, что подтверждает применимость методов opinion mining для культурных институций.
Тезисы
Ключевые слова: большие языковые модели; культурные институции; онлайн-отзывы; аспектный сентимент-анализ; промпт-инжиниринг
Музейные отзывы зачастую предоставляют детальную картину мнений и предпочтений посетителей, однако изучению данного материала посвящено сравнительно небольшое количество исследовательских работ. В списке возможных причин такой лакуны — отсутствие коммерческого интереса, низкая скорость внедрения цифровых технологий в малых и средних культурных институциях, а также политематическая природа посетительского мнения.
Цель настоящего исследования — выявить наиболее эффективный метод в рамках аспектного сентимент-анализа с применением больших языковых моделей (БЯМ).
Научная новизна работы заключается в применении широко известного подхода к анализу мнения на принципиально новом материале с современным инструментарием больших языковых моделей и техник промпт-инжиниринга.
В отличие от отзывов на коммерческие товары или услуги, получивших широкое освещение в исследовательских кругах, посетители культурных институций делятся впечатлениями не только о материальных аспектах посещения, но и о своем духовном, культурном, чувственном восприятии экспозиции. В случае с Владимиро-Суздальским музеем-заповедником (ВСМЗ) такая особенность может быть связана с историческим развитием комплекса и разнородностью предлагаемых объектов: от религиозных построек конца XII в. до современных нишевых музеев хрусталя.
В материал исследования вошли около 14000 онлайн-отзывов с девяти платформ на объекты ВСМЗ в период с 2020 по 2025 гг. В качестве основного метода был выбран аспектный сентимент-анализ с применением больших языковых моделей и промпт-инжиниринга.
Эксперименты с БЯМ включали как использование разнообразных open-source и proprietary моделей, простых и продвинутых техник промпт-инжиниринга, так и различных методологий в ключе тематического моделирования (экспертное или автоматическое выделение тем).
По результатам сравнения с выборкой, размеченной экспертно, количество галлюцинаций модели (неверная категоризация, определение аспекта или оценочного термина, пропуск аспекта) не превышает 3—5 % в зависимости от музейного объекта.
Полученные данные — набор квадруплетов аспектов, оценочных терминов, сентимент-меток и категорий — позволили выявить наиболее эффективный подход в методологии opinion mining для культурных институций и также были переданы администрации ВСМЗ. Выводы, полученные в ходе исследования, могут быть использованы для развития продвинутых цифровых систем по анализу мнения в рамках культурных институций.
Музейные отзывы зачастую предоставляют детальную картину мнений и предпочтений посетителей, однако изучению данного материала посвящено сравнительно небольшое количество исследовательских работ. В списке возможных причин такой лакуны — отсутствие коммерческого интереса, низкая скорость внедрения цифровых технологий в малых и средних культурных институциях, а также политематическая природа посетительского мнения.
Цель настоящего исследования — выявить наиболее эффективный метод в рамках аспектного сентимент-анализа с применением больших языковых моделей (БЯМ).
Научная новизна работы заключается в применении широко известного подхода к анализу мнения на принципиально новом материале с современным инструментарием больших языковых моделей и техник промпт-инжиниринга.
В отличие от отзывов на коммерческие товары или услуги, получивших широкое освещение в исследовательских кругах, посетители культурных институций делятся впечатлениями не только о материальных аспектах посещения, но и о своем духовном, культурном, чувственном восприятии экспозиции. В случае с Владимиро-Суздальским музеем-заповедником (ВСМЗ) такая особенность может быть связана с историческим развитием комплекса и разнородностью предлагаемых объектов: от религиозных построек конца XII в. до современных нишевых музеев хрусталя.
В материал исследования вошли около 14000 онлайн-отзывов с девяти платформ на объекты ВСМЗ в период с 2020 по 2025 гг. В качестве основного метода был выбран аспектный сентимент-анализ с применением больших языковых моделей и промпт-инжиниринга.
Эксперименты с БЯМ включали как использование разнообразных open-source и proprietary моделей, простых и продвинутых техник промпт-инжиниринга, так и различных методологий в ключе тематического моделирования (экспертное или автоматическое выделение тем).
По результатам сравнения с выборкой, размеченной экспертно, количество галлюцинаций модели (неверная категоризация, определение аспекта или оценочного термина, пропуск аспекта) не превышает 3—5 % в зависимости от музейного объекта.
Полученные данные — набор квадруплетов аспектов, оценочных терминов, сентимент-меток и категорий — позволили выявить наиболее эффективный подход в методологии opinion mining для культурных институций и также были переданы администрации ВСМЗ. Выводы, полученные в ходе исследования, могут быть использованы для развития продвинутых цифровых систем по анализу мнения в рамках культурных институций.