LLM и интерпретация политических текстов: возможности и ограничения
Арина Сергеевна Куркина
Докладчик
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики
Ключевые слова, аннотация
Работа посвящена оценке надежности LLM при анализе политических текстов в рамках критического дискурс анализа. На материале предвыборных текстов британских партий 2024 года сопоставлены ручное и автоматизированное выделение компонентов сценария, формирующих проблемную ситуацию и распределение ответственности. Показано, что LLM уступают человеку в глубине контекстной интерпретации, ориентируются на статистические паттерны, но не воспроизводят причинно-следственные и идеологические связи в текстах.
Тезисы
Ключевые слова: gpt; политические тексты; качественный анализ; генеративный искусственный интеллект
Большие языковые модели (LLM) значительно расширили возможности автоматизированного анализа текстов, включая тематическое моделирование, контент-анализ и аннотирование корпусов. В то же время критический дискурс анализ (КДА) основан на пристальном чтении и интерпретации, что делает анализ больших корпусов трудоемким и долгим процессом [Curry et al., 2024]. В связи с этим возникает вопрос, насколько надежно LLM способны воспроизводить результаты КДА при работе с политическими текстами. Под надежностью понимается согласованность извлеченных моделью компонентов сценария с результатами ручного извлечения по полноте, категориальной точности и сохранению причинно-следственных и идеологических связей.
Материалом исследования послужил корпус предвыборных текстов британских политических партий периода парламентской кампании 2024 года (154 783 слова). Анализ основан на выделении компонентов сценария: проблемной ситуации (Negative Condition), виновных (Wrongdoers), жертв (Victims), ответственных за решение проблемы (Responsible Actors) и желаемого результата (Desirable Outcome). На первом этапе элементы сценариев извлекались вручную и фиксировались в таблице, на втором этапе аналогичная процедура была выполнена с использованием GPT-4-o-mini. Полученные результаты были сопоставлены для выявления систематических расхождений.
Качественный анализ показал, что LLM не способны выявлять содержательную природу компонентов сценария. Ниже рассмотрим отдельные примеры на материале сценариев партии Sinn Féin, однако выявленные тенденции носят систематический характер. Для начала, модель выделяет компоненты по ассоциативному принципу. Так, намерение партии продолжить развитие Ольстерского университета, представленное в текстах как последовательная реализация положительных инициатив в интересах населения (the strong Sinn Féin team to expand Magee), интерпретируется моделью как обвинение предыдущих акторов в бездействии (Previous administrations did not prioritize Magee’s expansion).
Также, нарушается категориальная строгость при выделении компонентов: в список виновных попадают не только лица, виновные в кризисе, но и компоненты проблемной ситуации (Ineffective policies, Lack of prioritization for Magee expansion).
Кроме того, модель иногда порождает логические противоречия. Так, в списке виновных в отсутствии референдума одновременно указаны British government и Irish government, что создает внутреннее противоречие, поскольку Sinn Féin входит в состав ирландского правительства.
Наконец, игнорируются культурно и политически значимые маркеры идентичности. Призыв голосовать на ирландском языке (Vótáil Sinn Féin) является примером ответственных действий: партия целенаправленно обращается к ирландской идентичности избирателей, подчеркивая свою уникальную роль в продвижении этих ценностей. Модель не фиксирует этот компонент.
Таким образом, модель в первую очередь ориентируется на статистические паттерны и оценочность отдельных словосочетаний, а не на логику и причинно-следственные связи в тексте, упускает культурно и политически значимые маркеры и смягчает резкие оценочные формулировки. Поэтому результаты интерпретации LLM требуют критического подхода и экспертной проверки.
Литература
Curry N., Baker P., Brookes G. Generative AI for corpus approaches to discourse studies: A critical evaluation of ChatGPT // Applied Corpus Linguistics. 2024. 4 (1). 1—9.
Большие языковые модели (LLM) значительно расширили возможности автоматизированного анализа текстов, включая тематическое моделирование, контент-анализ и аннотирование корпусов. В то же время критический дискурс анализ (КДА) основан на пристальном чтении и интерпретации, что делает анализ больших корпусов трудоемким и долгим процессом [Curry et al., 2024]. В связи с этим возникает вопрос, насколько надежно LLM способны воспроизводить результаты КДА при работе с политическими текстами. Под надежностью понимается согласованность извлеченных моделью компонентов сценария с результатами ручного извлечения по полноте, категориальной точности и сохранению причинно-следственных и идеологических связей.
Материалом исследования послужил корпус предвыборных текстов британских политических партий периода парламентской кампании 2024 года (154 783 слова). Анализ основан на выделении компонентов сценария: проблемной ситуации (Negative Condition), виновных (Wrongdoers), жертв (Victims), ответственных за решение проблемы (Responsible Actors) и желаемого результата (Desirable Outcome). На первом этапе элементы сценариев извлекались вручную и фиксировались в таблице, на втором этапе аналогичная процедура была выполнена с использованием GPT-4-o-mini. Полученные результаты были сопоставлены для выявления систематических расхождений.
Качественный анализ показал, что LLM не способны выявлять содержательную природу компонентов сценария. Ниже рассмотрим отдельные примеры на материале сценариев партии Sinn Féin, однако выявленные тенденции носят систематический характер. Для начала, модель выделяет компоненты по ассоциативному принципу. Так, намерение партии продолжить развитие Ольстерского университета, представленное в текстах как последовательная реализация положительных инициатив в интересах населения (the strong Sinn Féin team to expand Magee), интерпретируется моделью как обвинение предыдущих акторов в бездействии (Previous administrations did not prioritize Magee’s expansion).
Также, нарушается категориальная строгость при выделении компонентов: в список виновных попадают не только лица, виновные в кризисе, но и компоненты проблемной ситуации (Ineffective policies, Lack of prioritization for Magee expansion).
Кроме того, модель иногда порождает логические противоречия. Так, в списке виновных в отсутствии референдума одновременно указаны British government и Irish government, что создает внутреннее противоречие, поскольку Sinn Féin входит в состав ирландского правительства.
Наконец, игнорируются культурно и политически значимые маркеры идентичности. Призыв голосовать на ирландском языке (Vótáil Sinn Féin) является примером ответственных действий: партия целенаправленно обращается к ирландской идентичности избирателей, подчеркивая свою уникальную роль в продвижении этих ценностей. Модель не фиксирует этот компонент.
Таким образом, модель в первую очередь ориентируется на статистические паттерны и оценочность отдельных словосочетаний, а не на логику и причинно-следственные связи в тексте, упускает культурно и политически значимые маркеры и смягчает резкие оценочные формулировки. Поэтому результаты интерпретации LLM требуют критического подхода и экспертной проверки.
Литература
Curry N., Baker P., Brookes G. Generative AI for corpus approaches to discourse studies: A critical evaluation of ChatGPT // Applied Corpus Linguistics. 2024. 4 (1). 1—9.