Лингвистические подходы к разработке системных ролей агентов и мультиагентов
Ирина Андреевна Таирова
Докладчик
студент 2 курса
Национальный исследовательский университет «Высшая школа экономики»
Национальный исследовательский университет «Высшая школа экономики»
Ключевые слова, аннотация
Настоящая работа посвящена исследованию и разработке лингвистических подходов к проектированию системных ролей в рамках мультиагентных систем на основе больших языковых моделей. Выявлено, что текущее назначение ролей игнорирует естественно-языковое взаимодействие, что снижает эффективность ИИ. Цель исследования — создание лингвистически-ориентированной модели распределения системных ролей. В рамках работы представлена архитектура мультимодального чат-бота в качестве практической реализации подхода. Описан план развития системы на Python с использованием библиотеки Langchain.
Тезисы
Ключевые слова: мультиагентные системы; большие языковые модели; системные роли; оркестрация
В настоящее время наблюдаются новые тренды в области разработки LLM, напр., переход от одиночных агентов к кооперативным структурам, в которых эффективность зависит от корректного распределения системных ролей между агентами. Большая часть исследований опирается на инженерный, вычислительный подход и не затрагивает лингвистические методы. Их игнорирование при разработке мультиагентных систем может привести к распространению вредоносных промптов и снижению общей эффективности системы. Целью работы является разработка методологии динамического определения ролей агентов на основе их лингвистических характеристик и реализация прототипа системы, демонстрирующего эффективность такого подхода.
Материалом для исследования послужил исполняемый скрипт на языке Python для проектируемой мультимодальной диалоговой системы, описанный в практической части работы, а также структурированный датасет с категориями намерений и системных ролей (см. https://github.com/irrina22/artmind.git). Теоретической основой послужили научные публикации, посвященные LLM и MAS [He et al., 2024; Lee, Tiwari, 2024]. Методологическая база включает сравнительно-сопоставительный анализ существующих архитектур, контент-анализ и машинное обучение для интеграции разрабатываемой лингвистической модели в общую архитектуру диалоговой системы. Практической основой выступает спроектированный мультимодальный чат-бот с модулями генерации текста, изображений и RAG, построенный на принципе оркестрации с передачей управления. В ходе анализа выявлялись закономерности влияния различных лингвистических уровней (синтаксического, прагматического, стилистического) на определение ролей агентов.
В результате проведенного анализа было обнаружено, что среди лингвистических особенностей коммуникации агентов можно выделить их взаимосвязь с ролями агентов. Это позволило обосновать и ввести понятие «лингвистического профиля агента» как совокупности синтаксических, прагматических и стилистических характеристик, присутствующих в его коммуникации. Такой профиль может включать преобладание вопросительных конструкций, характерное для агента-«верификатора», или императивных форм, свойственных агенту-«координатору». На данный момент готов скрипт на языке Python для проектируемой мультимодальной диалоговой системы, в планах создание чат-бота, где роли агентов могут динамически адаптироваться к контексту диалога. Кроме того, планируется провести тестирование для сравнения эффективности статического и динамического распределения ролей.
Литература:
Lee D., Tiwari M. Prompt infection: Llm-to-llm prompt injection within multi-agent systems, 2024.
He J. et al. Does prompt formatting have any impact on llm performance, 2024.
В настоящее время наблюдаются новые тренды в области разработки LLM, напр., переход от одиночных агентов к кооперативным структурам, в которых эффективность зависит от корректного распределения системных ролей между агентами. Большая часть исследований опирается на инженерный, вычислительный подход и не затрагивает лингвистические методы. Их игнорирование при разработке мультиагентных систем может привести к распространению вредоносных промптов и снижению общей эффективности системы. Целью работы является разработка методологии динамического определения ролей агентов на основе их лингвистических характеристик и реализация прототипа системы, демонстрирующего эффективность такого подхода.
Материалом для исследования послужил исполняемый скрипт на языке Python для проектируемой мультимодальной диалоговой системы, описанный в практической части работы, а также структурированный датасет с категориями намерений и системных ролей (см. https://github.com/irrina22/artmind.git). Теоретической основой послужили научные публикации, посвященные LLM и MAS [He et al., 2024; Lee, Tiwari, 2024]. Методологическая база включает сравнительно-сопоставительный анализ существующих архитектур, контент-анализ и машинное обучение для интеграции разрабатываемой лингвистической модели в общую архитектуру диалоговой системы. Практической основой выступает спроектированный мультимодальный чат-бот с модулями генерации текста, изображений и RAG, построенный на принципе оркестрации с передачей управления. В ходе анализа выявлялись закономерности влияния различных лингвистических уровней (синтаксического, прагматического, стилистического) на определение ролей агентов.
В результате проведенного анализа было обнаружено, что среди лингвистических особенностей коммуникации агентов можно выделить их взаимосвязь с ролями агентов. Это позволило обосновать и ввести понятие «лингвистического профиля агента» как совокупности синтаксических, прагматических и стилистических характеристик, присутствующих в его коммуникации. Такой профиль может включать преобладание вопросительных конструкций, характерное для агента-«верификатора», или императивных форм, свойственных агенту-«координатору». На данный момент готов скрипт на языке Python для проектируемой мультимодальной диалоговой системы, в планах создание чат-бота, где роли агентов могут динамически адаптироваться к контексту диалога. Кроме того, планируется провести тестирование для сравнения эффективности статического и динамического распределения ролей.
Литература:
Lee D., Tiwari M. Prompt infection: Llm-to-llm prompt injection within multi-agent systems, 2024.
He J. et al. Does prompt formatting have any impact on llm performance, 2024.