Разработка чат-бота на основе нейросетевых технологий для проверки домашних заданий по китайскому языку
Юрий Сергеевич Кузьминых
Докладчик
студент 3 курса
Пермский государственный национальный исследовательский университет
Пермский государственный национальный исследовательский университет
Ключевые слова, аннотация
В работе рассматривается разработка прототипа чат-бота на основе нейросетевых технологий для автоматической проверки письменных домашних заданий по китайскому языку. Материалом исследования послужили научные публикации по автоматизированной оценке письменной речи и созданный автором корпус упражнений по теме употребления частиц 的, 地, 得. В результате создан и протестирован прототип системы, обеспечивающий семантическое сопоставление ответов и генерацию пояснений к ошибкам.
Тезисы
Ключевые слова: автоматическая проверка заданий; большие языковые модели; обработка китайского текста; образовательные чат-боты; цифровизация обучения
В условиях цифровизации образования и роста интереса к китайскому языку возрастает потребность в автоматизации проверки письменных домашних заданий [Ramesh, 2022]. Цель исследования — разработка прототипа Telegram-чат-бота на основе нейросетевых технологий для автоматической проверки упражнений по китайскому языку с генерацией пояснений к ошибкам. Научная новизна заключается в интеграции большой языковой модели в диалоговый формат проверки с учётом лингвистической специфики китайского языка и вариативности письменных ответов обучающихся. Материалом исследования послужили научные публикации по автоматической оценке письменных работ и обработке китайского текста, а также разработанный автором корпус из 30 упражнений по теме употребления частиц 的, 地, 得, представленный в формате .json. Использованы методы анализа литературы, моделирования архитектуры системы, эксперимента и измерения количественных показателей работы прототипа. Архитектура бота включает два режима — «Учитель» и «Ученик». В режиме «Учитель» осуществляется загрузка файла с заданиями и ключами; в режиме «Ученик» — последовательная выдача упражнений, автоматическое сопоставление ответа с эталоном и обращение к языковой модели при выявлении ошибки. Семантическое сравнение учитывает допустимые вариации формулировок, возможные незначительные опечатки и различия между графическими стандартами. При неверном ответе модель формирует краткое объяснение, например разграничивая функции частиц 的 и 得 и указывая на синтаксическую позицию каждой из них в предложении. После завершения работы автоматически формируется итоговый отчёт с указанием процента правильных ответов и рекомендациями по повторению сложных тем [Yang et al, 2023;Lin, 2024]. Тестирование прототипа на выборке заданий продемонстрировало устойчивую работу алгоритма сопоставления и корректную генерацию комментариев к ошибкам. Среднее время формирования пояснения составило 170—330 секунд и варьировалось в зависимости от объёма ответа и вычислительных ресурсов локально установленной модели. Анализ полученных комментариев показал их содержательность и соответствие грамматической норме, однако в отдельных случаях наблюдалась избыточность формулировок и склонность модели к чрезмерной детализации объяснения.
Данный результат подтверждает необходимость оптимизации промптов, более строгой регламентации структуры ответа и использования более производительных языковых моделей для повышения скорости и компактности генерируемой обратной связи. Практическая значимость исследования определяется возможностью внедрения системы в образовательные платформы и её адаптации для других иностранных языков.
Литература:
Ramesh D., Sanampudi S.K. An automated essay scoring systems: a systematic literature review // Artificial Intelligence Review. 2022. 55(3), 2495—2527.
Yang H. et al. Automatic Essay Evaluation Technologies in Chinese Writing — A Systematic Literature Review // Applied Sciences. 2023. 13(19), 10737.
Lin S. Evaluating LLMs’ grammatical error correction performance in learner Chinese // PLOS ONE. 2024.19(10), e0312881.
В условиях цифровизации образования и роста интереса к китайскому языку возрастает потребность в автоматизации проверки письменных домашних заданий [Ramesh, 2022]. Цель исследования — разработка прототипа Telegram-чат-бота на основе нейросетевых технологий для автоматической проверки упражнений по китайскому языку с генерацией пояснений к ошибкам. Научная новизна заключается в интеграции большой языковой модели в диалоговый формат проверки с учётом лингвистической специфики китайского языка и вариативности письменных ответов обучающихся. Материалом исследования послужили научные публикации по автоматической оценке письменных работ и обработке китайского текста, а также разработанный автором корпус из 30 упражнений по теме употребления частиц 的, 地, 得, представленный в формате .json. Использованы методы анализа литературы, моделирования архитектуры системы, эксперимента и измерения количественных показателей работы прототипа. Архитектура бота включает два режима — «Учитель» и «Ученик». В режиме «Учитель» осуществляется загрузка файла с заданиями и ключами; в режиме «Ученик» — последовательная выдача упражнений, автоматическое сопоставление ответа с эталоном и обращение к языковой модели при выявлении ошибки. Семантическое сравнение учитывает допустимые вариации формулировок, возможные незначительные опечатки и различия между графическими стандартами. При неверном ответе модель формирует краткое объяснение, например разграничивая функции частиц 的 и 得 и указывая на синтаксическую позицию каждой из них в предложении. После завершения работы автоматически формируется итоговый отчёт с указанием процента правильных ответов и рекомендациями по повторению сложных тем [Yang et al, 2023;Lin, 2024]. Тестирование прототипа на выборке заданий продемонстрировало устойчивую работу алгоритма сопоставления и корректную генерацию комментариев к ошибкам. Среднее время формирования пояснения составило 170—330 секунд и варьировалось в зависимости от объёма ответа и вычислительных ресурсов локально установленной модели. Анализ полученных комментариев показал их содержательность и соответствие грамматической норме, однако в отдельных случаях наблюдалась избыточность формулировок и склонность модели к чрезмерной детализации объяснения.
Данный результат подтверждает необходимость оптимизации промптов, более строгой регламентации структуры ответа и использования более производительных языковых моделей для повышения скорости и компактности генерируемой обратной связи. Практическая значимость исследования определяется возможностью внедрения системы в образовательные платформы и её адаптации для других иностранных языков.
Литература:
Ramesh D., Sanampudi S.K. An automated essay scoring systems: a systematic literature review // Artificial Intelligence Review. 2022. 55(3), 2495—2527.
Yang H. et al. Automatic Essay Evaluation Technologies in Chinese Writing — A Systematic Literature Review // Applied Sciences. 2023. 13(19), 10737.
Lin S. Evaluating LLMs’ grammatical error correction performance in learner Chinese // PLOS ONE. 2024.19(10), e0312881.