Генерация специальных текстов для оценки навыков чтения у младших школьников
Елизавета Алексеевна Стельмак
Докладчик
студент 4 курса
Национальный исследовательский университет «Высшая школа экономики»
Национальный исследовательский университет «Высшая школа экономики»
Ключевые слова, аннотация
В докладе представлены результаты статистического сравнения того, как различные большие языковые модели справляются с генерацией текстов для диагностики навыков чтения. Качество сгенерированного текста оценивалось по следующим критериям: количество слов в тексте, количество уникальных слов в тексте, среднее количество слов в предложении, количество лексики, не входящей в словарь частотной лексики, среднее количество слогов в слове. Было установлено, что лучшие результаты по критериям показал ChatGPT.
Тезисы
Ключевые слова: генерация текстов; промпт-инжиниринг; бенчмарк; СМИНЧ; дислексия
Стандартизированная методика исследования навыка чтения (СМИНЧ), разработанная А. Н. Корневым [Корнев, 1997], является в настоящее время авторитетным и востребованным способом оценки вышеупомянутого навыка у детей. А представленные им тексты «Как я ловил раков» и «Неблагодарная ель» являются образцовыми для диагностики. Несмотря на действенность этого метода, в настоящий момент до сих пор наблюдается нехватка текстов, соответствующих СМИНЧ. При проверке навыков чтения и их коррекции важно учитывать личностные интересы и возраст ребенка, поскольку персонализированные тексты способствуют более вовлеченному участию в логопедическом процессе [Цветкова, 1997; Величенкова, 2016]. Подбор или создание подходящего текста может быть времязатратным и затруднительным процессом. Целью этого исследования является создание удобного инструмента генерации текстов для специальных целей по индивидуализированному запросу пользователя, который бы позволил расширить коллекцию текстов, соответствующих методике СМИНЧ.
Для реализации работы инструмента был создан промпт для передачи больших языковых моделей (БЯМ) основных параметров для генерации текста. Сгенерированный текст далее оценивался на соответствие указанным в промпте параметрам посредством бенчмарка в формате «вопрос — ответ». Генерация текста проверялась на таких языковых моделях как: ChatGPT, DeepSeek, GigaChat и Saiga. Качество сгенерированного текста оценивалось по следующим критериям: количество слов в тексте, количество уникальных слов в тексте, среднее количество слов в предложении, количество лексики, не входящей в словарь частотной лексики, среднее количество слогов в слове. При проверке навыка чтения оценивается не только техника, но и его понимание. Чтобы обеспечить соответствие этому критерию, инструмент также генерирует вопросы. Их соотнесенность с содержанием текста оценивается с помощью бинарного признака.
По результатам работы лучшее соответствие критериям показал ChatGPT; GigaChat и Saiga лучше справлялись с подбором слов подходящих слоговому лимиту и имели больший диапазон синонимичных слов, соотвествующих СМИНЧ; БЯМ корректно справлялись с генерацией текстов для специальных целей, полное соблюдение установленных в СМИНЧ критериев наблюдалось примерно в 70 % случаев генерации.
Литература:
Корнев А. Н. Нарушения чтения и письма у детей: Учебно-методическое пособие. СПб., 1997.
Цветкова Л. С. Нейропсихология счета, письма и чтения: нарушение и восстановление. М., 1997.
Величенкова О. А. Формирование навыка чтения у детей с предрасположенностью к дислексии в условиях современного начального образования // Педагогический журнал. 2016. Вып. 1. С. 87—101.
Стандартизированная методика исследования навыка чтения (СМИНЧ), разработанная А. Н. Корневым [Корнев, 1997], является в настоящее время авторитетным и востребованным способом оценки вышеупомянутого навыка у детей. А представленные им тексты «Как я ловил раков» и «Неблагодарная ель» являются образцовыми для диагностики. Несмотря на действенность этого метода, в настоящий момент до сих пор наблюдается нехватка текстов, соответствующих СМИНЧ. При проверке навыков чтения и их коррекции важно учитывать личностные интересы и возраст ребенка, поскольку персонализированные тексты способствуют более вовлеченному участию в логопедическом процессе [Цветкова, 1997; Величенкова, 2016]. Подбор или создание подходящего текста может быть времязатратным и затруднительным процессом. Целью этого исследования является создание удобного инструмента генерации текстов для специальных целей по индивидуализированному запросу пользователя, который бы позволил расширить коллекцию текстов, соответствующих методике СМИНЧ.
Для реализации работы инструмента был создан промпт для передачи больших языковых моделей (БЯМ) основных параметров для генерации текста. Сгенерированный текст далее оценивался на соответствие указанным в промпте параметрам посредством бенчмарка в формате «вопрос — ответ». Генерация текста проверялась на таких языковых моделях как: ChatGPT, DeepSeek, GigaChat и Saiga. Качество сгенерированного текста оценивалось по следующим критериям: количество слов в тексте, количество уникальных слов в тексте, среднее количество слов в предложении, количество лексики, не входящей в словарь частотной лексики, среднее количество слогов в слове. При проверке навыка чтения оценивается не только техника, но и его понимание. Чтобы обеспечить соответствие этому критерию, инструмент также генерирует вопросы. Их соотнесенность с содержанием текста оценивается с помощью бинарного признака.
По результатам работы лучшее соответствие критериям показал ChatGPT; GigaChat и Saiga лучше справлялись с подбором слов подходящих слоговому лимиту и имели больший диапазон синонимичных слов, соотвествующих СМИНЧ; БЯМ корректно справлялись с генерацией текстов для специальных целей, полное соблюдение установленных в СМИНЧ критериев наблюдалось примерно в 70 % случаев генерации.
Литература:
Корнев А. Н. Нарушения чтения и письма у детей: Учебно-методическое пособие. СПб., 1997.
Цветкова Л. С. Нейропсихология счета, письма и чтения: нарушение и восстановление. М., 1997.
Величенкова О. А. Формирование навыка чтения у детей с предрасположенностью к дислексии в условиях современного начального образования // Педагогический журнал. 2016. Вып. 1. С. 87—101.