45th International Philological Research Conference

Установление стандарта проходного балла: валидность, надежность, практичность

Светлана Эдуардовна Шевченко
Докладчик
заведующий отделом
Центр лингводидактического тестирования СПбГУ
Елена Федоровна Прохорова
Докладчик
директор
Центр лингводидактического тестирования СПбГУ

2-У
2016-03-14
17:30 - 18:00

Ключевые слова, аннотация

Рассматривается проблема определения стандарта проходного балла в рецептивных видах речевой деятельности. Анализируются результаты международной экспертизы по соотнесению Теста второго сертификационного уровня (английский язык) с Общеевропейской шкалой иноязычной коммуникативной компетенции. Сравниваются различные методы установления проходного балла в языковых тестах, обосновывается преимущество методов, основанных на применении современной теории тестов (IRT), обеспечивающих валидность, надежность и практичность установления стандарта проходного балла в различных версиях языкового теста.

Тезисы

При установлении стандарта проходного балла для рецептивных видов речевой деятельности Теста второго сертификационного уровня были использованы тест-ориентированные методы, представленные Голландской версией метода закладок (Cito Variation on the Bookmark Method) и Модифицированной версией метода Ангоффа.
Ключевым для этих методов является понятие «пороговый тестируемый». В контексте соотнесения Теста второго сертификационного уровня с Общеевропейской шкалой иноязычной коммуникативной компетенции — это студент, который владеет минимально допустимым набором языковых навыков и речевых умений уровня В2 Общеевропейской шкалы иноязычной коммуникативной компетенции.
В параллели с методом Ангоффа, традиционным и достаточно распространенным, использовался более современный метод — Голландская версия метода закладок, в основе которого лежит однопараметрическая логистическая модель (OPLM). Эта модель объединяет математические достоинства однопараметрической модели Раша с характеристиками двухпараметрической логистической модели, которая оценивает не только параметры трудности заданий, но и учитывает коэффициенты дискриминации заданий как заданные константы (Verhelst, Glas & Verstralen, 1995).
Базовым понятием данной модели является понятие способности тестируемого, представленной в виде латентного параметра, который отражает соответствие между эмпирическими данными ответов тестируемых и предполагаемой вероятностью правильного ответа тестируемого.
В отличие от других методов Голландская версия метода закладок использует три уровня вероятности правильного ответа на тестовый вопрос.
Эксперты, работающие с этим методом имели в своем распоряжении графическое изображение, отражающее статистические характеристики каждого тестового вопроса, который они анализировали, основанные на реальных результатах выполнения тестового вопроса тестируемыми. Это помогало принимать правильное решение в проблемных ситуациях оценивания того или иного тестового вопроса.
Таким образом, данный метод позволил объединить оценку эксперта и объективные данные по качественным характеристикам тестовых вопросов, что, свидетельствует о большой валидности, надежности и достоверности стандарта проходного балла.
Еще одно преимущество Голландской версии метода закладок заключается в его практичности. Поскольку он основан на модели, эквивалентной двухпараметрической логистической модели IRT, это позволило не выносить на экспертную оценку тест целиком, а использовать репрезентативную выборку тестовых вопросов в каждом разделе теста, что значительно сократило время работы экспертов.
Важным доказательством практичности Голландской версии метода закладок является возможность переноса стандарта проходного балла, установленного в рамках экспертизы, на иные варианты Теста Второго сертификационного уровня.