Модели адаптивного тестирования
 
Центр образовательных коммуникаций и тестирования профессионального образования
Буздова А. А., Семенов И.А.

При моделировании ответов в настоящее время наиболее развит анализ IRT теории, которая использует для моделирования вероятностей правильных ответов логистическую кривую. Проведен сравнительный анализ логистического и нормального распределений. Показано, что, рассматривая логистическое распределение очень хорошо аппроксимируется нормальным. В свою очередь нормальный закон является предельным случаем биномиального распределения. Этот факт можно формально интерпретировать так, что «уровень знаний» является долей решенных задач, так как число решенных из общего числа задач при заданной вероятности решения подчинено биномиальному распределению.

Далее предполагается, что сложность задания задана некоторым числовым значением, и в результате выполнена формализация процесса тестирования в виде марковской цепи, в которой вероятности переходов по сложностям определяются на основании логистической кривой. Предполагается, что ответы на задания — независимые величины. Поэтому используется однородная марковская цепь, где состояниями цепи являются меры сложности заданий. Показано, что для построенной цепи существует единственное, не зависящее от начального состояния, стационарное распределение. Найдено аналитическое решение стационарных вероятностей.

Увеличивая дискретизацию сложности, т.е. увеличивая количество состояний марковской цепи показана сходимость к непрерывному распределению. Найдено предельное распределение, которое используется для визуализации преобразований «сложности» в «знание». На практике наиболее естественны случаи, когда оценки имеют постоянную дисперсию или постоянный коэффициент вариации. Постоянный коэффициент вариации объясняется увеличением неопределенности при возрастании «уровня знаний». Постоянная дисперсия может использоваться, когда изменение уровня знаний невелико. Для постоянной дисперсии показано, что преобразование носит экспоненциальный характер. Экспоненциальная функция монотонная и большим значениям функции «уровень знаний» соответствуют большие значения плотности распределения «сложности» решаемой задачи. Соответственно максимум плотности приходится на максимум целевой функции. Для постоянного коэффициента вариации (g) показано, что преобразование описывается степенной функцией, а при g=1 функция плотности вероятности с точностью до постоянного множителя на всей области определения совпадает со средним значением функционала. Таким образом, если есть мера «сложности» задания, то определена и мера «уровня знаний» и она совпадает с плотностью распределения адаптивного алгоритма тестирования.

Математическая модель адаптивного контроля знаний определяет уровень обученности учащихся в зависимости от трудности заданий. Теоретической основой адаптивного контроля является теория IRT в сочетании с дидактическим принципом индивидуализации обучения. Другой подход к созданию педагогических тестов и к интерпретации результатов их выполнения представлен в так называемой современной теории педагогических измерений Item Response Theory (IRT), получившей широкое развитие в 60-е - 80-е годы в ряде западных стран. К исследованиям последних лет в этом направлении относятся труды B.C.Аванесова, В.П.Беспалько, Л.В.Макаровой, В.И.Михеева, Б.У.Родионова, А.О.Татура, В.С.Черепанова, Д.В.Люсина, М.Б.Челышковой, Т.Н.Родыгиной. Е.Н.Лебедевой и др.

К наиболее значимым преимуществам IRT относят измерение значений параметров испытуемых и заданий теста в одной и той же шкале, что позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого задания теста. Именно на этом свойстве оценок параметров испытуемых и заданий основана организация современного адаптивного контроля знаний. Критики тестов интуитивно осознавали невозможность точного измерения знаний испытуемых различного уровня подготовки с помощью одного и того же теста. Это одна из причин того, что в практике стремились обычно создавать тесты, рассчитанные на измерение знаний испытуемых самого многочисленного, среднего уровня подготовленности. Естественно, что при такой ориентации теста знания у сильных и слабых испытуемых измерялись с меньшей точностью.

Обработка результатов тестирования по IRT: определяется групповая адаптивность, на соответствие среднего логита трудности заданий теста Вср. и среднего логита обученности испытуемых Qcp. по выражению:

Агр=1- [Qcp. - Вер.]

Групповая адаптивность Агр.=1 при идеальном соответствии Вер. и Qcp. Результаты предварительного тестирования группы учащихся имеют значения Агр. далеко не равными единице, поэтому следующим шагом является изменение значения групповой адаптивности путем исключения из теста “неработающих” заданий в этой группе тестируемых с Bj=0 и определение уровня обученноети каждого испытуемого, а также получения в этом случае индивидуальных характеристических кривых испытуемых. В дальнейшем определяется истинный балл как сумма всех вероятностей ответов каждого испытуемого на каждое задание теста и оценивается уровень знаний.

Таким образом, появляется возможность для данного испытуемого выбирать соответствующий его уровню набор тестовых заданий и испытуемые могут быть протестированы тестами составленными индивидуально для них. Для группы тестируемых создаются адаптивные тесты, имеющие разную длину и время выполнения для сильных, слабых и средних учащихся данной группы. Такой процесс требует компьютерной технологии создания, хранения тестов, проведения тестирования и обработки результатов тестирования.

По сути, эта технология дает начало новой организации как тестового контроля знаний, так и учебного процесса в целом, на более высоком научном уровне.

В условиях массового образования адаптивное обучение дает возможность эффективной практической реализации принципа индивидуализации обучения.

Применение адаптированных тестовых измерителей позволит повысить объективность оценки уровня знаний испытуемых с использованием меньшего количества тестовых заданий по сравнению с обычным тестированием за счет снижения погрешности измерения в выборке учащихся, адаптивной предлагаемым трудностям тестовых заданий;

Тестирование по методу цепочек вопросов

Автоматизированная система контроля знаний предлагает преподавателю использовать цепочную систему вопросов, когда несколько вопросов объединяются в фиксированную последовательность (цепочку) по некоторому смысловому признаку, определяемому преподавателем, а каждому вопросу в цепочке присваивается некоторый коэффициент важности данного вопроса в данной цепочке. Этот коэффициент изменяется от 0 и сумма коэффициентов вопросов в цепочке принимается равной 1. Смысл коэффициента раскрывается при обработке результатов тестирования: оценка за ответы на вопросы, объединенные в цепочку, выставляется в зависимости от важности вопросов, на которые были даны правильные ответы. Цепочка может содержать неограниченное число вопросов, объединенных по семантическому признаку внутри выбранной темы тестирования. Вырожденным случаем цепочной структуры является наличие в цепочке всего лишь одного вопроса. В этом случае коэффициент его важности, очевидно, устанавливается равным единице.

Автоматизированный контроль знаний по методике уточняющих вопросов.

Концепция базируется на автоматизации методики уточняющих вопросов, широко используемой в педагогической практике для выявления глубины знаний обучаемого. Относительная важность задаваемых вопросов определяется их весовыми коэффициентами, учитываемыми при подведении результатов тестирования.

Каждая цепочка представляет собой последовательность близких по тематике вопросов, формулируемых для уточнения знаний экзаменуемого. Очередной вопрос в цепочке задается только после получения ответа на предыдущий вопрос. В зависимости от стратегии тестирования, избираемой организатором контроля знаний, очередной вопрос в цепочке может предъявляться до первой ошибки (“строгий” преподаватель), либо экзаменуемому предоставляется возможность демонстрировать максимум знаний, отвечая на все вопросы данной тематической последовательности.

В цепочку может объединяться неограниченное количество тематически близких вопросов. В вырожденном случае цепочка состоит из единственного вопроса, коэффициент важности которого устанавливается равным 1.

Процедура количественного оценивания знаний, выявленных в ходе тестирования, состоит из трех этапов. На первом рассчитываются баллы, набранные за правильные ответы в рамках каждой отдельной тематической последовательности. На втором этапе рассчитывается суммарный балл SΣ за ответы на все вопросы теста с учетом количества цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время. На третьем этапе определяется итоговая оценка знаний экзаменуемого. Для этого набранный им суммарный балл SΣ проецируется на оценочную шкалу, имеющую вид [0; I1; I2; I3; 1] , где 0<I1<I2<I3<1 – границы интервальных диапазонов оценок, задаваемые преподавателем при организации тестирования.

Метод адаптивного автоматизированного тестирования знаний.

Адаптивным тестированием знаний будем называть способ экзаменационного контроля уровня подготовки обучаемого, при котором процедура выбора и предъявления ему очередного тестового задания на (t+1)-м шаге тестирования определяется ответами обучаемого на предыдущих t шагах теста. Математическую основу такого учета составляет модель объединения тестовых заданий в тематические последовательности со взвешенным ранжированием как отдельных заданий, так и целых последовательностей и выведением итоговой оценки за тест с учетом нормированной суммы баллов, накапливаемой за выбранные обучаемым варианты ответов.

Литература:
1. Аванесов B.C., Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед.вузов. 2 изд., испр.. и доп. М.: Адепт.
2. Рудинский И.Д., Соловей Е.В. «реализация алгоритмов прямого тестирования в интеллектуальной автоматизированной системе контроля знаний». Сборник материалов конференции, 2001
3. Рудинский И.Д., «Метод адаптивного автоматизированного контроля знаний». Сборник материалов конференции, 2001
4. Челышкова М.Б., Разработка педагогических тестов на основе современных математических моделей: Уч.пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 1995

Вернуться к списку статей