Разделение процесса тестирования на 2 этапа
 

В соответствии с концепцией, предложенной ООО "АСТ-Центр", процедура оценивания уровня учебных достижений осуществляется в два этапа.

На первом этапе в результате тестирования происходит разделение испытуемых на классы, т.е. определяется класс обученности (образ) каждого студента. Этот этап носит название классификации. Количество классов обычно равно 3, в соответствии с полученными оценками: «удовлетворительно», «хорошо», «отлично». Студенты, не попавшие ни в один из классов, получают оценку «неудовлетворительно». Здесь тестируемым предъявляются тестовые задания различной меры трудности и осуществляется структурная адаптация тестирующих воздействий. В зависимости от принятой в учебном заведении системы оценивания количество классов может быть другим. Но при этом необходимо отметить, что с увеличением количества классов понижается точность оценивания. На этапе классификации устанавливается исходный уровень обученности каждого образа.

На втором этапе – рациональной аттестации - вычисляется действительный уровень учебных достижений студента, т.е. происходит уточнение состояния обученности студента. В процессе тестирования на данном этапе испытуемому предъявляются только те задания, которые соответствуют его исходному уровню знаний, полученному в результате классификации (на первом этапе).

В результате разделения процесса тестирования на два этапа повышается верность оценивания.

Рекомендуется эти два этапа разносить во времени, так как известно, что с увеличением времени работы (а для испытуемого тестирование пока еще остается работой в экстремальных условиях с повышенной психоэмоциональной нагрузкой) у тестируемого накапливается усталость, обуславливающая появление ошибок и как следствие, снижается верность оценивания уровня учебных достижений.

Еще одним преимущество такого подхода к организации процесса тестирования заключается в том, что при использовании адаптивных алгоритмов тестирования точнее достигается заданная валидность теста. Большинство алгоритмов КАТ основываются на IRT-теории, которая допускает, что вся информация, необходимая для отбора заданий, представлена от одного до трех параметров, описывающих трудность задания для индивидов с различными уровнями достижений. В некоторых случаях при адаптивном тестировании не уделяется должного внимания ровному (включения заданий всех уровней трудностей) прохождению по всем темам или умениям. Устранить этот недостаток КАТ позволяет разбиение процесса тестирования на два этапа.

Существенными отличительными чертами компьютерного адаптивного тестирования (КАТ) являются: идеализация объекта измерений (студента) с представлением его в виде некоторой математической модели (Раша или Бернбаума) и оценка числовых значений параметров этой модели. При дидактических измерениях уровня достижений следует различать три вида ошибок: ошибку моделирования объекта, ошибку обработки заключений тестируемого на требование тестовых заданий, ошибки при установлении экспертами меры трудности тестовых заданий.

Ошибки моделирования объекта измерений состоят в том, что принимаемая модель неполностью отображает состояние обученности тестируемого. Мы будем полагать, что принятая в системе КАТ модель Раша полностью описывает процесс оценивания уровня достижений.

Ошибки, допускаемые при конструировании тестовых заданий преподавателями должны быть устранены экспертами на этапе сертификации и также исключаются нами из рассмотрения. Заметим, что в системе КАТ этот вид ошибок автоматически корректируется системой в процессе параметрической адаптации (на этапе рациональной аттестации).

Ошибки, порождаемые поведением тестируемых, присутствуют во всех видах дидактических измерений, носят случайный характер и делятся на две категории: нормальные и аномальные. Нормальные ошибки возникают под воздействием на тестируемого многих факторов, а их распределение в силу действия предельной теоремы для сумм близко к нормальному. Следует помнить, что в соответствии с теорией IRT мера трудности тестовых заданий должна соответствовать уровню обученности тестируемого. В противном случае возникают аномальные ошибки, которые могут принимать большие значения и искажать результаты тестовых испытаний.

Для исключения аномальных ошибок в системах КАТ применяются структурная адаптация, когда мера трудности тестирующих воздействий приспосабливается системой к качеству заключений каждого объекта. При этом в тестирующей системе формируется модель конкретного объекта, которая и характеризует исходный уровень достижений индивида. Это и есть этап классификации объектов, когда каждый из них относится системой КАТ к заданному образу (отличников, хорошистов, троечников).

На этапе классификации тесты формируются из тестовых заданий различной меры трудности (допускается использование не только адаптивных алгоритмов, но и апробированных тестов, формируемых в строгой последовательности заданий, случайным образом, по возрастанию меры трудности), а число предъявляемых тестовых заданий должно быть не менее 100. Задания должны проектироваться в виде кратких суждений, причем среднее время формирования тестируемым заключения на одно тестовое утверждение не должно превышать 1,5 минут. Оценка достижений тестируемого отображается на 100-бальной шкале.

Процедура классификации соответствует проведению текущих (модульных, рубежных) проверок и может осуществляться в локальной или глобальной вычислительной сети без участия преподавателя. При использовании адаптивных алгоритмов испытуемый работает в свободном режиме со свойственной только ему траекторией построения собственной модели (исходного класса обученности).

Второй этап тестовых испытаний (рациональная аттестация) необходим для установления действительного уровня учебных достижений каждого конкретного испытуемого. Поскольку исходный уровень обученности был установлен на первом этапе тестовых проверок, система будет предъявлять испытуемому тестовые задания, мера трудности которых строго соответствует его уровню обученности. Этот этап соответствует процедуре проведения промежуточных проверок – семестровых экзаменов. Число заданий в тесте для испытуемого с различным исходным уровнем обученности должно быть не менее 80. Оценка достижений испытуемого отображается на 100-бальной шкале. Верность полученной оценки при выполнении указанных выше условий составит величину 0,85. Для увеличения верности отображения состояния обученности испытуемого необходимо увеличивать число заданий в тесте.

Рациональная аттестация испытуемых проводится в локальной вычислительной сети в присутствии преподавателя или администратора или лаборанта.

Шкала оценивания устанавливается априорно и не изменяется в течение учебного года. Это позволяет объективно сравнивать уровень учебных достижений студентов на различных факультетах или в различных группах.

После проведения текущей и промежуточной проверок результаты тестовых испытаний выводятся на печать. Ошибочные заключения каждого тестируемого на требования тестовых заданий хранятся в системе КАТ не менее пяти лет.