Подход АСТ-Центра к построению шкалы оценивания уровня обученности студентов
 

Пусть во время тестирования каждому студенту предъявляется набор однородных заданий (примерно равной трудности) на остаточные знания по какой-либо конкретной дисциплине. Эти задания пропорционально охватывают все основные разделы данной учебной дисциплины. Поэтому одной из простейших макрооценок уровня обученности респондента будет процент выполненных заданий, т.е. ( количество выполненных заданий / объем набора ) * 100%.

Так как в данном случае мы оперируем значениями ординальной (порядковой) шкалы, то мы можем без потери свойств шкалы (т.е. введенных операций и отношений) перейти к качественным оценкам. В большинстве случае этими оценками служат номера классов, получаемых при разбиении интервала возможных оценок [0..100].

Рассмотрим основные подходы к качественному шкалированию результатов тестовых испытаний:

1. Разбиение всего интервала возможных оценок: [0…100] на интервалы (равные или пропорциональные), одинаковые для всех дисциплин.

Представляется нам ошибочным по причине отсутствия связи с содержанием ТЗ, их объективной нормы трудности и т.д.

2. Разбиение на интервалы (равные или пропорциональные) интервала [min…max], где min, max – соответственно минимальное и максимальное встречающееся значение оценки в выборке достаточно большого объема.

Представляется нам ошибочным по причине неустойчивости полученной шкалы, когда случайные выбросы могут кардинально менять всю шкалу. К тому же, при достаточно большом объеме выборки (когда есть вероятность, пусть и достаточно малая, что будут представлены крайние (0 и 100) или близкие к ним значения) этот подход сводится к предыдущему.

3. В соответствии с распределением студентов по решаемости заданий.

Рассмотрим реальное распределение студентов по решаемости заданий (рис.1, 2). На этих графиках отображены результаты тестовых испытаний по учебным дисциплинам «Конституционное право России» (рис.1) и «Гражданское процессуальное право» (рис. 2). В обоих случаях мы имеем дело с репрезентативными выборками (объем выборки – 1200 и 835 человек соответственно, учитывались как ГОУ, так и НОУ, а также филиалы). Следовательно, можно считать, что в исследуемых группах были в соответствующих пропорциях представлены как сильные, так и слабые студенты. А значит, такое резкое отличие в диаграммах распределения зависит в первую очередь от объективной трудности всего теста (как интегральной характеристики норм трудности заданий, а также используемых форм представления ТЗ).

 
Рис.1. Распределение студентов по решаемости заданий для дисциплины
«Конституционное право России» (выборка 1200 чел.).

 
Рис.2. Распределение студентов по решаемости заданий для дисциплины
«Гражданское процессуальное право» (выборка 835 чел.).

Рассмотрим исходные данные – баллы или процент выполненных заданий. Отсутствие выполненных заданий (0 баллов) еще не означает ПОЛНОЕ отсутствие знаний по данной теме, а констатирует лишь, что норма трудности самого легкого задания в тесте выше уровня обученности студента. Соответственно, все выполненные задания (или 100 баллов) не говорят о ПОЛНОМ усвоении всего материала дисциплины, а лишь о превышении уровня учебных дстижений студента нормы трудности конечного набора заданий. В этой ситуации мы считаем обоснованным подход, основанный на анализе общего вида диаграммы распределения студентов по решаемости заданий для данной учебной дисциплины.

Мы предлагаем проводить качественное шкалирование «с конца». Т.е. основой для шкалирования должны быть не баллы, а именно распределение уровень учебных достижений тестируемых по данному, конкретному банку тестовых заданий (БТЗ). Набрав определенную базу по результатам тестовых испытаний (репрезентативную как по объему, так и по представленным категориям) мы можем говорить о распределении уровня учебных достижений респондентов.

Теперь задача ставится следующим образом: отнести этих респондентов к разным классам по результатам этих тестовых испытаний. Для этого выбираем соотношение объемов результирующих классов. Например, мы хотим разделить всех студентов на 4 примерно равные группы, для этого мы выставляем границы соответствующих классов так, чтобы полученные объемы классов максимально близко подходили к соотношению 1:1:1:1.

Более строгая математическая обработка результатов выглядит следующим образом. Для достаточно большого объема выборки строится диаграмма распределения. Затем значения диаграммы сглаживаются (например, с использованием линейных фильтров) для удаления резких скачков и провалов.

Полученное распределение аппроксимируется функцией заранее выбранного вида (например, полиномом выбранной степени)

  .
Весь объем выборки будет равен:

  .
Тогда модифицированная оценка УУД респондента, решившего x процентов заданий будет равна: 

 .

Т.е. модифицированная оценка K(x) (или шкалирующая функция) равна доле (или проценту) студентов, набравших не более x баллов.

Интервал возможных значений тот же – [0…1] (или 0…100%).

Для полученной шкалы можно вводить границы, ориентируясь на длины получаемых интервалов. Т.е. для четырех классов с равными объемами границами служат соответственно: [0…25] – [25…50] – [50…75] - [75…100].

Для оценки уровня учебных достижений студентов мы рекомендуем следующую шкалу: четыре интервала (соответствующие качественным уровням «неудовлетворительно», «удовлетворительно», «хорошо», «отлично») в пропорциональном отношении 1:4:4:1.

Таким образом, после построения аппроксимирующей функции (как интегральной характеристики трудности теста), интервалы шкалы будут привязываться к функции K(x) и равны: [0…10] – [10…50] – [50…90] – [90…100].

Здесь первый интервал соответствует области неаттестации. Например, для дисциплины «Уголовное право» (специальность 521400 «Юриспруденция»), график функции K(x) выглядит следующим образом (рис.3):

Рис.3. График функции K(x) для дисциплины «Уголовное право» (спец. 021100 «Юриспруденция»)

Здесь ось абсцисс соответствует проценту правильных заключений на  задания теста, а ось ординат – полученному студентом баллу как характеристике уровня учебных достижений по данной дисциплине.

На рис.4 представлено распределение студентов по полученным четырем классам:

 
Рис.4. Распределение студентов по решаемости заданий для дисциплины «Уголовное право» (выборка1043 чел.) с выделением интервалов качества (по горизонтали – проценты правильно решенных заданий).

В данном случае границы интервалов (в пересчете на процент правильных заключений во время тестовых испытаний) следующие: [0 … 33,5] – [33,5 … 51,2] – [51,2 … 70,5] – [70,5 … 100].

Таким образом, для данной учебной дисциплины граница неаттестации по проценту выполненных заданий составляет 33,5% (10% модифицированной шкалы).

Найденные функции - f(x) (функция распределения как интегральная характеристика трудности теста) и K(x) (шкалирующая функция, на диапазоне значений которой откладываются пропорциональные границы) - являются неотъемлемой частью теста по данной учебной дисциплине, вычисляется после апробации теста (на репрезентативной выборке достаточного объема) и меняется не чаще одного раза в полгода (или в зависимости от объема накапливаемой статистики).

В АСТ-Центре разработана программа, которая определяет границы интервалов шкалы на основе статистических данных для различного количества классов и соотношений их объемов.