Эврика! Дом творческих и вдумчивых людей
Добро пожаловать на первый в Латвии мультитематический и межвузовский научный портал!

Сделать стартовой
Добавить в избранное
Контакты
 
   Главная      Эврика      Библиотека      Досуг      Контакты     БДС  

Библиотека : Научно-популярные статьи : Образование





Олег Владимирович Михеев

Математические модели стандартных педагогических тестов

Московский Государственный Технический Университет им. Н.Э. Баумана (МГТУ им. Н.Э. Баумана)

В докладе представлены результаты работы по анализу и систематизации математических моделей современной теории тестов, как параметрических, так и непараметрических. Представлена классификация моделей, анализ их достоинств и недостатков. Результаты работы используются в автоматизированном тестировании по курсу «Сетевые технологии» на кафедре «Компьютерные системы и сети» МГТУ им. Баумана.

В последние годы в отечественной практике педагогического тестирования намечен переход от простого шкалирования результатов по числу правильных ответов к более сложным методам, основанным на математических моделях современной теории параметризации и моделирования педагогических тестов (ТМППТ). Поскольку современная теория тестов предлагает достаточно большое число математических моделей, задача выбора той или иной модели применительно к конкретной ситуации приобретает большую актуальность.

Прежде всего можно выделить два больших класса математических моделей – параметрические и непараметрические. Параметрические модели подразумевают набор параметров для описания заданий, что накладывает дополнительные ограничения на сами задания. Непараметрические модели предполагают меньшее число начальных ограничений, их всего 3:

  1. Статистическая независимость заданий – общая вероятность получения того или иного набора ответов (x1…xj) на задания (X1…Xj) может быть выражена как произведение частных вероятностей.
  2. Монотонность – характеристические кривые заданий P(Xj=1|T) являются неубывающими функциями уровня подготовленности T (или неубывающими по каждой из координат, если Tвектор)
  3. Непрерывность – T является вещественным числом, или вектором вещественных чисел (т.е. подготовленность оценивается в непрерывной шкале)

Эти 3 ограничения являются базовыми и характерны как для непараметрических, так и для параметрических моделей. Из них вытекает, например, такое интересное следствие — для теста из J заданий, для любых c и k, 0 <= c <= k <= J для всех t справедливо:

P(T > t | R = c) <= P(T > t | R = k)

где R — число правильных ответов, T – уровень подготовленности.

Другими словами, в любой модели, удовлетворяющей 3 базовым ограничениям, первичный балл можно использовать для ранжирования тестируемых по уровню подготовленности (при достаточной длине теста).

В непараметрических моделях подготовленность оценивается по дискретной шкале, а в качестве математического аппарата используется нелинейная регрессия. Непараметрические модели могут применяться там, где экспериментальные данные не удовлетворяют ограничениям выбранной параметрической модели.

В параметрических моделях тестовые задания описываются с помощью набора параметров (трудность, различающая способность и т.д.). Среди параметрических моделей можно выделить следующие классы:

  • ответы на задания – дихотомические или политомические (упорядосенные или неупорядоченные);
  • одномерные (гомогенные тесты – уровень подготовленности) или многомерные (гетерогенные тесты – вектор подготовленности);
  • по количеству параметров (одно-, двух- и трехпараметрические)

Базовой считается однопараметрическая модель, разработанная Г.Рашем в 1960 г. В рамках этой модели задания характеризуются только одним параметром – трудностью. Вероятность правильного ответа на задание с трудностью Bj для испытуемого с уровнем подготовленности Ti выражается зависимостью:

Pj(T) = exp(Ti — Bj) / (1 + exp(Ti — Bj))

Достоинство модели Раша – аддитивность, т.е. вероятность успеха зависит только от разницы между уровнем подготовленности и трудностью задания. Вместе с тем модель Раша требует наиболее тщательного подбора заданий, т.к. накладывает жесткие ограничения на форму характеристических кривых.

Модель Бирнбаума описывает задания тремя параметрами – трудностью (B), различающей способностью (A) и параметром угадывания (C). Это накладывает менее жесткие ограничения на форму характеристических кривых, однако предполагает более сложные процедуры калибровки и анализа результатов. Вероятность успеха для модели Бирнбаума имеет вид:

Pj(T) = Cj + (1 – Cj) * exp(Aj * (Ti – Bj)) / (1 + exp(Aj * (Ti – Bj)))

Многомерные модели представлены двумя классами – аддитивные и конъюнктивные. В аддитивных моделях вместо общего уровня подготовленности используется линейная комбинация частных уровней, элементов вектора подготовленности (T1 … Td) с весовыми коэффициентами Aj:

P[Xj = 1 | T1, … , Td] = P( Aj1*T1 + … + Ajd*Td )

В конъюнктивных моделях вероятность успеха представлена произведением частных вероятностей по каждому элементу вектора подготовленности:

P[Xj = 1 | T1, … , Td] = Pj1(T1) * Pj2(T2) * … * Pjd(Td)

К достоинствам параметрических моделей можно отнести наличие непрерывной шкалы уровня подготовленности, что позволяет соотносить между собой результаты по различным тестам. Общим недостатком этих моделей является необходимость в калибровке, т.е. в эмпирическом определении параметров заданий, требующем достаточно большого количества экспериментальных данных. Поэтому параметрические модели целесообразно применять при средне- и широкомасштабном нормативно-ориентированном тестировании. В случаях, когда достаточно дискретной оценки уровня подготовленности и нет необходимости ориентироваться на средние по выборке значения уровня подготовленности, целесообразно использовать непараметрические модели.

Литература:

  1. Аванесов В.С. Математические модели педагогического измерения. – М.: Б.и., 1994.- 26с.
  2. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. – М : Прометей, 2000. – 169 с.
  3. Челышкова М.Б. Применение математических моделей для разработки педагогических тестов. — Учебное пособие. — М.: Исследовательский центр, 1995. — 48 с.

Источник



Добавлено: 2006-05-19
Посещений текста: 4221

[ Назад ]





© Павел Гуданец 2004-2017 гг.
 инСайт

При информационной поддержке:
Институт Транспорта и Связи