Быстрый поиск

Дипломная работа: Особенности статистической оценки качества теста диагностики индивидуального прогресса учащихся общеобразовательной школы

2. Сумма квадратов отклонений от средней арифметической оценки . Вычисляется по формуле

для рассматриваемого примера .

3. Дисперсия тестовых результатов . Вычисляется по формуле

для нашего примера .

4. Стандартное отклонение по тесту . Находится как корень из дисперсии

В нашем случае

5. Коэффициент корреляции . Существует несколько формул для вычисления коэффициента корреляции, и все они используются в разных статистических методах оценки качества педагогического теста. Мы будем рассматривать эти формулы в процессе анализа методов.

6. Коэффициент надежности . Аналогично, как и с коэффициентом корреляции, в каждом методе используют разные формулы для вычисления коэффициента надежности. Рассмотрим их в процессе анализа методов.

Расчет перечисленных показателей также составляет основу методики количественной оценки качества педагогического теста. Как уже отмечалось раньше, с их помощью оцениваются валидность, надежность и дифференцирующая способность, которые являются основными характеристиками качества педагогического теста.

Мы рассмотрели 11 статистических показателей (5 первичных и 6 вторичных), которые используются в классической теории тестирования. Эти показатели мы будем использовать при анализе методов оценки качества педагогического теста. В следующем параграфе мы рассмотрим методы оценки основных характеристик (валидность, надежность, дифференцирующая способность) качества педагогического теста, учитывая рассмотренные выше первичные и вторичные показатели.

§2.2 МЕТОДЫ СТАТИСТИЧЕСКОЙ ОЦЕНКИ КАЧЕСТВА ТЕСТА

Методы оценки основных характеристик теста состоят из двух частей:

A. Вычисление некоторой величины или характеристики;

B. Интерпретация полученного результата, в соответствии с нормой. Норма определяется согласно специфике теста.

Как правило, прежде чем применять методы статистической обработки к тестовым заданиям, сначала используют описательную статистику, которая заключается в вычислении статистических показателей. Рассмотрим их.

Первый из них - среднее отклонение достижений испытуемых. Далее рассчитываем три взаимосвязанных показателя:

1. - сумма квадратов отклонений от средней арифметической оценки.

2. - дисперсия.

3. - стандартное отклонение по тесту.

По величине можно судить о доверительном интервале достижений испытуемых. В окрестности находится большинство достижений группы. Дисперсия тестовых результатов показывает интервал (меру разброса), в котором находятся все полученные баллы испытуемых, включая стандартное отклонение по тесту и ошибку измерения. По величине стандартного отклонения можно судить о статистическом характере распределения результатов [21]. Если средний тестовый балл равен , а , то в интервале находятся баллы, набранные большинством тестируемых.

Рассмотрим некоторые классические методы оценки основных характеристик теста (валидность, надежность, дискриминативность).

2.2.1 Методы оценки валидности

Напомним, что валидность в теории тестирования означает соответствие формы и содержания теста тому, что он должен оценивать или измерять по замыслу его создателей [21]. Из анализа литературы [4,14,17,20,21] мы выделили два метода оценки валидности. Рассмотрим их.

Метод 1. Вычисляется коэффициент корреляции каждого тестового задания с суммой индивидуальных тестовых баллов испытуемых, который показывает, насколько Валино данное задание отличает слабых от сильных.

А. Коэффициент корреляции рассчитывается по формуле [14]:

где - средний арифметический балл испытуемых, успешно выполнивших -е задание теста, - средний арифметический балл испытуемых, не справившихся с -м заданием, - стандартное отклонение по -му заданию, - стандартное отклонение по всему тесту.

В. Значение коэффициента корреляции интерпретируется следующим образом:

· 0,7 – 1 – связь очень сильная;

· 0,5 – 0,7 – средняя;

· 0,3 – 0,5 – слабая.

Метод 2. Также как и в предыдущем методе вычисляется коэффициент корреляции, который показывает силу (интенсивность) линейной связи заданий между собой.

А. Коэффициент корреляции вычисляется по формуле Пирсона [21]:

где и - сумма квадратов отклонений по заданиям и , и - количество правильных ответов на то и другое задание соответственно;

- сумма попарных произведений тестовых баллов, полученных по каждому из заданий.

В. В случае положительной корреляции, можно говорить о линейной зависимости между заданиями (чем больше учащихся решат задание j, тем больше решат и задание k). Если коэффициент корреляции высокий, то задания взаимозаменяемы. Отрицательная корреляция свидетельствует об обратной линейной связи. В случае нулевой корреляции такого рода зависимость отсутствует [21].

Вывод: оба метода заключаются в вычислении коэффициента корреляции. Первый метод вычисляет коэффициент корреляции каждого тестового задания с суммой индивидуальных тестовых баллов испытуемых, второй – корреляцию между заданиями.

2.3 МЕТОДЫ ОЦЕНКИ НАДЕЖНОСТИ

Как уже говорилось выше, надежность теста характеризует степень устойчивости результатов тестирования каждого испытуемого. Методы оценки надежности заключаются в вычислении коэффициента надежности разными способами.

Метод 1 – метод половинного деления. Тест делится на две равные части и подсчитывается сумма баллов, набранных испытуемыми по каждой из половин. Полученные величины коррелируются между собой по формуле Пирсона [21]. Полученный коэффициент показывает надежность теста при коррелировании его половин, он говорит о внутренней состоятельности теста.

А. Коэффициент надежности теста вычисляется по формуле Спирмана-Брауна [21]:

где - коэффициент надежности теста по двум половинам.

В. Значение коэффициента надежности в этом методе интерпретируется следующим образом: если коэффициент надежности принимает значение от 0,8 до 1, то надежность хорошая, от 0,5 до 0,8 – удовлетворительная и менее 0,5 – неудовлетворительная.

2-й метод – метод подсчета средней корреляции заданий теста.

А. Надежность этим методом вычисляется по формуле [21]: