Реферат: Параметризуемые Web-тесты, как средство обучения

Для оценивания субъективного мнения студентов о системе по окончании курса мы предложили студентам, которые наработали достаточную статистику взаимодействия с системой, заполнить вопросник относительно различных характеристик QuizPACK. "Достаточным" считалось взять в QuizPACK 10 или более тестов по 6 или более различным темам в течение нескольких сессий, разнесенных на 20 или более дней. Для дополнительной мотивации за участие студентам начислялось небольшое количество добавочных баллов.

Объективное оценивание

Был проведен линейный регрессионный анализ (с использованием пакета SPSS) с целью обнаружить взаимосвязь между работой студентов с QuizPACK, измеряемой независимыми переменными и прогнозируемыми переменными. Данный вид анализа традиционно применяется для изучения причинно-следственных зависимостей между переменными. Как уже было сказано, в качестве прогнозируемых переменных мы выбрали оценку на заключительном экзамене, (измеряемую в %), семестровые результаты еженедельного тестирования (измеряемые в баллах; максимум – 45) а также прирост знаний (измеряемый в баллах). Независимыми переменными стали активность, измеряющая общее количество вопросов QuizPACK, на которые студент пытался дать ответ, и успешность – процентное соотношение правильных ответов, определяемое как число вопросов, на которые был получен правильный ответ к общему числу взятых вопросов. Необходимо отметить, что ответ на каждый параметризуемый вопрос может быть дан студентом несколько раз. Каждая попытка (корректная или нет) учитывается при вычислении активности и успешности. Наиболее часто студенты работали с одним вопросом до тех пор, пока система не просигнализирует о правильном ответе, однако некоторое количество студентов демонстрировали иной паттерн пользователя, продолжая отвечать на вопрос даже после первой удачной попытки, закрепляя успешный результат.

Характеристики Модели

Независимые переменные:

(Константа), Активность, Успешность

ANOVA

Независимые переменные:

(Константа), Активность, Успешность

Таблица 1: Влияние работы с QuizPACK на оценку за тестирование

Результаты регрессионного анализа влияния работы с QuizPACK на результаты, которые студенты показывали на еженедельных тестах, приведены в таблице 1. Как можно увидеть, существует статистически значимая связь между независимой переменной успешность и суммарной оценкой за тестирование (значимость = 0.029, т.е. ниже порогового значения 0.05). Параметр R2 равен 0.335, т.е. работа с QuizPACK объясняет около 34% оценки за тестирование. Значимость всей модели также достаточно высока (0.038 < 0.05).

Иные результаты были получены в результате регрессионного анализа влияния работы с QuizPACK на оценку на экзамене. Влияние переменной успешность менее значимо. Параметр R2 равен 0.19, т.е. только 19% оценки на экзамене может быть объяснено работой с QuizPACK. Значимость всей модели не высока (0.192 > 0.05). Значимость переменной успешность также не высока, однако мы можем заключить, что она имеет некоторое влияние на зависимую переменную (0.088 хотя и больше, но близко к пороговому значению 0.05).

В обоих случаях мы не обнаружили видимого влияния переменной активность на зависимые переменные. Это означает, что успешная работа студента с QuizPACK положительно влияет на знания семантики языка, измеряемые тестами, а также имеет некоторое влияние на общие навыки программирования, оцениваемые на экзамене. В то же время, показано, что лишь "играя" с QuizPACK, студент не добивается прогресса, для этого необходимы усилия, стремление ответить правильно.

Приведенной выше анализ не претендует на выявление роли QuizPACK полностью. Он не позволяет выделить причину успешности работы студентов с QuizPACK. Естественно, некоторые из них попросту обладали достаточно высоким уровнем начальных знаний. Эти студенты использовали QuizPACK более как средство для самопроверки, зачастую давая правильные ответы с первой попытки. В отличие от них новички должны были работать с QuizPACK более настойчиво, тратя несколько попыток на один вопрос, чтобы добиться одного или более правильных ответов. Для учета этого фактора мы проанализировали влияние QuizPACK на прирост знаний.

Результаты регрессионного анализа влияния работы c QuizPACK на прирост знаний приведены в таблице 2. Как мы можем увидеть, независимая переменная активность имеет статистически значимое (значимость = 0.023) влияние на прирост знаний. Параметр R2 (0.309) показывает, что активность работы с QuizPACK объясняет 31% прироста знаний студентов. Значимость всей модели (0.052) находится очень близко от порогового значения (0.05). В то же время переменная успешность не имеет значимого влияния на прирост знаний. Анализ студенческих профилей показал, что низкий прирост знаний был получен двумя группами студентов: студентами с высоким уровнем начальных знаний, получившими хорошие оценки как на предварительном, так и на заключительном тестировании, и студентами, не приложившими достаточно усилий в течение курса не смотря на низкий уровень начальных знаний, и получившими плохие результаты на обоих тестированиях. Обе эти группы работали с QuizPACK меньше чем студенты курса в среднем, однако имели совершенно разные значения успешности. В то же время, те новички, кто работал с QuizPACK достаточно много, в итоге заработали высокий прирост знаний. Это показывает, что QuizPACK может быть использован не только как обычное средство для самооценки, но и как средство обучения.

Характеристики Модели

Независимые переменные:

(Константа), Активность, Успешность

ANOVA

Независимые переменные:

(Константа), Активность, Успешность

Таблица 2: Влияние работы с QuizPACK на прирост знаний

Страницы: 1, 2, 3