ТЕХНОЛОГИЯ ОЦЕНИВАНИЯ ТЕСТОВ В ЗАВИСИМОСТИ ОТ ТИПА И УРОВНЯ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ НА ОСНОВЕ ИНТЕГРИРОВАННОЙ МОДЕЛИ часть 1
ТЕХНОЛОГИЯ ОЦЕНИВАНИЯ ТЕСТОВ В ЗАВИСИМОСТИ ОТ ТИПА И УРОВНЯ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ НА ОСНОВЕ ИНТЕГРИРОВАННОЙ МОДЕЛИ
ТЕХНОЛОГИЯ ОЦЕНИВАНИЯ ТЕСТОВ В ЗАВИСИМОСТИ ОТ ТИПА И УРОВНЯ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ НА ОСНОВЕ ИНТЕГРИРОВАННОЙ МОДЕЛИ часть 2
Авторы: Михаил Бондаренко, Валерий Семенец, Наталия Белоус, Виктор Борисенко, Ирина Куцевич, Ирина Белоус, Олеся Мележик
Аннотация: В работе описывается технология оценивания тестовых заданий, а также распределение заданий разных типов по уровням сложности на основе результатов предварительного тестирования. Актуальность и важность разработки данной технологии определяется ориентацией на практическое использование внепрерывной системе оценивания знаний, применимостью данной технологии для любой системы оценивания знаний, а также индивидуализированным подходом к оцениванию разных типов тестовых заданий с учетом уровня их сложности. При распределении тестовых заданий по уровням сложности предлагается использовать интегрированную функциональную модель, позволяющую применять разные способы распределения тестовых заданий, включенных в тест, в зависимости от их типов. Предлагаемая технология была программно реализована и внедрена в учебный процесс, что позволило проводить более точное и объективное тестирование, а также распределение тестовых заданий разных типов по уровням сложности.
Ключевые слова: тип тестового задания, оценивание тестовых заданий разных типов, уровень сложности, интегрирования модель распределения тестовых заданий разных типов.
ACM Classification Keywords: K.3.1 Computer Uses in Education
Conference: The paper is selected from Fourth International Conference «Modern (e-) Learning» MeL 2009, Varna, Bulgaria, June-July 2009
Введение
Контроль знаний является важной частью процесса обучения и позволяет получить всестороннюю оценку уровня знаний обучаемых. Одной из хорошо зарекомендовавших себя повсеместно форм контроля знаний является тестирование. Тестирование, несмотря на множество определенных недостатков, является в принципе единственным по-настоящему технологическим средством для измерения уровня знаний и незаменимо как инструмент, позволяющий реализовать эффективный педагогический контроль и должным образом организовать управление учебным процессом.
Одним из сложных и противоречивых вопросов при проведении тестирования является проблема оценивания знаний. Самым распространенным способом решения данной проблемы является использование дихотомической системы оценивания тестовых заданий, в которой за каждое задание можно получить 0 или 1 балл. Данная система удобна при оценивании заданий с выбором одного правильного ответа из многих, т.е. заданий закрытого типа. В то же время существует определенное многообразие типов тестовых заданий: закрытые (многоальтернативные и одноальтернативные), открытые, на установление соответствия между элементами, на установление правильной последовательности, ситуационные тестовые задания [Комплекс нормативних документів, 1998]. Для оценивания заданий разных типов применение дихотомической системы недостаточно, т.к. обучаемый может дать неполный или частично правильный ответ, что в предложенной системе недостаточно точно оценивается как неправильный ответ. Для эффективного решения данной проблемы необходимо использовать политомическую систему оценивания, в которой допускается несколько категорий ответа на задание, каждая из которых оценивается по-разному. Например, за полностью верный ответ назначается 2 балла, за частично верный – 1 балл и за неверный – 0 баллов. Недостатком этой системы является сложность вычисления общего результата на основе баллов, полученных за задания. Кроме того, в этом случае не учитываются неправильно выбранные варианты ответа. Простое суммирование баллов не соответствует истинному уровню знаний обучаемых. Для решения данной проблемы авторами предлагается введение непрерывной системы оценивания знаний на интервале от 0 до 1 и специализированные технологии определения оценок за выполнение каждого из типов тестовых заданий [Belous N., 2004].
Предварительные исследования в области построения системы контроля знаний показали необходимость разделения заданий на уровни сложности. Отсутствие разделения заданий на уровни сложности приводит к недостаточной объективности оценивания знаний и часто не коррелируется с истинным уровнем знаний обучаемых [Аванесов В.С., 1999]. Так, если сильному студенту попадаются только сложные задания, а слабому – только легкие, то в результате оценивания у обоих студентов будет одинаковый уровень знаний, что не соответствует действительности. И наоборот, если студентам с одинаковым уровнем знаний попадутся задания разного уровня сложности, то проверка знаний выявит у них разный уровень подготовленности, что не является объективным. Распределение заданий по уровням сложности преподавателем вносит субъективизм в процесс оценивания знаний обучаемых по причине того, что не всякое легкое задание для преподавателя является столь же легким и для студентов. Таким образом, разработка технологии распределения тестовых заданий по уровням сложности является актуальной.
Целью работы является разработка технологии проведения тестирования и распределения тестовых заданий по уровням сложности для тестов, оцениваемых по непрерывной системе оценивания знаний, частным случаем которой является дихотомическая система. Для этого авторами предложена методика оценивания тестовых заданий разных форм. Для распределения тестовых заданий по уровням сложности авторами разработана функциональная интегрированная модель современной теории тестов, которая по результатам проведения предварительного контроля знаний определяет способ вычисления уровня сложности тестовых заданий и, после приведения результирующих уровней сложности к единой шкале, выдает устойчивые значения уровней сложности заданий, включенных в тест.
Технология оценивания тестовых заданий разных типов
Для создания теста необходимо включать в него задания разных типов. Авторами предлагаются при построении теста использовать следующие типы тестовых заданий: закрытого типа (многоальтернативные и одноальтернативные), на установление соответствия, на установление последовательности, открытого типа (введение термина, заполнение таблиц, ведение арифметического выражения), ситуационных (авторами предлагается здесь ввести понятие многошагового теста). Для объективной оценки тестовых заданий разных типов предлагается использовать для каждого из них свой специализированный подход для расчета оценки. Введем для определения оценки ответов на задания разных типов коэффициент оценивания ri.
Одноальтернативные тестовые задания
Для оценивания одноальтернативного тестового задания достаточно применения дихотомической системы оценивания, где ri =1 соответствует правильному ответу, ri =0 – неправильному.
Многоальтернативное тестовые задания
При оценивании многоальтернативных заданий дихотомической системы недостаточно, потому что обучаемый может дать как неполный ответ, так и один из выбранных вариантов ответа будет неточен. В
данном случае необходимо учитывать не только правильность ответа на задание в целом, но и количество допущенных ошибок. В данном случае коэффициент ri формуле (1). предлагается рассчитывать по Q2, i(Q1 Q3) i i где Q1 – множество всех правильных вариантов ответа в задании, Q2 – количество правильных вариантов ответа, выбранных обучаемым, Q3 – количество неправильных вариантов ответа обучаемого.
Задания на установление соответствия
При ответе на задание на установление соответствия каждую пару ответов можно рассматривать как отдельный вариант ответа и при определении результата следует учитывать сколько пар было выбрано верно. Коэффициент ri для этого типа заданий рассчитывается по формуле (2). Q 2 r ii Q1i где Q1 – количество пар для сопоставления; Q2 – количество верно составленных пар.
Задания на установление последовательности
При оценивании заданий на установление правильной последовательности возможен только один заведомо правильных ответ. Для оценивания данного типа тестовых заданий достаточно использовать дихотомическую шкалу оценивания, коэффициент ri принимает значение 0 или 1.
Открытые тестовые задания
При оценивании заданий на введение термина и на введение арифметического выражения достаточно использовать дихотомическую шкалу оценивания, коэффициент ri принимает значение 0 или 1. При выполнении заданий на заполнение таблиц каждая ячейка таблицы является отдельным вариантом ответа. Если одна из ячеек заполнена неправильно, такой ответ нельзя засчитывать как полностью неправильный (введение одного неверного значения в ячейку может быть механической ошибкой, и поэтому оно должно не полностью обнулить результат выполнения работы, а лишь снизить результат выполнения задания). Для определения коэффициента оценивания заданий на заполнение таблиц рекомендуется использовать показательную функциональную зависимость: Q 2 i r? 2 Q1i 1 где Q1 – количество ячеек, которые предлагается заполнить обучаемому; Q2 – количество ячеек, которое обучаемый заполнил правильно.
Многошаговые тестовые задания
Многошаговые тестовые задания состоят из набора заданий (набора шагов), решаемых последовательно, когда переход к следующему шагу задания осуществляется только после правильного ответа на предыдущий шаг. Это дает возможность обучаемому анализировать не только задание в целом, но и разбираться в каждой составляющей задания. Благодаря этому обучаемый сразу может увидеть, где им допущена ошибка и в дальнейших шагах получить правильные исходные данные, т. е. ошибки в заданиях не будут накапливаться. Многошаговое задание считается пройденным, если на каждом его шаге получен правильный ответ. Для объективного оценивания ответа и глубины знаний обучаемого используется счетчик допускаемых ошибок, количество которых учитывается при выставлении оценки. Кроме того, необходимо решить проблему оценивания таких вопросов. Рекомендуемая формула для вычисления коэффициента правильности для многошагового тестового задания имеет вид: n m r i?1 i 1 in где i – номер шага, mi – количество ошибок, допущенных на i-том шаге, n – количество шагов.
Формула (4) справедлива для многошаговых тестовых заданий, в которых на каждом шаге используются одноальтернативные задания или задания на установление правильной последовательности. В случае использования на каком-либо из шагов тестового задания на соответствие или многоальтернативного тестового задания целесообразно использовать формулы (7) и (8) соответственно. n1 ri (miQ1) i jn i?1 mi j?1 Q2 j где j – номер попытки прохождения шага, если на нем была допущена ошибка; Q – количество пар для i j составления на i-том шаге при j-той попытке; j-той попытке. Q – количество верно составленных пар на i-том шаге при i j 1mi? Q 2i ,(8) ri? n? mi i?1? (Qj?1 1i j? Q) i j где Q – количество правильных вариантов ответов i-том на шаге при j-ой попытке; i j Q – количество i правильных ответов, выбранных тестируемым на i-том шаге; выбранных тестируемым на i-том шаге при j-ой попытке. Q – количество неправильных ответов, i j
Технология оценивания результата выполнения теста
В каждой стране для оценивания уровня знаний обучаемых применяется своя, а иногда и несколько, шкал оценивания знаний. Так, в Украине применяются 4 различных шкалы оценивания знаний: 100-бальная (рейтинговая), ECTS, 12-бальная и национальная (4-бальная) шкала. Для получения результата в заданной шкале оценивания знаний введем специальный параметр В – бальность системы в виде максимального значения единицы измерения оценки в рассматриваемой шкале. Рассмотрим алгоритм перевода результата тестирования в произвольную шкалу оценивания знаний. Для корректного перевода результата в любую систему оценивания знаний необходимо всем значимым результатам оценивания в порядке возрастания поочередно присвоить коэффициенты бальности, начиная с 1. Максимальное значение коэффициента бальности и будет соответствовать значению параметра В. Для некоторых систем оценивания знаний целесообразно применение интервальной системы перевода результата, в которой в зависимости от процента выполнения работы выставляется оценка.
При оценивании теста, содержащего несколько уровней сложности, каждому из заданий присваивается уровень сложности zi ( zi? 1, Z ). Итоговая оценка выполнения всего теста R, состоящего из набора тестовых заданий, содержащего Z уровней сложности, определяется по формуле: R? B Z N?? ri? zi, (9) i?1 где B – бальность системы; N – количество тестовых заданий, включенных в тест; zi – уровень сложности i-го задания;? Z – суммарная сложность теста. Параметр ?Z является накопительным и определяется по формуле: ?N Z?? zi .(10)
ТЕХНОЛОГИЯ ОЦЕНИВАНИЯ ТЕСТОВ В ЗАВИСИМОСТИ ОТ ТИПА И УРОВНЯ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ НА ОСНОВЕ ИНТЕГРИРОВАННОЙ МОДЕЛИ часть 2
Авторы: Михаил Бондаренко, Валерий Семенец, Наталия Белоус, Виктор Борисенко, Ирина Куцевич, Ирина Белоус, Олеся Мележик
Аннотация: В работе описывается технология оценивания тестовых заданий, а также распределение заданий разных типов по уровням сложности на основе результатов предварительного тестирования. Актуальность и важность разработки данной технологии определяется ориентацией на практическое использование внепрерывной системе оценивания знаний, применимостью данной технологии для любой системы оценивания знаний, а также индивидуализированным подходом к оцениванию разных типов тестовых заданий с учетом уровня их сложности. При распределении тестовых заданий по уровням сложности предлагается использовать интегрированную функциональную модель, позволяющую применять разные способы распределения тестовых заданий, включенных в тест, в зависимости от их типов. Предлагаемая технология была программно реализована и внедрена в учебный процесс, что позволило проводить более точное и объективное тестирование, а также распределение тестовых заданий разных типов по уровням сложности.
Ключевые слова: тип тестового задания, оценивание тестовых заданий разных типов, уровень сложности, интегрирования модель распределения тестовых заданий разных типов.
ACM Classification Keywords: K.3.1 Computer Uses in Education
Conference: The paper is selected from Fourth International Conference «Modern (e-) Learning» MeL 2009, Varna, Bulgaria, June-July 2009
Введение
Контроль знаний является важной частью процесса обучения и позволяет получить всестороннюю оценку уровня знаний обучаемых. Одной из хорошо зарекомендовавших себя повсеместно форм контроля знаний является тестирование. Тестирование, несмотря на множество определенных недостатков, является в принципе единственным по-настоящему технологическим средством для измерения уровня знаний и незаменимо как инструмент, позволяющий реализовать эффективный педагогический контроль и должным образом организовать управление учебным процессом.
Одним из сложных и противоречивых вопросов при проведении тестирования является проблема оценивания знаний. Самым распространенным способом решения данной проблемы является использование дихотомической системы оценивания тестовых заданий, в которой за каждое задание можно получить 0 или 1 балл. Данная система удобна при оценивании заданий с выбором одного правильного ответа из многих, т.е. заданий закрытого типа. В то же время существует определенное многообразие типов тестовых заданий: закрытые (многоальтернативные и одноальтернативные), открытые, на установление соответствия между элементами, на установление правильной последовательности, ситуационные тестовые задания [Комплекс нормативних документів, 1998]. Для оценивания заданий разных типов применение дихотомической системы недостаточно, т.к. обучаемый может дать неполный или частично правильный ответ, что в предложенной системе недостаточно точно оценивается как неправильный ответ. Для эффективного решения данной проблемы необходимо использовать политомическую систему оценивания, в которой допускается несколько категорий ответа на задание, каждая из которых оценивается по-разному. Например, за полностью верный ответ назначается 2 балла, за частично верный – 1 балл и за неверный – 0 баллов. Недостатком этой системы является сложность вычисления общего результата на основе баллов, полученных за задания. Кроме того, в этом случае не учитываются неправильно выбранные варианты ответа. Простое суммирование баллов не соответствует истинному уровню знаний обучаемых. Для решения данной проблемы авторами предлагается введение непрерывной системы оценивания знаний на интервале от 0 до 1 и специализированные технологии определения оценок за выполнение каждого из типов тестовых заданий [Belous N., 2004].
Предварительные исследования в области построения системы контроля знаний показали необходимость разделения заданий на уровни сложности. Отсутствие разделения заданий на уровни сложности приводит к недостаточной объективности оценивания знаний и часто не коррелируется с истинным уровнем знаний обучаемых [Аванесов В.С., 1999]. Так, если сильному студенту попадаются только сложные задания, а слабому – только легкие, то в результате оценивания у обоих студентов будет одинаковый уровень знаний, что не соответствует действительности. И наоборот, если студентам с одинаковым уровнем знаний попадутся задания разного уровня сложности, то проверка знаний выявит у них разный уровень подготовленности, что не является объективным. Распределение заданий по уровням сложности преподавателем вносит субъективизм в процесс оценивания знаний обучаемых по причине того, что не всякое легкое задание для преподавателя является столь же легким и для студентов. Таким образом, разработка технологии распределения тестовых заданий по уровням сложности является актуальной.
Целью работы является разработка технологии проведения тестирования и распределения тестовых заданий по уровням сложности для тестов, оцениваемых по непрерывной системе оценивания знаний, частным случаем которой является дихотомическая система. Для этого авторами предложена методика оценивания тестовых заданий разных форм. Для распределения тестовых заданий по уровням сложности авторами разработана функциональная интегрированная модель современной теории тестов, которая по результатам проведения предварительного контроля знаний определяет способ вычисления уровня сложности тестовых заданий и, после приведения результирующих уровней сложности к единой шкале, выдает устойчивые значения уровней сложности заданий, включенных в тест.
Технология оценивания тестовых заданий разных типов
Для создания теста необходимо включать в него задания разных типов. Авторами предлагаются при построении теста использовать следующие типы тестовых заданий: закрытого типа (многоальтернативные и одноальтернативные), на установление соответствия, на установление последовательности, открытого типа (введение термина, заполнение таблиц, ведение арифметического выражения), ситуационных (авторами предлагается здесь ввести понятие многошагового теста). Для объективной оценки тестовых заданий разных типов предлагается использовать для каждого из них свой специализированный подход для расчета оценки. Введем для определения оценки ответов на задания разных типов коэффициент оценивания ri.
Одноальтернативные тестовые задания
Для оценивания одноальтернативного тестового задания достаточно применения дихотомической системы оценивания, где ri =1 соответствует правильному ответу, ri =0 – неправильному.
Многоальтернативное тестовые задания
При оценивании многоальтернативных заданий дихотомической системы недостаточно, потому что обучаемый может дать как неполный ответ, так и один из выбранных вариантов ответа будет неточен. В
данном случае необходимо учитывать не только правильность ответа на задание в целом, но и количество допущенных ошибок. В данном случае коэффициент ri формуле (1). предлагается рассчитывать по Q2, i(Q1 Q3) i i где Q1 – множество всех правильных вариантов ответа в задании, Q2 – количество правильных вариантов ответа, выбранных обучаемым, Q3 – количество неправильных вариантов ответа обучаемого.
Задания на установление соответствия
При ответе на задание на установление соответствия каждую пару ответов можно рассматривать как отдельный вариант ответа и при определении результата следует учитывать сколько пар было выбрано верно. Коэффициент ri для этого типа заданий рассчитывается по формуле (2). Q 2 r ii Q1i где Q1 – количество пар для сопоставления; Q2 – количество верно составленных пар.
Задания на установление последовательности
При оценивании заданий на установление правильной последовательности возможен только один заведомо правильных ответ. Для оценивания данного типа тестовых заданий достаточно использовать дихотомическую шкалу оценивания, коэффициент ri принимает значение 0 или 1.
Открытые тестовые задания
При оценивании заданий на введение термина и на введение арифметического выражения достаточно использовать дихотомическую шкалу оценивания, коэффициент ri принимает значение 0 или 1. При выполнении заданий на заполнение таблиц каждая ячейка таблицы является отдельным вариантом ответа. Если одна из ячеек заполнена неправильно, такой ответ нельзя засчитывать как полностью неправильный (введение одного неверного значения в ячейку может быть механической ошибкой, и поэтому оно должно не полностью обнулить результат выполнения работы, а лишь снизить результат выполнения задания). Для определения коэффициента оценивания заданий на заполнение таблиц рекомендуется использовать показательную функциональную зависимость: Q 2 i r? 2 Q1i 1 где Q1 – количество ячеек, которые предлагается заполнить обучаемому; Q2 – количество ячеек, которое обучаемый заполнил правильно.
Многошаговые тестовые задания
Многошаговые тестовые задания состоят из набора заданий (набора шагов), решаемых последовательно, когда переход к следующему шагу задания осуществляется только после правильного ответа на предыдущий шаг. Это дает возможность обучаемому анализировать не только задание в целом, но и разбираться в каждой составляющей задания. Благодаря этому обучаемый сразу может увидеть, где им допущена ошибка и в дальнейших шагах получить правильные исходные данные, т. е. ошибки в заданиях не будут накапливаться. Многошаговое задание считается пройденным, если на каждом его шаге получен правильный ответ. Для объективного оценивания ответа и глубины знаний обучаемого используется счетчик допускаемых ошибок, количество которых учитывается при выставлении оценки. Кроме того, необходимо решить проблему оценивания таких вопросов. Рекомендуемая формула для вычисления коэффициента правильности для многошагового тестового задания имеет вид: n m r i?1 i 1 in где i – номер шага, mi – количество ошибок, допущенных на i-том шаге, n – количество шагов.
Формула (4) справедлива для многошаговых тестовых заданий, в которых на каждом шаге используются одноальтернативные задания или задания на установление правильной последовательности. В случае использования на каком-либо из шагов тестового задания на соответствие или многоальтернативного тестового задания целесообразно использовать формулы (7) и (8) соответственно. n1 ri (miQ1) i jn i?1 mi j?1 Q2 j где j – номер попытки прохождения шага, если на нем была допущена ошибка; Q – количество пар для i j составления на i-том шаге при j-той попытке; j-той попытке. Q – количество верно составленных пар на i-том шаге при i j 1mi? Q 2i ,(8) ri? n? mi i?1? (Qj?1 1i j? Q) i j где Q – количество правильных вариантов ответов i-том на шаге при j-ой попытке; i j Q – количество i правильных ответов, выбранных тестируемым на i-том шаге; выбранных тестируемым на i-том шаге при j-ой попытке. Q – количество неправильных ответов, i j
Технология оценивания результата выполнения теста
В каждой стране для оценивания уровня знаний обучаемых применяется своя, а иногда и несколько, шкал оценивания знаний. Так, в Украине применяются 4 различных шкалы оценивания знаний: 100-бальная (рейтинговая), ECTS, 12-бальная и национальная (4-бальная) шкала. Для получения результата в заданной шкале оценивания знаний введем специальный параметр В – бальность системы в виде максимального значения единицы измерения оценки в рассматриваемой шкале. Рассмотрим алгоритм перевода результата тестирования в произвольную шкалу оценивания знаний. Для корректного перевода результата в любую систему оценивания знаний необходимо всем значимым результатам оценивания в порядке возрастания поочередно присвоить коэффициенты бальности, начиная с 1. Максимальное значение коэффициента бальности и будет соответствовать значению параметра В. Для некоторых систем оценивания знаний целесообразно применение интервальной системы перевода результата, в которой в зависимости от процента выполнения работы выставляется оценка.
При оценивании теста, содержащего несколько уровней сложности, каждому из заданий присваивается уровень сложности zi ( zi? 1, Z ). Итоговая оценка выполнения всего теста R, состоящего из набора тестовых заданий, содержащего Z уровней сложности, определяется по формуле: R? B Z N?? ri? zi, (9) i?1 где B – бальность системы; N – количество тестовых заданий, включенных в тест; zi – уровень сложности i-го задания;? Z – суммарная сложность теста. Параметр ?Z является накопительным и определяется по формуле: ?N Z?? zi .(10)
Комментарии (0)
RSS свернуть / развернутьТолько зарегистрированные и авторизованные пользователи могут оставлять комментарии.