1 этап - Определение количества заданий (спецификация теста)
Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен :
Ø формулирование цели будущего теста
Ø разработка спецификации будущего теста (таблица, по горизонтали содержательные области, по вертикали - их манифестации (пути, по которым содержательные области могут проявляться)). При спецификации манифестаций важно выделить различные формы их реализации (4-7 категорий). Далее определяется сколько заданий должно быть создано для каждой из ячеек и какое количество заданий должно быть включено в тест.
2 этап - Разработка заданий
Правила разработки заданий: в каждом задании может быть задан только один вопрос; сформулировано предельно ясно и просто; избегать двусмысленных формулировок и др.
В личностных опросниках, как правило, используют три типа заданий :
Ø дихотомические (задания с альтернативным выбором,которые просты для понимания. Недостаток - обследуемые часто не удовлетворены предлагаемой альтернативой, хотели бы видеть больше вариантов ответа).
Ø трихотомические (три варианта ответа, например «да», «не знаю», «нет». Преимущество - обследуемые могут более точно выразить себя. Недостаток - установка на выбор крайних вариантов ответа).
Ø задания с рейтинговыми шкалами (важно обеспечить достаточное количество градаций ответа, чтобы обследуемые смогли адекватно выразить самих себя). Следует помнить и о том, что в разрабатываемом опроснике желательно использовать только один тип заданий.
3 этап - Оформление теста
От оформления, формы представления методики, зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. Оформление опросника должно способствовать восприятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий).
4 этап - Пилотажное исследование
предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника.
5 этап - Анализ заданий
Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно (в соответствии с ключом) и дискриминантности каждого задания.
6 этап - Определение надежности теста
Тест обычно считается надежным, если с его помощью получаются одни и те же показатели для каждого обследуемого при повторном тестировании.
7 этап - Валидность теста
Тест называется валидным, если он измеряет то, для измерения чего предназначен.
Для определения валидности теста необходимо найти ВНЕШНИЙ КРИТЕРИЙ ВАЛИДНОСТИ – показатель проявления изучаемого свойства в повседневной жизни. ВКВ – непосредственная и независимая от валидизируемого теста мера психического свойства, которая исследуется психодиагностической методикой. Если связь между ними признается удовлетворительной, то делается вывод о практической эффективности, действенности диагностической методики.
Существует несколько видов валидности: внешняя, оценочная, содержательная, практическая, конструктивная. Не существует какого-либо единичного показателя устанавления валидности теста. Разработчик должен представить весомые доказательства в пользу валидности теста, что потребует от него психологических знаний и интуиции.
8 этап - Стандартизация теста
Стандартизация позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах. Тем самым достигается адекватная интерпретация показателя отдельного испытуемого. Стандартизация наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых .
При этом вводится понятие нормы , или нормативных показателей. Нормы необходимы при интерпретации первичных показателей в качестве эталона, с которым сравниваются результаты тестирования.
1. Этап целеполагания . Разработка теста начинается с формулирования его цели, то есть определения того, что тест должен измерять.
2. Подготовительный этап (спецификация).Анализируется и отбирается содержание проверяемого материала.
3. Этап составления плана теста . После составления спецификации разрабатывается план теста.
4. Этап составления теста (разрабатываются тестовые задания, проходит экспертиза и доработка заданий, стандартизируется и нормируется тест).
При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения определенными учебными дисциплинами или их разделами.
Правила для разработки тестовых заданий:
– необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, правил, действий и т.д. Тест не должен быть перегружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если в тест включены точные формулировки из учебника или фрагменты из него;
– задания теста должны быть сформулированы четко, кратко и не двусмысленно, чтобы все учащиеся однозначно понимали смысл того, что у них спрашивается. Важно проследить, чтобы ни одно задание теста немогло служить подсказкой для ответа на другое;
– варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа. Важно выбирать и наиболее приемлемую форму ответов на задания;
– учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы. Например, удобна альтернативная форма ответов, когда учащийся должен подчеркнуть одно из перечисленных решений «да - нет», «верно - неверно». Часто в задании делаются пропуски, которые должен заполнить испытуемый, или же выбирать из представленного набора ответов верный. Обычно навыбор предлагаются 4- 5 вариантов ответа.
Вместе с этим педагогический тест должен удовлетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валидностью. Данный этап разработки теста включает в себя как само написание заданий, так и их анализ экспертными методами для выявления наилучших и выбраковки неудачных.
Выделяют две группы методов анализа заданий: экспертные и математические. Математические методы применяются после проведения тестирования на основании полученного эмпирического материала, поэтому о них речь пойдет ниже. Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соответствуют по содержанию предмету измерения, т.е. действительно ли задания позволяют измерить именно те знания, умения и навыки, для которых разрабатывается тест. С другой стороны, экспертные методы анализа позволяют оценить задания с точки зрения их формы. В основе экспертных методов лежит соотнесение содержания и формы заданий с требованиями, изложенными в спецификации.
5. Этап проведения теста . Отслеживается проведение теста.
6. Этап анализа полученных результатов . Обработка результатов, получение статистических данных для анализа и анализ результатов. Подготовка итогового отчета.
НАДЕЖНОСТЬ - один из критериев качества научного метода исследования, относящийся к точности психологических измерений.
ВАЛИДНОСТЬ теста - один из основных (наряду с надежностью, репрезентативностью, объективностью, достоверностью и эффективностью) критериев оценки тестовых результатов.
Объективность, валидность и надежность – требования, которым должен удовлетворять каждый тест. Рассмотрению этих понятий посвящены следующие параграфы.
Объективность психологического теста означает, что первичные показатели, их оценка и интерпретация не зависят от поведения и субъективных суждений экспериментатора. Первичными называют показатели, полученные после обработки данных выполнения респондентом тестовых заданий. Выражаются первичные показатели в так называемых "сырых баллах".
Разработка заданий, процедура проведения, обработка результатов теста осуществляется согласно определенным стандартным правилам.
Добиться объективности психологического теста можно при выполнении следующих условий:
единообразие процедуры проведения теста для получения сравнимых с нормой (см. ниже) результатов;
единообразие оценки выполнения теста;
определение нормы выполнения теста для сопоставления с ними показателей, полученных в результате обработки данных тестирования (см. здесь "третий этап стандартизации").
Эти три условия называют этапами стандартизации психологического теста.
Этапы стандартизации
На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.
Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
условия тестирования (помещение, освещение и др. внешние факторы). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раздражителей, таких как посторонние звуки, голоса и т.д.
Преподаватель в своей работе не всегда пользуется готовыми тестами по ряду причин, одной из главных среди них является простое отсутствие качественно составленных тестов различного вида. Поэтому часто преподавателю необходимо самому разрабатывать те или иные тесты, а в связи с этим владеть методикой их составления. Остановимся на некоторых ее моментах.
Необходимо знать, что создание стандартизированных тестов - это длительный и кропотливый процесс. Внедрению тестов предшествует предварительная работа по их составлению и апробации. При разработке тестов выделяют три составные части: теоретическую, практическую и экспериментальную (рис.3.1.).
Теоретическая часть работы включает изучение литературы, на базе которой осуществляется разработка тестов, содержания и требований программ, учебников. Здесь определяется структура тестов, характерные их особенности, признаки, качественные показатели, выделяются те методы математической статистики, которые потребуются в экспериментальной части.
В ходе реализации практического этапа осуществляется изложение инструкций для тестируемого и лица, проводящего тестирование, составление тестовых заданий и ответов к ним. Важное место при этом уделяется поэлементному структурно-функциональному анализу учебного материала. В результате выделяются элементы знаний, умений и навыков, которые необходимы для овладения учебным материалом и имеют наибольшую применимость. Таким образом, тесты строятся на основе включения в них основных смысловых частей содержания обучения, то есть необходимых понятий, определений, фактов, операций, алгоритмов. При этом учитывается степень сформированности у учеников различных мыслительных операций (анализ, синтез, конкретизация, обобщение, сравнение и т.д.), исходя из возрастных особенностей испытуемых. Значительное внимание уделяется специфике и характеру типичных ошибок тестируемых, на основе чего составляются варианты ответов к тестовым заданиям.
В процессе практического этапа разработки тестов происходит первоначальная прикидка шкалы оценок, рассматривается механизм перевода количества баллов в результирующую оценку.
На практическом этапе разрабатываются также инструкции для учителя и тестируемых, бланки ответов.
Таблица 3.1. Технология проектирования дидактических тестов
|
Теоретический этап |
Практический этап |
Экспериментальный этап |
|
||
|
||
|
||
|
На основе теоретического и практического этапов строится экспериментальный этап разработки тестов. Здесь оценивается качество содержания тестов, проверяется соответствие заданий требованиям тестовой формы, выявляются статистические характеристики разработанных тестов, делаются выводы о пригодности тестов для намеченных целей.
На экспериментальном этапе разработки теста часто приходится возвращаться к предшествующим этапам, поэтому все три этапа - теоретический, практический и экспериментальный - тесно связаны между собой и оказывают друг на друга определенное влияние (см. рис.3.1.).
Более детально технология разработки дидактических тестов представлена в таблице 3.1.
Создание тестов - это длительный процесс, требующий работы коллектива специалистов (методистов, психологов, статистов и т.д.), и в то же время востребованность тестов, разработанных учителями-практиками для отдельно взятого класса, школы достаточно высока. В связи с этим учителю целесообразно при разработке тестов придерживаться нижеприведенных рекомендаций.
Определите цели тестирования.
Выделите знания, умения, навыки, определяемые программой и дающие информацию об уровне усвоения рассматриваемой темы или раздела.
Определите виды тестовых заданий, соответствующие выделенным знаниям, умениям и навыкам.
4. Спрогнозируйте или выделите трудности объективные (учебные) и субъективные (психологические и методические) и выявите типичные ошибки обучаемых при изучении темы, проанализируйте причины их возникновения. Используйте эту работу для составления дистракторов к тестовым заданиям.
Разработайте набор тестовых заданий для усвоения темы.
Проведите экспертизу тестовых заданий, предложив своим коллегам высказать свое мнение о тесте.
Проведите при необходимости корректировку тестовых заданий.
Разработайте критерии оценки, методику обработки результатов, постройте соответствующую шкалу по переводу тестового балла в оценку школьной успеваемости.
Разработайте инструкцию для преподавателя и инструкцию для учащихся по работе с тестом.
Создание теста - это результат процесса мышления, с одной стороны, и соблюдение определенных правил конструирования - с другой.
Психологический тест может быть охарактеризован как эффективный инструмент при условии, что он удовлетворяет определенным требованиям. Основные из них следующие:
1. Использование психометрической шкалы не ниже интервальной.
2. Высокая надежность теста.
3. Высокий уровень валидности теста.
4. Хорошая различительная способность каждого задания теста, т.е. дискриминативность.
5. Наличие нормативных данных, или возможность описания результатов теста с высокой точностью различными моделями, наличие критериев, установленных экспертами.
1. Выбор предмета диагностики.
2. Анализ и теоретическая разработка предмета диагностики, которая заключается в создании теоретического и операционального определения предмета диагностики.
3. Выбор области валидности применяемого теста.
4. Выбор шкалы ответов.
5. Выбор типов задний в соответствии с характером ответа.
6. Составление и формулирование заданий теста, определение порядка размещения их в тесте.
7. Проведение созданной формы на специально подобранной выборке.
1. Анализ пунктов теста. Смысл этой процедуры состоит в том, чтобы определить насколько каждое задание теста соответствует общему диагностическому содержанию методики.
2. Проверка основных видов надежности теста. Задачей данной процедуры является определение того, насколько результаты тестирования подвержены влиянию различных побочных факторов.
3. Оценка основных видов валидности или обоснованности теста. Задачей данной процедуры является определение того, насколько хорошо создаваемая методика выполняет свои диагностические задачи, т.е. диагностирует тот конструкт, который лежит в ее основе.
Надежность теста . Дисперсия результатов попадания может быть объяснена не только дисперсией «истинной», обусловленной различиями в выраженности психологического качества, но и разбросом, вызванным действием случайных факторов, т.е. дисперсией «погрешности»:
Dx = Dист. + Dпогр.
Отношение дисперсии истинной к дисперсии совокупной и будет называться коэффициентом надежности измерения.
Источником D «погрешности» являются разного рода ошибки. Появление ошибок может быть вызвано разными причинами, среди которых можно выделить две: неточность измерительного инструмента и условия опыта.
Под надежностью теста в самом широком смысле понимается характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам отражают действительные различия в измеряемых свойствах, а в каком они могут быть приписаны действию случайных факторов .
Надежность как устойчивость результатов . Надежность как устойчивость результатов во времени представляет собой согласованность результатов теста, получаемых при первичном и вторичном его применении по отношению к одним тем же испытуемым в разные моменты времени.
Ретестовой надежности - процедуры повторного тестирования одной и той же выборки. Повышение надежности в этом случае свидетельствует о повышенной чувствительности результатов тестирования к изменению состояния испытуемых и обстановки тестирования. При определении ретестовой надежности особое значение имеет интервал между первичным и повторным тестированием. Оптимальный интервал для ретестовой надежности - 6 месяцев для взрослых и 3 месяца для детей.
Надежность параллельных форм. Использование двух взаимозаменяемых форм теста. Обследовании выборки сначала основным набором заданий, а затем - дополнительным, аналогичным первому. Другим путем проверки этого вида надежности является разбиение всей выборки на две примерно равные группы. Первичное тестирование заключается в тестировании первой группы одной формой теста (А), а второй группы - аналогичной формой (В). После небольшого интервала времени (примерно около недели) проводится повторное тестирование в обратном порядке.
Надежность как точность измерений. Наличие внутренней согласованности между заданиями теста и их «суммарную работу на общую цель - точное измерение тестируемой характеристики». Процедура проверки предполагает вычисление интеркорреляционных связей между заданиями, составляющими тест. М етод расщепления - тестировании испытуемого двумя половинками теста. Существуют несколько способов расщепления теста пополам.Данный способ определения надежности как внутренней согласованности часто называют надежность по однородности.
Надежность относительно постоянства условий - проявляется в надежности экспериментатора. В любом исследовании экспериментатор может выполнять три функции: организатора исследования, оценщика и интерпретатора.
Валидность теста. В понятие валидности входит большое количество самой разнообразной информации о тесте. Понятие валидности относится не столько к самому тесту, сколько к цели, ситуации и процедуре его применения. Он может быть валидным или невалидным лишь по отношению к определенной цели применения.
Критериальная валидность - отражает соответствие диагноза и прогноза определенному кругу критериев измеряемого качества. Она измеряется путем корреляции баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия, причем это должен быть именно внешний, т.е. жизненный, независимый от тестирования критерий. Критериальная валидность делится на:
Текущая валидность - это характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике (уровень способностей, вербальный интеллект, тревожность и т.д.).
Прогностическая валидность характеризует степень точности и обоснованности суждений о диагностируемом качестве по его результату, спустя определенное время после его измерения.
Характеристики критериальной меры:
1. Релевантность критерия. Это степень, в которой критериальная мера значима для целей измерения; 2. Свобода от «загрязнения» (контаминации). Выполнение индивидом работы является функцией как переменных индивида, так и переменных ситуации; 3. Надежность критерия. Если критерий используется в качестве показателя исполнения работы индивидом, это должен быть стабильный показатель.
Конструктная валидность . Конструктная валидность теста показывает, насколько его результаты могут рассматриваться в качестве меры некоего теоретического конструкта или свойства. Проверка конструктной валидности может осуществляться следующими способами: 1. Сопоставление исследуемого теста с другими методиками, конструктное содержание которых известно; 2. В этом случае исследователь формулирует ряд предсказательных гипотез о том, как будет коррелировать его новый тест с другими тестами, измеряющими родственные характеристики; 3. Факторный анализ - позволяет статистически проанализировать структуру связей исследуемого теста с другими известными и латентными факторами - факторную валидность; 4. Внутренняя согласованность пунктов теста также является важным аспектом конструктной валидности; 5. Введение экспериментальной переменной.
Другие виды валидности: синтетическая валидность, очевидная валидность, экологическая валидность
