Педагогическое тестирование в России

Современное состояние педагогического контроля в российской системе образования представляет собой контрастное соединение старого с новым, субъективного с объективным, устного опроса по пятибалльной системе оценок с попытками внедрения контролирующих технологий. Одним из самых перспективных методов нам представляется тестовый — быстро развивающееся направление на стыке педагогики, теории измерений, математического моделирования, математической статистики и автоматизации. Внедрение и развитие такого тестирования внесет существенный вклад в процесс реформирования отечественной системы образования и ее интеграцию в мировую образовательную практику.

История проверки знаний и способностей с помощью различных заданий насчитывает около 4 тыс. лет. Однако реальное использование педагогических тестов началось век назад, когда в педагогике и психологии была сформулирована проблема исследования индивидуальных различий. Научно разработанный тест представляет собой совокупность взаимосвязанных заданий возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности. В зависимости от длительности контролируемого периода обучения контроль можно разделить на текущий, тематический, рубежный, итоговый и заключительный. Его проведение связано с выполнением основных педагогических функций — диагно-стической, обучающей, организующей, воспитывающей и развивающей; базируется на принципах гласности (открытость всех этапов контроля), объективности (использование стандартных тестовых программ и технических средств), научности (надежность и валидность), систематичности и эффективности (минимальные затраты времени и средств контроля). В дополнение к педагогическому контролю целесообразно использовать методы психологической диагностики, например оценку внимательности, памяти, интеллектуальных и творческих способностей.

Появившиеся на рубеже XX в. педагогические тесты довольно быстро завоевали популярность во всех развитых странах. Однако в СССР к 30-м гг. развернулась их встречная критика, а затем и полный запрет, продолжавшийся вплоть до начала 70-х гг. Советская педагогика этого периода фактически отказалась от математических моделей обучения, статистических методов обработки педагогических данных и даже анкет, которые в то трудное время были названы «вредными». С конца 80-х гг. педагогическое тестирование в нашей стране переживает второе рождение.

Инициатором этого процесса стало Гособразование СССР, а основным исполнителем — кафедра педагогических измерений его Исследовательского центра под руководством В.С.Аванесова. Здесь были собраны и проанализированы основные теоретические и практические результаты в данной области, полученные международным сообществом. Однако, как оказалось, главная трудность заключалась в том, что научно обоснованные международные педагогические тесты не поддавались однозначной адаптации к отечественной системе образования в силу ее специфики. На эту работу потребовалось целое десятилетие.

В середине 90-х гг. организован Центр тестирования Минобразования России, на который возложена роль основного координатора теоретических исследований, посвященных педагогическому тестированию, и их внедрения в образовательную систему страны. С I998 г. Центром осуществляется широкомасштабный эксперимент по проведению централизованного абитуриентского тестирования в вузы России, который дал неоценимый опыт создания и внедрения итоговых педагогических тестов по отдельным дисциплинам в общеобразовательную среднюю школу. По результатам эксперимента создается единый банк тестовых заданий; сформированы обобщенные умения по географии, физике, истории, химии; создана стандартизованная спецификация тестов; осуществляется разработка классификации тестовых заданий и сервисных программ для автоматизации их проектирования, экспертизы и использования. Уже можно сделать вывод о том, что централизованное тестирование способно объективно оценить уровень школьных знаний и отобрать лучших студентов из числа прошедших тестирование абитуриентов, т.е. оно может служить конкурентоспособной альтернативой традиционной форме приемных экзаменов в вуз. Среди организационно-педагогических и теоретических проблем развития тестирования в России организаторы и участники эксперимента выделили следующие:

— создание единой системы мониторинга качества образования по схеме: учебное – учреждение — регион — федеральный центр:

— организация подсистем бланочного и компьютерного тестирования и их интеграция для оптимизации функционирования федеральной системы:

подготовка учащихся, учителей, экзаменаторов, административного и технического персонала к участию в централизованном тестировании;

адекватный перевод результатов тестирования в традиционную 5-балльную шкалу:

корректный выбор формы заданий и их числа, обеспечение репрезентативности выборки, надежности и валидности тестов;

создание тестов разного уровня сложности, применяемых в зависимости от рейтинга высшего учебного заведения и показателей конкурсного отбора.

Их решение принесло конкретные позитивные результаты. Например, для всех желающих (учащихся, их родителей, преподавателей, руководителей образовательных учреждений и т.п.) в любом регионе России ознакомиться с правилами и процедурой тестирования, получить представление о форме и содержании тестов, объективно оценить свой уровень знаний по разным предметам перед ежегодной официальной кампанией Центр с 1999 г. проводит бесплатное репетиционное тестирование через Интернет. Это расширяет возможности дополнительной широкой апробации тестовых материалов, развития

системы компьютерного тестирования, совершенствование элементов единой системы мониторинга качества образования.

В педагогической литературе появилось большое количество публикаций, отражающих варианты решения выявленных проблем. В частности, приводятся результаты создания институциональных форм реализации централизованного тестирования и анализ решенных с их помощью организационно-педагогических задач в отдельных вузах и регионах страны. Среди» них — разработка и создание:

программно-инструментальных систем автоматизированного тестирования, работающих в локальной сети и в режиме реального времени при удаленном доступе;

региональных консультационных центров по проблемам педагогического тестирования:

научно обоснованных характеристик перевода результатов централизованного тестирования в шкалу оценок вступительных экзаменов в зависимости от показателей конкурсного отбора абитуриентов:

единых трехуровневых итоговых тестов, ориентированных на вариативную систему образования и обеспечивающих в результате самоопределения учащихся их дифференциацию по уровню подготовленности (базовый, повышенный или углубленный уровень):

различных программно-методических комплексов для автоматизации проектирования тестов, экспертизы и использования тестовых заданий по дисциплине, а также обеспечения прогностической валидности тестов достижений, обоснования формы тестовых заданий в зависимости от предметной направленности и уровня усвоения материала, разработки технологи формирования дистракторов.

Опыт централизованного абитуриентского и репетиционного тестирования послужил основой для перехода к следующему этапу — единому государственному тестовому экзамену выпускников средних школ, который в порядке эксперимента проводится с 2001 г. в ряде субъектов Российской Федерации. После этого отечественная система образования планирует отказаться от вступительных экзаменов в вузы и перейти к существующей в большинстве стран мира практике конкурсного отбора в высшие учебные заведения на основании аттестационных тестов на выходе из средней школы. Однако в связи с этим появились новые проблемы. Во-первых, тестирование выпускников школ и абитуриентов вузов — это разные задачи педагогического измерения, поэтому возникли трудности отбора содержания тестов для единого экзамена. Тест должен, с одной стороны, охватить минимум знаний и умений, который следует освоить каждому выпускнику средней школы в соответствии с государственными образовательными стандартами, а с другой — отразить специфику требований к отдельным разделам дисциплин, необходимым для обучения в том или ином учебном заведении по различным специальностям или направлениям. Во-вторых, выпускники школ и абитуриенты — это различный контингент для тестирования, имеющий в целом разные уровень подготовки и образовательные цели, что предопределяет отличие в требованиях как к содержанию тестов, так и к уровню усвоения материала. И, в-третьих, при абитуриентском тестировании интерес представляет не только уровень знаний и умений претендентов, но и профессионально значимые качества личности, такие, как творческие и логические способности, объем памяти, профессиональная направленность, широта интересов, уровень технического, вербального или социального интеллекта. Последний эксперимент единого государственного экзамена только начался, а исследователи уже публикуют различные предложения по разрешению поставленных проблем. В частности, для аттестации выпускников общеобразовательных учреждений нужно иметь такие тестовые задания, которые позволяют судить о минимально допустимой компетентности выпускников. За рубежом такие тесты называют Minimum Competency Test. Рекомендуется использование критериально-ориентированных тестов, посредством которых определяется то, что испытуемый знает и чего он не знает из заданного стандарта. Централизованное абитуриентское тестирование предназначено в первую очередь для ранжирования абитуриентов, поэтому здесь требуются иные подходы. Предлагается конструирование комбинированного теста по математике, где начальные задания первого и второго уровней сложности предназначаются для выявления соответствия критерию минимальных знаний предмета, определяемому учебным стандартом, а последующие — третьего уровня — служат для определения рейтинга тестируемого. При абитуриентском тестировании необходимо разрабатывать нормативно-ориентированные тесты, так как их основная цель — ранжирование учащихся по степени владения знаниями по определенной дисциплине. Здесь задания должны контролировать знания на содержательно-личностном уровне качеств, поэтому число репродуктивных заданий, преобладающих в критериально-ориентированных тестах, следует уменьшить за счет заданий, носящих творческий характер.

Единый государственный экзамен по каждой дисциплине должен состоять из двух частей. Первая часть (А) — это аттестационный экзамен по курсу X—XI классов, обязательный для всех учащихся. Имеются два варианта аттестации: А1 — контроль обязательного уровня подготовки выпускников и А2 — повышенного уровня. Результат тестирования переводится в 5-балльную шкалу для отметки в аттестате. Вторая часть (В) — по желанию выпускников для поступления в вузы, состоящая также из вариантов В1 (базовый уровень) и В2 (повышенный уровень). По совокупным ответам на задания частей А (А1 или А2) и В (В1 или В2) выдается сертификат единого государственного экзамена с оценкой по 100-балльной шкале для поступления в вузы.

При проведении аттестационного тестирования необходимо определить минимальный набор совокупности учебных элементов содержания образования. Это можно сделать с помощью структурно-логических схем и матриц логической связи, которые решают задачу формирования минимально полного набора базовых учебных единиц, удовлетворяющих свойствам полноты и минимальности. На основе подобных идей реализуется основной принцип формирования единого банка тестовых заданий — возможно полное и подробное отражение содержания предмета его логической структурой. В связи с этим решается задача создания перечня обобщенных видов умений по каждой дисциплине, обладающих свойствами полноты и минимальности. В соответствии с этим принципом в Центре тестирования Минобразования РФ сформированы обобщенные умения по географии, физике, истории и химии.

Возможен «тезаурусный подход» к определению содержания обучения, основанный на разработке базовых понятий соответствующих учебных дисциплин и специальностей. В педагогических исследованиях чаще встречаются два типа тезаурусов — «информационно-поисковый» (Л.Т.Турбович. 1970) и «логико-категориальный» (Л.В.Макарова. 1992). Первый тип делит множество учебных понятий на отдельные области, а второй устанавливает между ними логические и функциональные взаимные связи. Предлагается методика составления информационно-поискового тезауруса на основе классификатора знаний и способностей Б.Блума — Р.Гегна. дополненного В.С.Аванесовым. В частности, разработаны два классификатора знаний по биологии, содержащие знания «дифференциального» и «интегрального» типов. Первый из них. основываясь на типологии мыслительных операций, содержит группы фактуальных. сравнительных, ассоциативных, причинных, алгоритмических, классификационных, системных, метрологических и методических знаний. Второй на основе деятельностного подхода содержит «житейские», мировоззренческие, технологические, математические, кибернетические, квалитативные и акмеологическне знания. Анализ репетиционных тестов по биологии позволил авторам диагностировать в них 30% фактуальных знаний (термины, определения, исторические факты и достижения ученых, законы и закономерности). 20% классификационных знаний (основные признаки растений и животных, их систематическое положение и морфологическое описание) и 16% причинных знаний (причинно-следственные отношения). Мало внимания уделяется диагностике алгоритмических (10%), ассоциативных (5%) и сравнительных (3%) знании. Таким образом, педагогическое тестирование, основанное на таксономической модели уровней обученное и классификаторе знаний и способностей, наиболее полно удовлетворяет требованиям государственных образовательных стандартов.

Что касается проблемы психологической диагностики абитуриентов на предполагаемом втором туре абитуриентского тестирования в конкретном учебном заведении, тс здесь вдобавок к сертификату выпускника средней школы предлагается психофизиологическое обследование абитуриентов е вузе по факторам, связанным со свойствами нервной системы и когнитивными психическими функциями — памятью, вниманием, особенностями восприятия и мышления. Например, в технических вузах целесообразно оценивать психологические предпосылки к обучению и профессиональному становлению студентов на основании теста технического интеллекта в экономических — теста социального интеллекта Дж. Гилфорда, в гуманитарных — теста вербального интеллекта Дж.Айзенка. Для диагностики развития приемов мыслительной деятельности используются специфические тестовые задания с помощью применения аналогий, исключения лишнего и т.п. Кроме того, полезно разрабатывать методы оценки конкретных профессионально значимых качеств личности абитуриента в соответствии с его будущей профессиональной деятельностью.

Отечественная система образования весьма специфична, поэтому научные и прикладные наработки мировых лидеров по педагогическому тестированию в нашей! стране однозначно не адаптируются, что служит основанием для развития не только прикладных разработок, но и теоретических исследований в данной области; педагогики. Последнее дополнительно стимулируется наличием у нас большого количества научных работников с хорошей математической подготовкой, способных заняться данной актуальной педагогической проблемой. Отдельную группу здесь составляют работы, выполняемые в рамках теории моделирования и параметризации педагогических тестов.

Научные сообщения

Первая с помощью определения показателей надежности и внезапности позволяет сделать оценку качества разработанного теста. Для определения взаимосвязанности заданий в тесте в ней используются методы корреляционного „ факторного анализа. Второй подход основан на методологии латентно-структурного анализа XLSAI_c его мощным математическим аппаратом и имеет больше возможностей по созданию эффективных тестов Так, с помощью модели Г.Раша посредством использования характеристических кривых можно оценивать латентные (скрытые) параметры уровня подготовленности испытуемых и трудности заданий. Разумно составленные варианты теста и статистическая обработка результатов тестирования в рамках данной модели позволяют получать оценки латентных параметров на метрической шкале, однако шкалы, соответствующие различным вариантам теста, отличаются друг от друга. Для их преобразования в единую шкалу необходимо иметь дополнительную информацию, получаемую перекрытием вариантов теста для различных групп участников или перекрытием групп испытуемых, исследуемых различными вариантами теста. Такая дополнительная информация устраняет неопределенность начала отсчета каждой шкалы, соответствующей различным вариантам теста.

Использование двухпараметрнческой модели, предложенной А.Бирнбаумом, позволяет определять дифференцирующую способность тестовых заданий. Для обеспечения нормализации их распределения по уровню трудности рассматриваются вопросы аппроксимации логистического распределения тестовых заданий. При работе с этой моделью неопределенными оказываются не только начала отсчета каждой шкалы, соответствующей различным вариантам теста, но и масштабы таких шкал. Для устранения указанных неопределенностей рекомендуется обеспечивать определенное перекрытие вариантов теста. Обсуждаются структура перекрытия, количество общих заданий — узлов и основные требования к ним. Трехпараметрическая модель А.Бирнбаума позволяет при моделировании тестов учитывать вероятность угадывания ответа на каждое задание. Это повышает эффективность проектирования тестов и ждет своего применения.

Следует отметить, что современная теория измерений различает шкалы номинальные (наименований), порядковые (ранговые), интервалов, отношений (пропорций) и разностей. При измерениях в педагогике чаще всего ограничиваются применением порядковых шкал. Однако в работах Б.П.Битинаса, В.И.Михеева, Л.Т.Турбовича, Л.М.Фридмана, К.Инген-камна и других авторов делаются попытки перехода к интервальным шкалам. Для этого все чаще используются стандартные нормы (z-шкала, с-шкала, т-шкала, р-шка-ла и др.), являющиеся нормированными шкалами на уровне шкал интервалов. В этой связи заметим, что педагогические измерения с помощью традиционной 5-балльной шкалы и тестовых оценок также основаны на порядковых шкалах. Однако перевод латентных параметров в единую метрическую шкалу позволяет перейти от качественных порядковых к количественным квазиннтервальным шкалам и проводить адекватную обработку результатов более мощным математическим аппаратом. Наиболее удобным для оценивания результатов тестирования является 100-балльная т-шкала. в которой в настоящее время стал выставляться сертификационный балл выпускников средних школ при проведении единого государственного экзамена.

Отечественная школа при развитии тестовых измерений показала высокую готовность к использованию информационных технологий на всех этапах разработки и внедрения педагогических тестов. Здесь следует отметить значительные достижения Центра тестирования Минобразования РФ в организации централизованного, абитуриентского и репетиционного тестирования, а также единого государственного тестового экзамена, результатом обобщения которых явилась монографическая публикация. Компьютерные технологии автоматической генерации тестов, проведения и обработки результатов тестирования, региональные и федеральные системы тестирования с использованием всемирной информационно-образовательной среды Интернет возводят педагогическое тестирование в России в разряд современных педагогических технологий и позволяют ему быстрыми шагами приближаться к мировому эталонному уровню.

Основное внимание федеральной власти, регионов и учебных учреждений уделяется итоговым аттестационным экзаменам в средней школе и абитуриентским экзаменам в высшей. Это та отправная точка, от которого педагогическое тестирование будет развиваться вниз (в среднюю общеобразовательную и специальную школу) и вверх (в высшую школу и послевузовское образование). Пока нормативная база отечественной системы образования (за исключением рассмотренного выше перехода школа — вуз) не разрешает проводить тестовые экзамены итогового и заключительного уровней, однако во всех компонентах этой системы ведется большая подготовительная работа. Наиболее актуальным становится разработка текущих, тематических и рубежных тестов, используемых в учебном процессе всех образовательных структл-р. Это большое профессиональное иоле, полностью заполнить которое не удастся на ближайшую обозримую перепекших. Для сравнения можно указать, что к США ежегодно знания и способности учашмхея проверяются с помощью 47 млн. тестовых бланков, выпускаемых 400 тестовыми компаниями. Подавляющее большинство из них представляют бланки текущего, тематического и рубежного уровнен

Всевозрастающее число разработчиков педагогических тестов выдвигают перед отечественной системой образования ряд важных задач.

Первая из них связана с сертификацией качества педагогических тестовых материалов, используемых для оценки знаний и других педагогических характеристик обучающихся в образовательных учреждениях РФ. С целью повышения качества образования и дальнейшего совершенствования аттестационных тестовых технологий создан Координационный совет Минобразования России (приказ Минобразования РФ № 1122 от 17.04.2000), призванный осуществлять контроль за соблюдением требований к качеству педагогических тестовых материалов, вырабатывать рекомендации по совершенствованию процесса их сертификации, определять порядок оформления и выдач сертификатов. Наличие сертифицированных педагогических тестов позволит организовать их распределение и будет способствовать формированию рынка тестовых услуг.

Вторая актуальная задача связана с подготовкой квалифицированных тестологов. С недавнего времени эта задача стала государственной, и ее решение предлагается введением в системе дополнительного профессионального образования дополнительной квалификации «тестолог».

Таким образом, можно констатировать, что педагогическое тестирование в России в настоящий исторический момент возрождено и переходит в стадию интенсивного развития. Специфика российских образовательных систем придает ему индивидуальные черты, формирование которых позволит решить ряд важнейших педагогических проблем их интеграции в международные системы образования, реформирования отечественной средней и высшей школы, а также развития научных основ педагогического тестирования.