"Каждая вещь известна настолько,
насколько её можно измерить".
У.Т. Кельвин
"Хотеть совершить что-либо - значит хотеть всё то,
что необходимо для достижения цели, в том числе
хотеть приобрести те качества, которые нужны для
воплощения замысла. Во всех прочих случаях вы не
хотите, а просто стремитесь к чему-то, находитесь
в плену собственной фантазии, сладостно
упиваетесь задуманным".
Ортега-И-Гассет (1).
В статье определены пять основных направлений развития теории и практики педагогических измерений.
Первое - это демаркация (отграничение) педагогических измерений от ненаучных контрольных материалов государственных экзаменов и от иных псевдометрических форм и методов, распространяемых сейчас в России под видом педагогических измерений.
Второе направление - разработка вопросов формы тестовых заданий.
Третье - педагогическое содержание теста и тестовых заданий. Четвёртое направление - разработка критериев качества и эффективности педагогических измерений.
И пятое направление - улучшение языка этой прикладной педагогической науки.
Развитию педагогических измерений препятствует проведение т.н. единого государственного экзамена, c его некачественными контрольными материалами. Эти материалы функционируют в России как подмена подлинных педагогических измерений. В статье обобщены ранее опубликованные факты и доказательства некачественности контрольных материалов российских государственных экзаменов.
Введение
Педагогические измерения относятся к числу сравнительно малоисследованных направлений педагогической науки и образовательной практики. Они возникли в конце ХIХ-го - начале ХХ-го века за рубежом, вначале в Англии, США и Франции. В течение ста лет к этим трём странам добавились Австралия, Нидерланды, Израиль, Южная Корея, Япония. За прошедший век педагогические измерения превратились в одно из развивающихся направлений зарубежной педагогической науки.
В России сложилась иная ситуация. Здесь педагогические измерения заметного развития не получили. В ХХI век Россия вошла с контрольными материалами государственного экзамена, созданными на основе политически привлекательной, но метрически ошибочной идеи - одновременной оценки выпускников школ и абитуриентов вузов общим, одним и тем же, набором заданий единого государственного экзамена (ЕГЭ)(2). А потому качественно измерить заметно различающиеся уровни подготовленности выпускников российских школ и абитуриентов вузов, бланковыми методами, этим единым набором заданий не удаётся в течение вот уже десяти лет. Практика неизменно подтверждает правоту теории- набор не есть тест. Это должна быть система заданий. Контрольные материалы превратились сейчас, по сути, в антагонистов подлинных педагогических измерений.
Проблемная ситуация
Зримым поворотным моментом к ухудшению ситуации с педагогическими измерениями стало решение Правительства РФ о проведении в стране единого государственного экзамена (ЕГЭ). В распоряжении Правительства РФ N910-з - объяснялось, что ЕГЭ вводится с целью обеспечения объективности и унификации итоговой аттестации и вступительных испытаний в системе профессионального образования (3). Унификация - это ошибка, имеющая тяжелейшие последствия.
На поверхностный взгляд, дело казалось нужное - обеспечение равного доступа граждан к высшему образованию и ликвидация разросшейся коррупции при приёме в вузы. Но идея унификации итоговой аттестации и вступительных испытаний в вузы не сочеталась с положениями теории педагогических измерений; для повышения точности педагогических измерений уровень трудности заданий должен соответствовать уровню подготовленности испытуемых. Зато легко укладывалась в логику трансформации образовательного процесса в сторону усиления авторитарных и бюрократических элементов.
Ответом на такую трансформацию стал ежегодный рост числа нарушений правил проведения ЕГЭ. Результаты фабрикуются в невиданных ранее масштабах, коррупция растёт, качество образования ухудшается. Информация о всех зафиксированных нарушениях в целом по стране и по отдельным территориям не публикуется; десять лет она оставалась скрытой образовательным ведомством.
Спорная, изначально, цель оценить, единовременно и качественно, разные по уровню подготовленности контингенты школьников и абитуриентов вузов не могла продуцировать позитивные результаты. Одновременно это делать можно, но качественно, бланковыми формами, нельзя. А потому неслучайно, в реальном исполнении, контрольные материалы для достижения этой спорной цели оказались некачественными.
Ошибочные цели введения единого государственного экзамена и некачественные инструменты достижения этих целей привели к тому, что в России педагогическое оценивание и педагогические измерения были заменены бюрократическим контролем посредством некачественных "материалов". Все исходные и подлинные результаты засекретили, после чего вместо разработки научно-обоснованных методов педагогических измерений и улучшения качества образования бюджетные средства стали тратиться на проведение государственного экзамена.
Сама идея отбирать абитуриентов одинаковыми "материалами" в разные вузы - тоже ошибочная и вредная. Если вузы разные, и туда идут студенты с разной подготовкой, то и задания должны быть разные по уровню трудности, такие, которые позволяют каждому вузу точнее отобрать искомый контингент. При проверке всех одним и тем же набором "материалов" точность оценок резко ухудшается. Это особенно сказывается на правой стороне распределения исходных баллов, у наиболее подготовленных испытуемых. Ошибки измерения там оказываются недопустимо высокими. Тем самым нарушаются права граждан на объективную оценку уровня их подготовленности.
Неоднократные обращения автора этой статьи и многих представителей научно-педагогической общественности к чиновникам всех уровней с предложениями прекратить производство некачественных материалов и проведение единого министерского контроля уровня подготовленности выпускников школ и абитуриентов различных вузов, успеха не имели. Ответом было полное молчание. А это самый грубый способ защиты - притвориться глухим или непонимающим, как писал Э. Каннети. "Молчащий не раскрывается, но выглядит при этом опаснее, чем он есть на самом деле. В нём подозревают большее, нежели он скрывает. Он молчит, потому что ему есть что скрывать" (4).
И действительно, с научно-педагогической точки зрения идея ЕГЭ оказалась уязвимой (5). Преобладание внешней заданности в целях, содержании и технологии образования приводит к ослаблению внутренней мотивации учеников..., к гиперболизации формальных ценностей образования - получение отметки, сдачи экзаменов, поступление в вуз, его окончание (6).
Ещё более идея ЕГЭ оказалась несостоятельной с точки зрения теории педагогических измерений. Похоже, что исполнители и чиновники не понимали сложности самой проблемы. Чтобы убедиться в некачественности заданий, с которых начинался на так называемый "эксперимент по ЕГЭ", достаточно взглянуть на один пример контрольного "материала", не имеющего ничего общего с педагогическими измерениями (7). Такой плохой старт стал одной из причин неудовлетворительного финиша. Некачественные контрольные "материалы" ЕГЭ дискредитировали благие замыслы Правительства РФ.
Последовало вынужденное признание В.В.Путиным справедливости критики ЕГЭ, сделанное, однако, вместе с предложением совершенствовать этот экзамен (8). Но как это сделать? Конструктивных предложений по совершенствованию госэкзамена, созданного без науки об измерениях и мало-мальски обоснованного научно-педагогического проекта (9), не было ни до, ни во время, ни после десятилетнего срока его проведения.
Между тем, подлинные трудности с проведением ЕГЭ связаны не только, и не столько с проведением экзаменов, сколько с контрольными заданиями. Завеса секретности, незаконно возведённая вокруг исходных, реальных результатов, обернулась отрицательным образом для всей страны, в виде повсеместного ухудшения образовательной деятельности.
В органах управления образованием не считали нужным отвечать на обращения, критику, или вступать в дискуссию со своими многочисленными оппонентами. Такого вызывающего отношения чиновников к своим оппонентам в истории России не было никогда. Это был новый стиль, утвердившийся в сфере управления образованием. Как отмечалось в литературе, особенно удручала полная глухота реформаторов к мнению педагогической науки и народа (10).
В ситуации заинтересованности большинства сторон процесса ЕГЭ в повышении баллов испытуемых любыми способами, ЕГЭ начал саморазрушаться. В недавно опубликованном отчёте Общественной Палаты РФ перечислено семь сторон социума, заинтересованных в завышении результатов ЕГЭ, общим числом миллион человек (11).
В результате справедливая, казалось бы, идея проведения в России ЕГЭ, но бездарно исполненная, стала с каждым годом терять своих сторонников. Надо подчеркнуть, что в западных странах ЕГЭ нет. Там проводится независимое, общественно-профессиональное тестирование, текущий и итоговый компьютерный адаптивный контроль в самих образовательных учреждениях, автоматизированный учёт всех решённых заданий, каждым учащимся или студентом, используется также рейтинг.
А потому ловчить невозможно и незачем, потому что при приёме смотрят не только на бумаги и в кошелёк родителей, но и на реальные компетенции, которыми владеют поступающие в вузы. О подлинных учебных достижениях каждого абитуриента известно всё, и в любое время. Вот истинная польза открытости результатов и образовательных технологий для возможного свободного развития каждого гражданина, в зависимости от его способностей, прилежания и учебной мотивации.
Влияние ЕГЭ и контрольных материалов российского государственного экзамена на систему российского образования оказалось отрицательным. Давно известно, что вред от некачественных оценок в сфере образования существенно выше, чем кажущаяся от них польза (12).
Ещё раз подтвердилось на практике мнение выдающегося русского учёного и педагога Н.И.Пирогова. "Я почти ежедневно убеждаюсь из опыта, что экзаменационное направление в наших училищах не приносит никаких благих результатов. Оно вредно, оно возбуждает наклонность в учащихся учиться для экзамена, а не для науки (13). Государственный экзамен довёл отмеченную наклонность до абсурда.
Странным образом верховная власть дала исполнителям ЕГЭ право игнорировать всенародную, по существу, критику в их адрес, дала бюджетные средства на проведение асоциального бюрократического контроля (14) и на производство некачественной продукции (15). И сверх того дала право не отчитываться должным образом о своей работе.
Тем не менее, В.В.Путин не потерял ещё надежды на возможность совершенствования госэкзамена. Его понять можно. В 2000 году ЕГЭ казался важным фактором образовательной политики, утверждения идей усиления борьбы с коррупцией и установления справедливых форм приёма в вузы. Спустя 11 лет этот фактор обернулся ростом коррупции, снижения социальных гарантий обеспечения реального доступа граждан к высшему образованию. Сейчас госэкзамен стал похож на тяжёлый чемодан без ручки, который нести неудобно, а бросить, похоже, жалко.
Только в последнее время власть стала видеть глубину ямы под названием ЕГЭ, вырытой ошибочными целями, негодными инструментами (контрольными материалами) и бюрократическим режимом исполнения. Фактическое введение полицейских мер в образовательный процесс - незаконные обыски учащихся (16), слежка за детьми в туалетах (17) и т.п. - прямая дорога к разрушению не только ЕГЭ, но и нравственных основ российской педагогики и российского государства.
Государственный экзамен теперь становится отрицательным предвыборным фактором. Уже давно надо было начать поиск достойного способа его прекратить, что могло бы дать некоторым избирателям новую надежду. Однако свой элемент неожиданности привнёс А.А.Фурсенко, заявивший, что этот экзамен - навечно! Неужели ему непонятно, что своеволие, которое позволяли себе чиновники все годы силового внедрения ЕГЭ, дошло до терпимых пределов. А потому его притязания увековечить бездарный ЕГЭ лишь ускорят созревание ситуации, о которой говорил известный классик: когда низы больше не хотят, а верхи уже не могут.
ЕГЭ провалился?
В критической литературе обнаруживается много мнений о провале ЕГЭ. В министерстве образования и науки, а также в Правительстве РФ, так не считают. Хотя и об успехах тоже благоразумно перестали говорить. Видимо, играет свою роль периодическая замена кадров главных неудачников-толкачей ЕГЭ. Очевидно, вопрос в критериях - что считать провалом? Президент РФ Д.А.Медведев и Председатель Правительства РФ В.В.Путин считают, что у ЕГЭ есть плюсы и минусы, но что в целом он эффективен (19).
Никто из них, а также из министерства образования и науки, не назвали конкретные минусы ЕГЭ, и что они считают нужным совершенствовать? Из чего можно понять, что их позиция имеет лишь общую, но не конкретно определённую направленность на сохранение этого экзамена. Но такая позиция не имеет положительной перспективы. Между тем, конкретные недостатки ЕГЭ уже давно были выделены и названы в сотне научных работ многих авторов (20). Но на них не обращали внимания. Эта критика считалась маргинальной, а сами критики в кулуарных обсуждениях относились к маргиналами. На самом деле маргинальной и ригидной оказалась позиция разработчиков ЕГЭ и их заказчиков (21).
Важным объективным свидетельством провала ЕГЭ стал уже упоминавшийся выше документированный отчёт Общественной Палаты РФ (22). В нём, в общем, в очередной раз показана неприемлемость и абсурдность сложившейся бюрократически-режимной практики проведения ЕГЭ. Сделанные там выводы, ввиду документированности событий и обращений, никем не опровергаются, но и опять не принимаются чиновниками, как нужные и полезные для исправления положения дел. В общем, для постсоветской России - это обычная практика. Как тогда совершенствовать ЕГЭ? В этих условиях он и начал разваливаться.
Ссылаясь на выводы независимой общественной комиссии, куда входил и автор этого доклада, С.М. Миронов заявил, что эксперимент по введению единого госэкзамена в стране провалился (23).
"ЕГЭ не устранил коррупцию при поступлении в вузы и не позволил объективно выставлять оценки выпускникам школ", - пояснил он. Судя по смещению его с должности Председателя Совета Федерации, последовавшим вслед за этим, эти его правильные слова пришлись не ко двору.
В.В. Черников тоже считает, что попытки повышения качества обучения через введение ЕГЭ провалились. Как известно, считает он, в тонущем корабле никакие прогрессивные способы мытья стаканов на кухне не спасают корабль. И пока критерии работы системы образования не будут напрямую встроены в стратегию выживания социума, результат будет плохим (24).
Все попытки властей собственными силами улучшить ситуацию и остановить разрушительный процесс оказались неудачными; они принесли лишь новые, очередные трудности. Это следствие системных дефектов самого российского государственного экзамена и используемых там материалов. На критику дефектов разработчики этих материалов не реагировали должным образом, как будто они жили в другом государстве. В таком асоциальном варианте ЕГЭ был, конечно же, обречен на провал (25).
Реакция на этот прогноз была неожиданной. Вместо привычного молчания в министерстве образования и науки РФ, без какого-либо признания ошибочности ЕГЭ, тихо и быстро отказались от идеи единых государственных экзаменов (ЕГЭ) для большинства школьных предметов, равно как и от единых контрольных материалов. И в нарушение закона переналадили большинство единых экзаменов только на приём абитуриентов в вузы. А норму статьи закона о едином государственном экзамене сохранили, похоже, лишь для двух предметов - русского языка и математики. Генпрокуратура и министерство юстиции РФ заняли привычную отстранённую от ЕГЭ позицию.
К слову, оба упомянутых выше экзамена имеют наибольшие метрические погрешности. Остальные т.н. "единые" госэкзамены после такой операции фактически перестали быть едиными, а потому уже больше не применяются для итоговой государственной аттестации выпускников школ. Бюрократическая логика незатейлива: меньше экзаменов для выпускников школ, меньше двоек, меньше станет и неприятностей.
Хотя буква "Е" в аббревиатуре ЕГЭ для большинства экзаменов стала обречённой на фактическое вымирание, во всех бумагах и в средствах массовой информации она сохранялась. Пропагандистский прессинг создавал в социуме ложное представление, что единый государственный экзамен жив, и вечно будет жить. Случившаяся в министерстве образования и науки подмена большинства ранее единых государственных экзаменов не едиными государственными экзаменами осталась в Правительстве РФ и в Госдуме как бы незамеченной. А потому финансирование провальной затеи продолжается.
Для реализации правительственной идеи проведения единого государственного экзамена был создан Федеральный институт педагогических измерений (ФИПИ). Ему и была поставлена задача создать новые, доселе неизвестные в мире методы унификации двух экзаменов. На наше предупреждение о ложности самой идеи и об ошибочности принятого правительственного распоряжения чиновники привычно не реагировали (26).
ФИПИ погрузился в бесплодный "эксперимент" на целых восемь лет, без опубликованной научной программы. Отчёта о результатах этого пролонгированного поиска нет, и, видимо, никогда не будет. К 2009 году терпение оппонентов и власти иссякло, а потому было приказано "Пора"! После чего материалы ФИПИ для единого государственного экзамена объявили пригодными для масштабного применения на массах школьников и абитуриентов, в штатном, как было отмечено, "режиме". Смысл последнего слова был тогда явно не понят и не оценён должным образом. Никто не мог тогда предположить, в ФИПИ создавался не научно-педагогический метод, как это должно было быть, а новый контрольно-бюрократический режим проведения массового государственного экзамена.
Отсюда становятся понятными две главные причины провала ЕГЭ: авторитарный бюрократический режим, установленный для его проведения, и некачественный инструментарий, созданный в ФИПИ для реализации такого режима контроля знаний.
Сам ФИПИ был превращён в исполнительный придаток министерства образования и науки. В условиях зависимости от ошибочной воли чиновников институт не получил возможности стать подлинным научным учреждением. То же произошло с Центром тестирования, который стал, по той же воле, головной организацией Рособрнадзора по организационно - технологическому обеспечению проведения ЕГЭ и по трансформации исходных результатов ЕГЭ в производные. Надо было так менять результаты ЕГЭ, чтобы мало кто мог понять - что происходит в реальности. После чего Централизованное тестирование, проходившее ранее, на добровольной основе, во многих регионах России, перестало существовать (27). Оно стало частью бюрократического режима контроля.
Настоящие научные статьи и научные монографии по педагогическим измерениям в ФИПИ не готовились и не издавались. Похоже, что писать их там было некому или некогда. И сейчас на сайте института нет таких изданий. Бюрократическому режиму контроля знаний это и не надо. По полезности и информативности публикуемой научной литературы по проблеме педагогических измерений этот сайт целого института заметно уступает сайтам отдельных авторов.
Быстро нашлось размытое и ложное название производимым там изделиям: контрольно-измерительные материалы (КИМы) ЕГЭ. Размытое, потому что под название "материалы" можно подвести даже канцелярский чих, попавший на служебную бумагу. Ложное, потому что эти КИМы не являются ни тестами (28), ни обычными экзаменами, ни педагогическими измерениями (29). В ситуации отсутствия объективной статистики и вакуума эмпирических данных, общественное обсуждение проблем ЕГЭ было искусственно направлено исключительно в бездоказательный мир мнений. Это позволяло инициаторам и лоббистам ЕГЭ несколько лет держать оборону. Факты качественности материалов они представить не смогли, а факты некачественности - не хотели, а потому пришлось скрывать.
В данной статье сделана попытка собрать некоторые факты, указывающие на непригодность контрольных материалов ЕГЭ, в предположении, что это поможет, наконец, перевести общественный дискурс из сферы мнений в область бесспорных, эмпирически установленных фактов.
Начнём с того факта, что большинство единых госэкзаменов уже не дожили до прогнозированного автором этой статьи срока в своём прежнем, подчеркнём, едином виде (30). Разве это не признак провала прежнего ошибочного замысла проведения единого государственного экзамена?
А кто, кроме чиновников, сейчас считает, что новый вариант проведения ЕГЭ, ориентированного преимущественно на приём в вузы, лучше? Никто. Сама идея отбирать абитуриентов, одинаковыми "материалами", в разные вузы - такая же ошибочная и вредная, какой была и идея единого экзамена. Если вузы разные, и туда идут студенты с разной подготовкой, то в соответствии с требованиями постулата соответствия в теории педагогических измерений, задания должны быть разные по уровню трудности, в зависимости от уровня подготовленности, такие, которые позволяют, соответственно, каждому вузу точнее отобрать искомый контингент. При проверке всех одним и тем же набором "материалов" точность оценок резко ухудшается. Это особенно сказывается на правой стороне распределения исходных баллов, у наиболее подготовленных испытуемых, что видно на приводимых далее гистограммах.
Коррупция не уменьшилась, а увеличилась, теперь уже вокруг ЕГЭ. И это уже не мнение, а профессионально установленный точный факт (31).
