Вадим Аванесов: Проблема соединения тестирования с обучениемНазад
Вадим Аванесов: Проблема соединения тестирования с обучением
Аннотация
Умелое соединение тестирования с обучением даёт начало новой образовательной технологии. В этой технологии соединяются практика применения тестовых заданий и теория педагогических измерений, применение компьютеров и компьютерных программ, автоматизированное обучение и контроль, мониторинг текущих учебных достижений, элементов текстологии и педагогики.
Главные средства новой технологии - квантованные учебные тексты и тестовые задания к ним. Тем самым достигается решение важной образовательной задачи - перевод деятельности учителя по формированию классической образовательной триады Яна Амоса Коменского - понимания, усвоения, а затем и применения полученных знаний, в образовательную технологию.
Система большого числа тестовых заданий может образовать супертест, который надо применять не целиком, как тест, а частями, по ходу изучения курса. Супертест, таким образом, станет главным средством соединения обучения и тестирования.
Ключевые слова: задание в тестовой форме, тестовое задание, квантованный учебный текст, тестирование, супертест.
Проблемная ситуация
Начало XXI века характеризуется усилением внимания к исследованию кризисных явлений в сфере образования. Такие явления существуют и в России. По мнению большинства авторов, за последние 20 лет качество школьного и вузовского образования заметно ухудшилось.
В.И.Матвиенко выделяет ряд причин возникновения такой ситуации. Это введение платного образования, появление негосударственных учебных заведений, многочисленных филиалов вузов без создания адекватной системы их аттестации и аккредитации, устаревшее содержание образования, да ещё без достаточного его материально-технического обеспечения. Всё это привело к снижению качества как общего, так и профессионального образования. Россия опустилась по этому показателю на 20 место в мире.
С точки зрения автора этой статьи, существенную роль в образовании кризисных явлений сыграло недостаточное внимание к содержательной стороне образовательного процесса, низкая культура разработки новых учебных материалов и новых учебных текстов.
Учебники стали заметно хуже, около 80% таковых нельзя пускать в школу из-за их непригодности. По сравнению с советским временем тиражи книг уменьшились в три раза, тиражи журналов - в четыре раза, тиражи газет - в шесть раз.
В.А. Болотов отмечает три вызова, на которые современная российская школа не отвечает:
1. Массовая школа при наличии компьютеров и Интернета реально почти не использует возможности информационного пространства и продолжает претендовать на то, что она исключительный, монопольный источник знаний, и работает в этой парадигме.
2. Массово растёт (и не только в Москве) формализованный и скрытый экстернат. Учащиеся старших классов, ориентированные на поступление в престижные вузы, начинают уходить из школы и фактически готовятся к сдаче экзаменов только по 3-4 выбранным предметам на различных курсах и у репетиторов...Необходимо разрабатывать новые дидактические подходы, связанные с превращением школы из машины по трансляции знаний в место по организации получения знаний, - и неважно, где ученик их получает: в кружках, Интернете, дома, в своей или соседней школе.
3. Сегодня одной из самых тяжёлых проблем для общества и государства становится самоидентификация наших подростков.
Проблемная ситуация в высшей школе.
Не лучше обстоят дела в высшей школе. Основным камнем преткновения справедливо считается классно-урочная система как ведущая форма организации учебных занятий в вузах. Эта система диктует методы обучения и способы организации учебной деятельности в традиционной учебной группе, рассчитанные на среднего студента.
Надо переходить от классно-урочной формы обучения всех к индивидуальным формам образования каждого. Но это можно сделать путём создания новых адаптивных образовательных технологий, с автоматизированным учётом реальных учебных достижений, что без применения качественных тестовых форм либо невозможно, либо проблематично. Предлагаемая в данной статье новая система "Супертест" основана на необходимости реализации именно таких технологий.
Об ухудшении качества образования свидетельствует отсутствие российских вузов в международных рейтингах лучших вузов мира. Сейчас поставлена задача - не менее пяти российским вузам войти в списки ста лучших вузов мира. Можно забросать бюджетными деньгами пять назначенных вузов и показать, что у нас тоже есть хорошие вузы. Но если даже пять вузов вдруг поднимутся в рейтинге, то всё равно останется нерешённым вопрос - а как поднять качество образования во всех остальных вузах России? Неужели их слиянием и укрупнением? Но это путь бюрократический.
Когда объединяется хороший вуз со слабым, то реально на выходе сразу же получается средний вуз. А что будет дальше, зависит от множества факторов, действующих разнонаправлено, на разных территориях, при разных руководителях. Окончательные итоги такого слияния не обязательно положительные. Нередко филиалы бываю сильнее по качеству набора студентов, чем головные вузы.
Например, большую общественную критику вызвало недавняя попытка сокращения, под надуманным предлогом "нерентабельности", Московского филиала Санкт-Петербургского Государственного университета кино и телевидения. В филиале училось более 700 студентов, при числе преподавателей менее 50. Во многих вузах это соотношение хуже, но их не закрывают. Поэтому тезис о нерентабельности - неубедительный. В финансовом отношении филиалы обычно рентабельнее вузов.
Курс Правительства РФ на сокращение числа студентов, вузов и филиалов
Как отметил недавно депутат Госдумы Иван Мельников, в последние годы количество бюджетных мест в вузах начало сокращаться. До 1 сентября действовала норма, согласно которой государство обязано было обучать не менее 170 человек на 10000 населения бесплатно. В 80-х годах эта цифра равнялась 221, в 1993 - 170, а локальный максимум был достигнут в 2005 - 210 человек. В прошлом году государство обучало бесплатно только 172 человек на 10000. В планах на следующий год - снижение до 163, а к 2020 - до 120. Проводимая в России политика прямо противоположна образовательной политике, например, Казахстана, вышедшего на первое место в мире по темпам роста уровня образованности населения.
Вызывают удивление недемократичные методы сокращения числа студентов.
Эти методы используются неожиданно, а потому напоминают спецоперации. Как случилось с упомянутым филиалом, студенты пришли первого сентября на занятия, а им сказали, что филиал закрыт на основе решения Учёного Совета головного вуза. Хотя на самом деле решения ещё ранее были приняты в министерстве образования и науки. Ректор, видимо, "случайно", оказался в командировке, а в вузе никто, кроме него, не смог объяснить происходящее.
Абсурд по имени ЕГЭ
С первого дня введения ЕГЭ автор этой статьи пишет о теоретической и метрической непригодности самой конструкции этого экзамена, о недопустимости его использования из-за чрезвычайно высокой погрешности получаемых оценок. В ЕГЭ одним набором заданий пытаются оценить заметно различающиеся уровни знаний - выпускников школ и абитуриентов вузов, откуда и проистекают недопустимые значения погрешностей оценок. Несоответствие подбора заданий по уровню их трудности уровню подготовленности большинства испытуемых - вот главный дефект т.н. "контрольно-измеримых материалов" (КИМов) ЕГЭ, неустранимый в нынешних условиях управления образованием.
Массовое недоверие населения к ЕГЭ, его отрицательная оценка и в плане объективности, и в плане коррупционной составляющей, так или иначе, ставят вопрос о его дальнейшей судьбе. Сегодня вопрос уже стоит не о том, хорош ЕГЭ или плох. То, что он плох, стало уже ясно большинству населения. Особенно трудно было объяснить принципиальные пороки ЕГЭ в самом начале этой эпопеи.
Слишком высока была эйфория чиновников от мнимых достоинств ЕГЭ. А потому всех критиков ЕГЭ они самонадеянно считали маргиналами. Н прошло время. И мы уже знаем, кто на деле является маргиналом. Это те, кого власть меняет из-за ежегодно возникающих неприятностей с ЕГЭ. Никто ещё не доказал, что ЕГЭ хотя бы немного улучшает качество образования в стране или что он снижает коррупцию.
В.В. Путин говорил о плюсах и минусах ЕГЭ, без упоминания хотя бы одного минуса. Из чего можно подумать, что о таковых он, вероятно, знает, но говорить не хотел. В последнее время он заметно дистанцировался от ЕГЭ. Д.А.Медведев минусов не видит, что позволяет ему упорствовать во мнении, что ЕГЭ эффективен. Никакие аргументы педагогической общественности о негодности ЕГЭ на руководителей страны не действуют. И это верный признак того, что бездарно построенный корабль по имени ЕГЭ довольно быстро либо перевернётся сам, либо они его сами его потопят, без лишнего шума.
К настоящему времени накопилось слишком много фактов отрицательного влияния ЕГЭ на российскую систему образования. Оказалось, что результаты ЕГЭ легко фальсифицируемы. Оценки половины высокобалльных (от 80 и выше) и стобалльных работ ЕГЭ по ряду предметов оказались неоправданно завышены сотрудниками региональных экзаменационных комиссий. Такой вывод следует из результатов закрытой выборочной перепроверки, которая проводилась разработчиками заданий ЕГЭ.
Вот что пишут, например, преподаватели МГУ. "Установочные диктанты для выявления уровня знаний первокурсников мы пишем каждый год. Обычно с ними не справляются 3-4 человека. Но результаты этого года оказались чудовищными. Из 229 первокурсников на страницу текста сделали 8 и меньше ошибок лишь 18%. Остальные 82%, включая 15 стобалльников ЕГЭ, сделали в среднем по 24-25 ошибок.
По данным за май 2013 года, 15 % граждан полагает, что ЕГЭ оценивает знания экзаменуемого лучше, чем традиционные экзамены, а 43 % уверены в том, что он делает это хуже. При этом 30 % полагает, что число взяток при ЕГЭ увеличилось, 17 % - что уменьшилось, и 33 % - что осталось прежним.
Успешная сдача единого государственного экзамена стала теперь главной целью для большинства выпускников школ и абитуриентов вузов. В таких случаях достижение подлинных целей образования для большинства из них становится невозможным. Как справедливо отметил Анатолий Чехов, оценка успеваемости учащихся школ по одному экзамену в конце года никогда не была и никогда не будет объективной и справедливой.
Система ЕГЭ победила систему российского образования
Таким образом, в России, после введения ЕГЭ, система контроля победила систему обучения. Реальное положение вещей с ЕГЭ власть продолжает упорно игнорировать, подлинные результаты необоснованно засекречены уже много лет. В итоге уже несколько лет мы живём в стране победившего абсурда.
В то время как мировые тренды свидетельствовали о стремлении найти способы соединения технологического тестового контроля с обучением. ЕГЭ же, по истечении 13-ти лет его апробации и применения превратился в средство фактического разъединения обучения и контроля, методического отставания всей системы образования, усиления коррупция и влияния бюрократии.
С внедрением ЕГЭ российское образование наступило на те же самые грабли, на которые ранее наступило американское образование. Вместо полноценного процесса формирования знаний и умений основная цель обучения в американских школах сводилась к серии тренингов по подготовке к очередному тесту. Тесты не приносили особой пользы ни учащимся, ни учителям. Учащиеся знали лишь итоговый балл, оставаясь в неведении о типах и причинах ошибок, допущенных в тесте. А учителя не получали необходимой информации о том, как учащийся обосновывал ход решения задачи, какие приёмы эвристики он при этом использовал, рационально ли он решал задачу, адекватен ли был ход решения задачи полученному результату, осуществлялась ли проверка решения и т. д.
Исчезнувшее движение педагогов- новаторов
После того, как в системе образования утвердился бюрократический тип управления, движение новаторов стало исчезать.
Вот цитата из недавнего выступления Председателя Правительства РФ. Д.А.Медведева. "Очень важные условия высокого качества обучения в нашей системе образования - это инициативность и свобода учителей и школ. При этом он сослался на выступление министра образования и науки Д. Ливанова. "У нас за последние годы в результате роста бюрократии и бумажной отчетности фактически остановилось инновационное движение школ и учителей - это вызывает большую озабоченность", - сказал Ливанов в ходе видеоконференции.
По его словам, в новом учебном году предстоит пересмотреть отношение к инициативе в школах и ввести практику стимулирования инициативности. Будут приниматься меры по поддержке учителей-новаторов и школ, вводящих оригинальные педагогические новшества.
Проблема исследования
Обзор проблемной ситуации показывает, что сложившиеся формы бюрократического управления сферой образования себя дискредитировали и привели к кризисным явлениям. Гораздо эффективнее искать новые технологии и создавать педагогические методы улучшения качества работы образовательных учреждений. Одной из таких технологий может стать соединение форм тестирования с обучением. Для успешного создания такой технологии надо обратиться к вопросам квантования учебных текстов и теории педагогических измерений.
При существенном дефиците качественных учебников возникает потребность в новых учебных материалах, подготавливаемых педагогом новой формации. Таким, который способен сам написать короткие учебные тексты для учащихся, простыми и понятными словами, создать к текстам правильно сформулированные задания в тестовой форме, организовать изучение детьми, с помощью компьютера и компьютерных программ, сотни таких текстов и тысячи заданий к ним, организовать непрерывную тьютерскую помощь каждому учащемуся. Для формирования таких способностей нужна специальная подготовка учителей школ. Но именно такая подготовка учителей в России не ведётся. Она ведётся автором этой статьи в Казахстане, стране, где есть повышенный спрос на новые образовательные технологии.
Соединению тестовых фор контроля и самоконтроля с обучением в целостном педагогическом процессе мешает идущее издавна разделение педагогов на сторонников и противников тестов. На самом деле, настоящих тестов в российском образовании нет, а то, что есть, в иерархии понятий автора этой статьи, нельзя назвать не то что тестами, но даже и заданиями в тестовой форме. ЕГЭ, тем более, совсем не тест. В этом вопросе нужна осмысленная демаркация ошибочных форм ЕГЭ от форм настоящего теста.
Основные понятия
Исходя из авторской концепции трёх этапов тестового процесса, выделяются три основных понятия теории педагогических измерений: это "задание в тестовой форме", "тестовое задание" и "педагогический тест".
В квантованных текстах используются не тесты, а задания в тестовой форме. Задания в тестовой форме отвечают следующим требованиям:
- краткость;
- технологичности
- правильность формы;
- логическая форма высказывания;
- одинаковость правил оценки ответов;
- наличие определенного места для ответов;
- правильность расположения элементов задания;
- одинаковость инструкции для всех испытуемых;
- адекватность инструкции форме и содержанию задания.
Тестовое задание - это составная единица теста, отвечающая перечисленным выше требованиям формы и, кроме того, статистическим требованиям:
1) известной трудности;
2) достаточной вариации тестовых баллов;
3) положительной корреляции баллов задания с баллами, полученными по всем заданиям.
Наличие достаточного числа тестовых заданий, полученных в результате обязательной эмпирической апробации заданий в тестовой форме, позволяет перейти к разработке супертеста как содержательной системы, обладающей целостностью, содержанием, составом и структурой.
Технологию можно определить как учение о мастерстве. Раньше это понятие употреблялось применительно только к техническому мастерству, позволяющему так построить систему действий, чтобы достигалась наибольшая эффективность. В наши дни понятие "технология" стало широко использоваться и в образовательной сфере.
Образовательной технологией называется система научной организации обучения и контроля, создаваемая на основе достижений педагогики, применения новых форм и методов научной организации учебного процесса, различных технических средств обучения, компьютерных форм организации самостоятельной работы при обучении и проверке знаний. Педагогическая деятельность такого рода опирается не только на теоретические достижения выдающихся мыслителей-педагогов прошлого времени, но включает в себя также современные достижения информатики, кибернетики, педагогических измерений и психологии.
Понятие "образовательные технологии" связывается с расширенным применением в учебном процессе различных средств компьютерной визуализации лекций и презентаций, тестовых форм, использованием новых поколений наглядных пособий, а также средств проверки умений студентов решать задания.
Образовательная технология призвана максимально точно, целенаправленно, планомерно, в соответствии с заранее заданными критериями, достичь гарантированного результата обучения - и в этом её главное преимущество перед методикой преподавания. Точность и гарантированность образовательных результатов связаны с тем, что технология выходит на более детальный уровень управления действиями и операциями учебной деятельности, по сравнению с методикой.
Квантование учебных текстов означает их разделение на небольшие части (кванты), что облегчает усвоение смыслов, содержащихся в каждом кванте учебной информации. Усвоение содержания текста по частям облегчает усвоение информации, содержащейся в полном тексте.
Супертест - система заданий по всем темам изучаемого курса. В супертесте используются тестовые задания.
Квантование учебных текстов - ключ к повышению качества образования
Квантованные тексты создаются по каждому изучаемому курсу и по каждой теме курса. Текстов может быть несколько, столько, сколько нужно для усвоения учебного материала каждой темы. Система автоматизированного контроля усвоения знаний каждого кванта текста состоит из заданий в тестовой форме. Учащиеся лучше понимают смыслы квантованных текстов, а задания в тестовой форме позволяют технологично и эффективно, равно как объективно и быстро, проверить усвоение содержания каждого текста.
Действительно, только качественно подготовленные квантованные учебные тексты обеспечивают понимание учебного материала у большинства учащихся, в силу того, что деление материала на части заметно сужают объём непосредственно воспринимаемой информации и смыслов в каждом фрагменте, делая тем самым, постигаемым смыслы всего учебного текста. А работа с заданиями в тестовой форме к таким текстам обеспечивает усвоение содержания каждого текста.
Если вспомнить классическую триаду Я.А.Коменского "понимание-усвоение-применение", то очевидно, что квантованные тексты и задания в тестовой форме позволяют лучше решать первые две проблемы отмеченной триады.
Что касается третьего компонента - применения знаний,- то это уже получило своё решение в проекте автора данной статьи для аттестации выпускников медицинских вузов России и других стран. Применение усвоенных знаний там обеспечивалось посредством клинических ситуаций с заданиями в тестовой форме. Дело теперь за массовым внедрением практических ситуаций с заданиями в тестовой форме в образовательную практику, и не только медицинских, но и других вузов.
Вопросы теории квантования учебных текстов
В современном образовании всё больше и глубже соединяются формы чувственного познания с формами и методами рационального мышления, что можно обеспечить лишь разнообразием используемых учебных средств. Не случайно квантование учебных текстов начинает признаваться в качестве важной формы развития образования.
Как отмечается в литературе, термин "текст" относится не только к письменно зафиксированной речи, а ко всякой связной, целостной и относительно законченной последовательности объединенных некоторым смыслом знаковых единиц, образующих в своей совокупности сообщение. Приведенная дефиниция позволяет интерпретировать как текст любого уровня информацию, адресованную Другому или Другим, включая и культуру в целом, ее отдельные феномены, мир, человека и его социокультурную деятельность, в том числе и деятельность общения.
Однако для того, чтобы информационный и интенциональный смысл сообщения правильно понимался воспринимающей стороной, необходимо, чтобы используемая в нём система знаков адекватно интерпретировалась всеми сторонами коммуникативного процесса. Следовательно, можно сказать, что правильная разработка учебного текста и правильное его понимание является важнейшей задачей организации учебного процесса.
Содержательным основанием для деления учебного текста на части является выделение микротем. Каждой части (микротеме) даётся свой подзаголовок, что является концентрированным выражением всех смыслов микротемы. По сути, подзаголовок выражает главный смысл каждого кванта текста. Квантованный текст пишется простыми словами, по возможности, без придаточных предложений, без причастных и деепричастных оборотов. Эта рекомендация позволяет сократить количество слов в каждом кванте текста, облегчить понимание смысла каждого предложения, для каждого учащегося или студента.
Главные составляющие качественного педагогического контента - это хорошо структурированные, короткие квантованные учебные тексты и технологичные системы заданий к ним.
Сторонники и противники тестов
Автору уже не раз приходилось писать, что настоящих педагогических тестов в России нет, но зато есть немало их противников и сторонников. Возражения против применения тестов касаются, в основном, вопросов содержания. Небольшое число заданий традиционного теста при изучении сравнительно больших многочасовых курсов постоянно ставит вопросы валидности тестовых результатов: чем больше курс, тем труднее подобрать систему тестовых заданий (примерно до тридцати), способных качественно оценить уровень подготовленности испытуемых по такому обширному курсу.
Педагоги справедливо при этом указывают на нежелательность выставления оценки знаний многих элементов изучаемого курса на основе использования небольшого числа заданий теста. Валидность (теоретическая обоснованность и практическая пригодность) получаемых при этом результатов очень низкая, что обнуляет саму идею применения теста.
Концепция супертеста
Под концепцией обычно понимается определяющий замысел, идея метода, система взглядов. Хотя само слово "супертест" встречается иногда в технике, медицине и в психологии, оно используется не как научный термин, а лишь как слово, обозначающее что-то большее, чем обычный тест или проверка. Например, в названии сборника психологических тестов Г. Айзенка слово "супертест" означается для объединения множества тестов, собранных в книге, для многосторонней оценки уровня развития интеллекта.
В истории и теории педагогических измерений используются научные понятия, которые подлежат обязательному определению. Как научное понятие, супертест в российской и мировой литературе практически не известен.
Баллы за выполнение каждого задания супертеста кумулируются компьютером; они могут меняться в случаях повторной проверки и самопроверки, что позволяет рассматривать супертест одновременно как метод обучения, самоконтроля и педагогического контроля, включённый в текущий образовательный процесс.
В супертесте используется большое число системных заданий изучаемого курса - порядка пятисот и более. Поэтому супертест выполняется учащимися (студентами) не за короткое время, в один день и час, как это имеет место в обычном тестировании, а в течение всего периода изучения курса. Оценки за выполнение каждого задания супертеста кумулируются компьютером; они могут меняться в случаях повторной проверки, что позволяет рассматривать супертест одновременно как средство обучения, самоконтроля и педагогического контроля, включённое в текущий образовательный процесс.
Можно ожидать, что очень скоро супертест станет также методом автоматизированного проведения текущего мониторинга учебных достижений каждого учащегося при изучении каждого учебного курса. Что возможно лишь при условии адекватного отображения содержания учебной дисциплины в содержании учебного курса и заданий супертеста. Обычный педагогический тест такими свойствами не обладает, а потому он в перспективе потеряет свою значимость.
В большинстве стран мира тестирование проводится в начале и в конце обучения, существуя, таким образом, отдельно от обучения. Между тем, контроль уровня подготовленности усвоения важен не только в начале и в конце, но в ещё большей мере он важен в процессе обучения.
Но если тест, состоящий из небольшого числа, примерно тридцать-сорок заданий, в процессе обучения не применим, тогда нужно пробовать применять не тест, а другую, новую, расширенную систему, содержащую все основные задания изучаемого курса. Такие задания, решение которых свидетельствует об усвоении содержания учебной дисциплины. Число таких, назовём их, системных заданий курса может быть большим и очень большим. Например, от пятисот до тысячи, и даже больше. Но тогда это уже будет не тест, а супертест, свойства которого ещё предстоит детально изучить. Но уже сейчас понятно, что все задания супертеста должны отражать содержание курса, быть технологичными. Они могут выполняться постепенно, по мере изучения курса. Решение каждого задания супертеста приближает учащегося к успеху в деле изучения всего курса.
С содержательной точки зрения супертест может быть ассоциирован с электронным задачником. А с технологической точки зрения он похож на компьютерную систему заданий в тестовой форме, содержащей все ключевые задания курса, но уже в тестовой форме. По сути, вместо традиционных задач, супертест содержит систему заданий в тестовой форме, по всему курсу. Это позволяет преодолеть нетехнологичность задачной формы предъявления контрольного материала и решить многие проблемы современного образования.
Супертест решает главную образовательную задачу XXI века - творческое соединение, в едином технологическом процессе, обучения, собственного учения, самоконтроля и педагогического контроля. В таком процессе важная роль отводится также новым квантованным учебным текстам с заданиями в тестовой форме к ним.
Супертест снимает фундаментальные противоречия, существующие между содержательными и формальными требованиями к контролю подготовленности, а также между образованием и контролем.
