Образование в зеркале НМТ: что мы на самом деле видим в результатах?

Результаты НМТ всегда обсуждают в обществе. Но обычно больше всего всех интересуют два вопроса: сколько у нас 200-бальников (радуемся) и что там с естественно-математическим образованием (грустим). А на самом деле у этих тестов гораздо больше поводов для дискуссий и серьезных выводов.

Результаты НМТ — это не только о том, каких студентов набрали университеты, но и о том, чему учат или не учат в школе. Да, это только срез «на выходе» — знания выпускников, и мы не знаем, сколько в этих баллах работы репетиторов, случайных ответов, стресса. Но тенденции видны. Вопрос в том, хотим ли мы их видеть. А если хотим — то будем ли что-то делать с этим? Вот несколько важных тенденций.

Образовательный разлом: тонкая прослойка сильных учеников

И я сейчас не о разрыве в знаниях между детьми из города и села, престижного лицея и обычной школы в спальном районе — все это, как и всегда, присутствует. На тестах по многим учебным предметам очень четко видно, что есть тонкая прослойка сильных учеников (по некоторым предметам — прозрачная почти до дыр), и значительно толще — тех, кто показал неутешительные результаты. То есть массовое образование — низкого качества. Больше всего это бросается в глаза в отношении естественно-математических дисциплин, и не первый год. Отчет УЦОКО содержит подробный анализ работ одной из сессий тестирования, и это хорошая иллюстрация.

Возьмем результаты по математике и физике. Представим, что шкала 100–200 баллов — это лестница, где каждая ступенька — 10 баллов. А с помощью фигурки человечка обозначим количество участников тестирования, чьи работы анализировали: одна фигурка — это примерно 10% участников. Тогда результаты тестов будут выглядеть следующим образом:

Результаты НМТ по математике демонстрируют разительный контраст. С одной стороны, каждый пятый участник не смог набрать более 108 баллов, половина не преодолела рубеж в 132 балла. С другой — на тесте по математике больше всего 200-бальников — 1177 человек. Для сравнения — по украинскому языку таких всего 659.

Это системная проблема, которая наблюдается не первый год и не только на ВНО: видим высокий уровень подготовки в части школ, которые придерживаются образовательных традиций, сотрудничают с университетами, привлекают учеников к олимпиадному движению, — и тотальную неспособность массовой школы обеспечить хотя бы базовый уровень математической грамотности.

Так же хорошо виден разрыв между сильными и слабыми участниками на тесте по физике: на 108 баллов и ниже сдал тест каждый пятый, половина участников не смогла подняться выше 132 баллов. И это при том, что физика, в отличие от математики, — предмет по выбору, то есть на этот тест шли сознательно те, кто к нему готовился (возможно, поэтому разрыв там немного меньше). Но по обоим предметам большинство участников «осело» на более низких баллах...

Когда обсуждают такие результаты естественно-математического образования, обычно кивают на гуманитарное — там, мол, все более-менее хорошо. Действительно, рейтинг результатов НМТ по украинскому языку выглядит лучше:

Но на самом деле такая картина не должна успокаивать — здесь общий уровень знаний тоже далеко не окей, и вот почему.

Тест по украинскому языку был самым легким — и это не субъективные ощущения, а подтвержденный психометрическими показателями факт. В тест было заложено много легких заданий, которые подстелили соломку более слабым участникам и помогли им повысить себе баллы. Здесь не было задач, как по физике или математике, или письменного эссе, как это было раньше в тестах по языку. Из 30 заданий теста 25 — на выбор правильного ответа из предложенных вариантов. Справедливости ради стоит отметить, что более сложные задания тоже были, и благодаря им сильные участники смогли вырваться вперед и показать себя. Однако этот тест все же скрыл от нас по-настоящему слабых учеников, поэтому реального разрыва между ними и сильными участниками мы не увидим.

Когда тест изобилует простыми заданиями, это означает только одно: на него можно натренироваться. И для этого совсем не обязательно глубоко знать предмет. Вот пример: в НМТ по языку попадались задания прошлых лет — и их выполняли «на ура». Но стоило появиться новым заданиям на те же правила — успеваемость сразу падала. Еще один пример: участники тестирования должны были вставить в слова нужную букву — Е или И. Еще и подсказка была — в каком именно месте слова ее нужно вставлять. Это — уровень школьной контрольной. Неудивительно, что справились с ним 77% участников. Но как только изменился формат — результаты ухудшились. Другое задание требовало прочитать несколько отрывков текста и найти тот, где нет ошибок. Его выполнили уже всего 34,5%. Потому что здесь нужно было не механически «втыкать» буквы, а самостоятельно применить правило. Там, где язык перестает быть набором правил и требует целостности, возникает проблема. Должны ли нас радовать на этом фоне успешные 77%? Это о том, что школа и репетиторы тренируют в основном узнавать, а не думать.

В целом тесты НМТ показали общие для всех предметов проблемы. У большинства учеников фрагментарные знания, они не владеют базовыми навыками, им легче работать с короткими заданиями — набором слов или формул, а не с текстами (потому что и с чтением книг — проблемы). Ученики знают правила, термины или формулы (и то не всегда), но не понимают, что за ними стоит и как это работает.

Вот показательный пример. В заданиях по истории 50–80% участников обычно легко узнавали памятник или биографию, 93% без проблем объединили термин с его определением. Но задание на установление последовательности событий выполнили всего 20%, почти 70% не смогли назвать главную цель движения Сопротивления во время Второй мировой. Ученики теряются там, где надо мыслить не штампами, а хронологией и логикой, где события нужно вписать в контекст — особенно мировой.

Наезды на математику

Среди результатов нынешнего НМТ — показательный, почти симптоматический факт: шестеро участников НМТ сдали тест по украинскому языку на высший балл — 190–200 баллов, но не смогли сдать тест по математике. На тесте по истории Украины таких случаев пять: отличники-историки получили ноль баллов по математике. Такие хорошие результаты по одному предмету и полный ноль по другому имеют обычно те, кто считает, что математика ему не нужна, но он вынужден ее сдавать как обязательный предмет. Зато все силы были брошены на подготовку к тесту по украинскому языку. И это, конечно, не об образованности: не может образованный человек не знать школьную математику настолько, чтобы со справочником в руках не поставить правильно крестики хотя бы в пяти заданиях из 22 (именно таким был порог «сдал/не сдал»). Можно было даже не трогать задачи. Кстати, по данным УЦОКО, среди тех, кто не сдал украинский язык, треть — те, кто завалил и тест по математике. И это наблюдается не первый год.

Есть очень много споров по  поводу того, нужно ли вводить обязательный НМТ по математике. «Из-за вашей математики мой ребенок не поступит на актера (музыканта, художника, дизайнера...» — такие комментарии часто можно услышать от родителей. И, по моей информации, именно в этом заключается прессинг творческих вузов, которые хотят обойти или НМТ в целом, или хотя бы по математике.

Однако обязательная математика не является чем-то необычным. Например, в США аналог ВНО — SAT (Scholastic Assessment Test), без которого не поступают в университет или колледж, состоит из нескольких блоков: первый — чтение и письмо, второй — математика. Этот тест также признают в некоторых англоязычных странах. Польский аналог ВНО — Matura — также обязательно содержит и польский язык, и математику.

Я уверена, что разделение в школе на гуманитариев и математиков — искусственное. Оно выгодно и учителям, и ученикам (родителям). Потому что оправдывает проблемы: ученик не знает математики не потому, что его плохо научили, и не потому, что он не хочет ее учить, а просто потому, что он такой от природы. Это такая неформальная справка-освобождение от учебы. У Эрика Берна в «Играх, в которые играют люди» описана игра «Деревянная нога». Ее суть в том, что человек ссылается на свой условный недостаток — реальный или воображаемый — чтобы избежать ответственности. Как говорит Берн: «У меня деревянная нога — не можете же вы ожидать, что я буду подниматься по лестнице». В школьном контексте это звучит так: «Я гуманитарий — чего вы от меня хотите на алгебре?» Или так: «Я его не могу научить математике — это же гуманитарий». То, почему на математике в школе нельзя ставить крест и почему она важна для всех, хорошо объяснил психолог Филипп Духлий.

Тест без острых углов

Когда мы анализируем результаты НМТ, то должны понимать, как мы их получаем. Чуть ли не самый важный элемент тестирования — пороговый балл «сдал/не сдал», который сразу отсекает тех, кто показал неприемлемо низкие результаты и не может участвовать во вступительной гонке. От порогового балла потом отталкивается вся шкала оценок — от 100 до 200. В этом году, и уже не впервые, пороговый балл низкий — по каждому предмету надо набрать 15% тестовых баллов. В то же время в тестах по всем предметам полно заданий «для разгона», на которых можно проскочить порог, — это задания на выбор варианта правильного ответа.

И даже несмотря на такой низкий порог, естественно-математические науки и литература являются рекордсменами по количеству тех, кто не сдал тест: математику и физику не сдал каждый десятый — 11,9 и 10,5% соответственно, химию — 6,2%, украинскую литературу — 2,6% и иностранные языки — от 4 до 6% (в зависимости от языка). По остальным предметам процент несдавших очень незначительный — от 0,1 до 0,4%. Обратите внимание: среди антилидеров есть и гуманитарные предметы. Но на самом деле результаты могли быть еще хуже, если бы пороговый балл был выше.

Как определяют пороговый балл? До войны к этому делу привлекали группу экспертов — это были учителя из разных регионов и разных типов школ, а также ученые. После того, как завершалась сессия ВНО и работы были сданы, они брали тест и оценивали, какие задания может выполнить минимально подготовленный абитуриент. То есть тот, у кого знания слабые, но все же соответствуют минимальному стандарту образования. Затем все эти данные статистически обрабатывались и на их основе специальная экспертная комиссия путем голосования определяла минимальный пороговый балл. Заседания комиссии транслировались онлайн, чтобы все желающие понимали аргументы.

Сейчас НМТ проводят в более сложных условиях, и не в течение нескольких дней, как раньше, а дольше. Поэтому чисто физически организовать работу экспертной комиссии по каждому из тестов сложно. Таким образом, пороговый балл сейчас устанавливается приказом МОН. Причем задолго до начала НМТ — еще в феврале. И это значит, что теперь не пороговый балл определяют по содержанию теста, а тест — по баллу: УЦОКО должен разработать такие тесты, чтобы они точно подпали под эти нормы.

Иначе теперь выставляют и баллы за тест. Раньше они были рейтинговыми — то есть учитывали не только уровень знаний конкретного участника, но и его позицию среди других. То есть сначала с помощью порогового балла отсекали тех, кто не сдал тест, а потом составляли рейтинг тех, кто остался, и уже на него накладывали шкалу 100–200. Это позволяло точнее измерить знания и увидеть не только результат участника, но и контекст, общий уровень. Возможно, вы помните призывы УЦОКО и МОН к репетиторам: «Не ходите сдавать НМТ ради развлечения, вы поднимаете планку результатов, и на этом фоне ваши ученики получат более низкие баллы». Теперь оценка по НМТ не является рейтинговой, она напоминает обычную школьную оценку — есть перечень, за сколько ошибок что ставить. Инструкция о баллах по НМТ есть в том же приказе МОН, который выходит задолго до начала НМТ.

В тестах по всем предметам нет открытых заданий, где надо выразить собственное мнение, а не только работать с готовыми вариантами ответа. И это не только влияет на качество результатов, но и показывает школам: акцент надо делать на натаскивание. Потому что школьная система ориентируется на НМТ.

С самого начала внедрения ВНО открытые задания были, но от них отказались из-за нехватки средств — ведь такие задания должны проверять живые люди, и их труд нужно оплачивать. По украинскому языку было эссе, по английскому — письменное изложение, по естественно-математическим наукам — задачи.

Задачи и сейчас есть, но теперь участники НМТ должны записать в бланк теста только ответ к ним, а раньше нужно было изложить все решение. Элегантность и рациональность решения также влияли на балл, и это был сигнал для школы — чему учить. Известен случай, когда на ВНО один ученик решил задачу по геометрии необычным, уникальным способом, который не смогли оценить экзаменаторы. И только апелляционная комиссия УЦОКО признала правильность такого способа. Тот парень получил высший балл. Очевидно, у него был хороший учитель или репетитор.

Раньше на тестах по естественно-математическим дисциплинам от участников ожидали, что они будут знать основные формулы. Теперь на НМТ разрешено пользоваться справочником с формулами — и это тоже сигнал для школы и для репетиторов: не важны разные способы решения задач (а именно это формирует научное мышление), не обязательно знать основные формулы и законы. И вот как это работает: даже со справочником в руках 38% участников тестирования не смогли правильно возвести двучлен в квадрат. Каждый пятый выбрал как правильный ответ, который противоречит неравенству треугольника.

Увидели. А дальше что?

Проблемы образования, которые мы сегодня увидели на результатах НМТ, не появились вчера, они накапливались годами. Хорошо, что у нас есть регулярные, ежегодные отчеты УЦОКО, но их нужно глубоко анализировать. Потому что без системного видения причин и последствий мы останемся заложниками иллюзий. Анализом должны были бы заниматься образовательные аналитики. Но несмотря на армию институтов и академий, которые кормятся с «аналитики» и «реформ», в Украине нет даже концепции образовательной аналитики. Не говорю уже об открытой базе данных, которую должны были бы регулярно наполнять и анализировать.

По результатам исследований нужна обратная связь со школой: не пафосные выступления на конференциях перед спонсорами, а конкретные рекомендации и поддержка учителей и тех, кто их готовит. Поддержка нужна и самому НМТ, чтобы он не стал заложником популизма и развивался.

Но это уже отдельный разговор, ему будет посвящена вторая часть этой статьи, которая выйдет скоро.