Рейтинг — не значит сравнение

Рейтинг — это инструмент культуры успеха, в основе которого лежит идея сравнения, и смысл этого сравнения в том, чтобы мотивировать, пробуждать амбиции.

Первый рейтинг в московском образовании, введенный в начале 2010-х годов, проектировался как управленческий инструмент, который помогал учредителю показать школам, что от них требуется. Включение в этот рейтинг уже через год стало вполне ощутимо поощряться финансово. Те, кто занимал верхние позиции, получали гранты правительства Москвы. Если школа соответствует критериям рейтинга, значит, она работает хорошо, а цель была в том, чтобы все школы работали хорошо. Здесь заложено противоречие: если есть рейтинг, это всегда означает, что есть топ и нижние позиции. О тех, кто внизу, как правило, не говорят, внимание привлекают те, кто вверху.

Итак, в 2012 году вышел рейтинг результатов образовательной деятельности московских школ за 2011/2012 учебный год — своего рода декларация о намерениях. Он был выстроен на основании оценки результатов ОГЭ, ЕГЭ (1), олимпиад (2), а также данных независимых диагностик (3). Кроме того, оценивалось количество учеников дошкольного звена (4). Это рассматривалось как значимый результат: важно было, что при школе организован детский сад, есть дошкольное образование. Последние два параметра имели гораздо меньший вес, чем первые, «результативные», и особенно значимыми были результаты заключительного этапа олимпиад.

Уже в этом первом рейтинге был утвержден принцип накопительного формирования общей оценки. Каждый ученик, который достигает того или иного образовательного результата, определяет продвижение школы в рейтинге. Но ведь если учеников много, вероятность того, что они достигнут значительных результатов и продвинут школу в рейтинге, больше, чем в том случае, когда учеников мало. С другой стороны, существуют школы, которые при небольшом количестве учеников добиваются выдающихся результатов.

Если сравнить данные рейтинга 2011/2012 года с данными, полученными через 12 лет, то мы увидим, что верхние позиции занимают примерно одни и те же школы. То есть за 12 лет в системе образования Москвы не произошло радикальных изменений в составе лидеров. Добавилось несколько школ, которых не было в момент составления первого рейтинга, несколько предуниверсариев и лицей НИУ ВШЭ, открывшийся в 2013 году.

Таким образом, был сделан серьезный шаг к управлению на основе данных и большей открытости данных: появились критерии эффективности школы, управленческой команды, публичные защиты.

Одновременно была потребность компенсировать недостаток этого управленческого рейтинга, создать альтернативу, учитывающую результаты ребенка в контексте общего количества детей, в том числе нерезультативных. Этот подход удалось мне реализовать при подготовке собственных первых рейтинговых таблиц по разным направлениям.

В 2016 году департамент образования города Москвы опубликовал собственный так называемый поэтапный рейтинг с баллами каждой школы, которая на текущем этапе вошла в рейтинг. Одновременно департамент стал публиковать в открытом доступе больше информации. На сайтах школ появились сведения о контингенте, причем достаточно подробные: по классам, с указанием классного руководителя. Потом или даже одновременно с этим на сайте data.mos.ru появилось много информации о результатах образования, о ЕГЭ, ОГЭ. На сайте оlimpiada.ru появлялись и до сих пор публикуются результаты олимпиад, начиная даже со школьного уровня (сейчас — с муниципального уровня и выше), а также результаты Московской олимпиады школьников отдельно. И сейчас можно получить эти данные о школе за прошлые годы.

Иными словами, данные стали открытыми, и у меня появилась идея соотнести сведения о количестве детей с данными об успехах этих детей. Я вычислил соотношение и сделал собственный рейтинговый список, который лишь частично совпал со списком департамента. В частности, совпадали школы, которые и тогда, и сейчас составляли топ московского образования, такие как лицей НИУ ВШЭ, школа № 57, лицей № 1535, школа № 1580.

Но одновременно с ними в списки попали частные школы. Обычно небольшие, они достаточно редко вообще попадают в рейтинги. Исключение — большая и устойчиво развивающаяся школа «Летово», но это школа с огромным конкурсом при поступлении.

Итак, в списках появилось несколько частных школ, в которых искомое отношение количества призеров и победителей регионального этапа ВСОШ к общему количеству старшеклассников (9, 10, 11-й классы) было внушительным. И это простое сравнение позволило создать более объемную картину. Через какое-то время огромные образовательные комплексы, которые входили в официальный топ, в моих рейтинговых списках уходили вниз.

100 победителей и призеров олимпиад в школе с 5000 учеников и 50 победителей в школе, где 500 учеников, — это принципиально разные ситуации. И школы с 500 учениками оказывались наверху, а школы с 5000 закономерно опускались вниз. С математикой трудно поспорить.

Потом появились данные по ОГЭ, ЕГЭ — из того же официального рейтинга. Это было количество детей, которые за три экзамена ОГЭ получили 15 баллов и 220 баллов за три экзамена ЕГЭ. И эти данные можно было соотносить с количеством детей, которые окончили школу (девятиклассники, одиннадцатиклассники). Это соотношение оказалосЬ любопытным и продуктивным.

Последние восемь лет почти каждый год я выкладываю рейтинговые таблицы, учитывающие количество контингента. Научить 300 человек — это совсем не то же самое, что научить троих. Если в маленькой частной школе всего три ребенка в 11-м классе и все 220-балльники, честь и хвала этой школе. Но все же ее вклад в общем контексте можно по-разному оценивать, учитывая, что те школы, в которых из 300 старшеклассников 300 имеют высочайшие баллы, очевидно, ведут какую-то другую сверхэффективную работу.

Для учета общего количества контингента в школе логично было создать отдельные рейтинги для школ маленьких, средних, больших, что я и сделал, но эти рейтинги не привлекли общественного внимания. Востребован был именно единый список.

Постепенно сложилось понимание, что, помимо соотношения параметров контингента и результативности, нужно вводить дополнительный поправочный коэффициент на количество выпускников и количество детей, то число, которое в знаменателе. Это позволило получить еще более объективную картину.

Кроме того, в самом последнем рейтинге было сделано то, что давно хотелось сделать, но помешала пандемия, когда отменили ОГЭ. Была учтена динамика, то есть то, насколько стабильно или нестабильно школа показывает те или иные результаты. Если есть отрицательная динамика, то это можно увидеть, и это влияет на результат рейтинга. Точно так же, если есть рост, это можно увидеть, и это тоже влияет на результаты рейтинга.

Таким образом, рейтинг стал чем-то большим, чем только инструментом управления. Рейтинг обретает информационную функцию, позволяет узнать о школе больше.

Каждый параметр информативен и характеризует школу. Вот школа с большим количеством выпускников стабильно держит уровень образовательного результата выше среднего. Или, наоборот, у школы качество образования стабильно среднее, но в последние два года падает, что-то пошло не так. Еще пример: уровень средний, но почему-то в рейтинге эта школа по измерениям последних трех лет каждый раз перемещается с третьей на вторую, со второй на первую позицию, показывает значительный рост. Очевидно, что в этой школе в последние годы хорошо работает управленческая команда. Это интересные сведения для родителей и для управленцев, это возможность увидеть, что происходит в школе, и использовать в управленческой работе.

Все это непридуманные кейсы: в большую школу приходит интересная управленческая команда, и все меняется к лучшему, или в маленькой школе начинают больше уделять внимания вопросам качества образования, или, напротив, перестают это делать, и все разваливается. Буквально несколько цифр в рейтинге показывают внутреннюю динамику развития школы.

Помимо результативных параметров, представленных в официальном московском рейтинге, целесообразно также оценить школы по критерию условий.

Мы исходим из того, что условия обучения в московских школах везде хорошие, но что такое хорошие условия? Работая с ренкингом Forbes, мы имели возможность запросить у школ информацию об этих условиях и учесть их при составлении ренкинга, что было удобно. Сколько детей приходится на преподавателя, сколько детей на квадратный метр — это значимая информация для оценки условий обучения, комфорта среды, значимая и для родителей, и с управленческой точки зрения.

Мои новые рейтинги строятся всегда на соотношениях, относительных значениях, а не на абсолютных. То есть если значение соотношения выше, значит, школа находится выше в рейтинге. Она лучше других по конкретному параметру, не вообще.

Составители ренкинга Forbes при этом решили не указывать первых мест и пошли по пути выявления 30 лучших практик. Я не пошел по этому пути, но не потому, что считаю необходимым сравнение, а ради того, чтобы увидеть динамику, изменения у каждой школы, которые происходят год от года.

В официальном московском рейтинге сейчас не указываются места, он развивается в сторону все большего усложнения. Лучшие школы в этом рейтинге практически одни и те же из года в год. С точки зрения информативности важно, чтобы рейтинг был открыт и были ясны параметры измерения и формирования финальной цифры.

Также интересен рейтинг RAEX, это результат серьезной работы, он оценивает школы по параметру конкурентоспособности выпускников. Но неясно, из чего складывается этот параметр, как это вычислено. Эти сведения полезны в открытом доступе, и поэтому с самого начала своей работы с рейтингами я оставляю все параметры открытыми.

В 2021 году удалось составить рейтинг, учитывающий результаты олимпиад, экзаменов и условия обучения.

Скажем отдельно об условиях. Нам доступны данные об учениках, классах и так далее, это значит, что можно посчитать среднее количество детей в классах и группах. Затем можно установить закономерность: если детей в классах меньше, то условия лучше, а если больше, то условия хуже. Насколько хуже, определяется значимостью этого параметра, а также зависит от принадлежности школы к одному из кластеров. Пять школьных кластеров выделяются в зависимости от количества детей, в каждом 120, 130, 140 школ. Всего в рейтинге участвует около 700 образовательных организаций.

Получилось достичь равновесия: с одной стороны, результаты имеют большое значение, с другой — значение имеют не только они.

Мы располагаем лишь теми данными, которые собирают государственные структуры и публикуют в открытом доступе. Но эти данные не так полезны до тех пор, пока они представлены разрозненно на разных ресурсах. Суммирование и представление этих данных в единой таблице дает гораздо больше ценных сведений.

Такие таблицы оказались действительно интересны тем, что показывают не только общее количество учащихся, но и количество уровней образования, которые обеспечивает школа. В контексте данного рейтинга мы считаем этот параметр значимым, и если нет какого-то из звеньев, школа теряет небольшое количество баллов, получившаяся цифра затем умножается на коэффициент, что снижает влияние этого параметра условий.

Все эти коэффициенты я взвесил, оценил значимость и необходимость учета этих и некоторых других критериев. Например, наличие детей на семейном образовании или самообразовании. На первый взгляд кажется, что, начиная оценивать этот критерий, мы уходим от оценки школы, ведь эти дети не включены в ее контингент. Кроме того, в теории каждая школа предоставляет возможность выбрать формат семейного образования или самообразования. Но на практике не у каждой школы это есть. Такая деятельность школы также обеспечивает маленькое, скажем 0,2 балла, но продвижение в итоговом рейтинге.

Таким образом, объединив рейтинг результатов и рейтинг условий, я создал сводный рейтинг, который позволяет составить представление о конкретной школе в ряду других, и даже независимо от ее места в этом рейтинге.

Подчеркнем, что данные эти не абсолютные и нет абсолютно точных цифр. Позиция школы в рейтинге может существенно измениться, потому что данные все время меняются и не получается за этим уследить.

Но когда эти данные кластеризуются, картина другая. Маловероятно, что школа переместится из одного кластера в другой, даже если будут изменения, погрешности измерения. Скорее всего, школа остается в своем кластере: либо это топовая школа, либо среднего уровня, либо школа без выдающихся результатов. В Москве до сих пор есть школы, в которых очень невысокие показатели, и это повод для беспокойства. Сейчас данные по таким школам мы не публикуем, но публикуем данные о школах, занимающих верхние позиции. Таких школ много в разных районах Москвы, то есть можно сказать, что в московском образовании есть возможность найти школу, соответствующую вашим образовательным потребностям.

Этой осенью выйдет следующая версия еще более сложного сводного рейтинга, который включает еще и результаты Всероссийской олимпиады школьников.

Сухой остаток состоит в том, что для московского образования выработаны параметры оценки вклада школ в качественное образование. Эти параметры открыты, и их можно использовать, дополнительно соотносясь с теми параметрами, которые официальный рейтинг напрямую в себя не включает.

Понятно, что большое количество детей в школах напрямую влияет на место в официальном рейтинге. Я проводил четыре года назад такие исследования, и факт такого влияния подтвердился. Сейчас официальный московский рейтинг сильно усложнился, возникли интегративные параметры. То есть создатели рейтинга пытаются компенсировать это, чтобы зафиксировать более тонкую динамику. Появились динамические параметры.

У московского рейтинга очень интересная история, но я говорю о другом: с помощью несложных для понимания и предъявления параметров можно много узнать про школу буквально из одной строчки рейтинга. Можно увидеть, как она соотносится с другими школами, не в том смысле, что она лучше или хуже, а в том, что в этом она достигла того или иного уровня индивидуального развития.

И совершенно необязательно родителю, который ищет школу для ребенка, рассматривать топ-50 школ. В этом топе в большинстве случаев находятся школы, в которых жесткий отбор. Но чуть ниже есть школы, в которые не надо сдавать экзамены при поступлении, при этом у них хорошая динамика развития и неплохие результаты, интересные условия. И в государственных школах Москвы среднее количество детей в классах разное.

Как было бы здорово, если бы в открытом доступе были данные по площадям, количеству взрослых, характеристикам этого состава! Это позволило бы вводить информационные параметры, не влияющие даже на результат рейтинга, но повышающие уровень информированности.

Одна из ключевых целей и смысл восьмилетней работы по созданию рейтингов в том, чтобы люди больше знали об образовании. Необходимо представить образование объемно, не только с точки зрения заказа учредителя школам. Конечно, такой заказ есть, и школы стараются соответствовать. И мы измеряем результат стараний. И как будто здесь немного теряется объективность, потому что как только мы начинаем что-то мерить, это становится предметом приложения усилий, следовательно, начинает расти. Потому что если не начинает, то возникнут вопросы к директору.

А здесь, с другой стороны, вроде бы учитываются и те параметры, по которым напрямую нет требований. Раз нет требований, тогда это интересная информация, которую можно использовать для собственного роста и развития, а можно не использовать.

Таким образом, школы и педагоги могут анализировать данные и формировать собственный путь. У нас большие классы, при этом мы достигаем высокого качества образования. Да, мы не на первом месте, а на 18-м, но это наш путь, по которому мы идем. Для меня важен свой путь каждой школы, индивидуальное отношение к ней. В каждой школе работает уникальный педагогический коллектив, туда приходят уникальные дети и родители. Подчеркнуть уникальность, как ни странно, может инструмент сравнения наподобие рейтинга, если сделать акцент не на сравнении, а на учете особенностей школы.

Известный тезис Д. Винникотта о достаточно хорошей матери хочется транспонировать в плоскость школьного образования, чтобы переместить фокус внимания. Достаточно хорошая школа — это не та, что в верхушке рейтинга, это та, которая внимательна к динамике собственного развития, которая отвечает за результат, старается сделать что-то в своих силах, и предмет усилий может быть разным.

Тезис о достаточно хорошей школе — это как будто не про сравнение школ, а про уникальность каждой, которую хочется подчеркнуть. Для этого есть инструменты — цифры, даже если они не всегда и во всем показывают рост.

Сегодняшний рейтинг Погодина основан на тех данных, которые в открытом доступе размещает департамент образования Москвы, и так системно это делается только в Москве. Есть замысел через проект «Растим школы» сделать такие рейтинги для региональных частных школ, если они смогут нам предоставить некоторые данные. Тогда это уже будут не рейтинги Погодина, посвященные Москве, а объективный взгляд на образование в целом, возможность привлечь внимание к внутренней работе над собой, которую проделывают школы.

Огромное количество специалистов в школах вкладывают жизнь в свою работу. Это можно выявить и зафиксировать с помощью с виду нейтральных критериев, за которыми скрыты, по сути, усилия и целые жизни сотен тысяч педагогов и управленцев в школах России. Важно эти усилия высветить, найти тех, кто старается и забыт.

И в этом смысле именно хорошие результаты небольших школ возможно выявить с помощью принципа рейтингования, учета относительных, а не абсолютных параметров.

Мы верим в то, что можно влиять на качество образования в стране, в том числе с помощью измерителей, которые показывают обратную связь, объективную картину, которую можно интерпретировать, использовать в своей работе и давать обратную связь.

Еще одно направление, по которому можно пойти, — это индивидуализация рейтинга. Каждому из нас нужны разные школы, и нужна единая таблица, куда можно было бы посмотреть, чтобы понять, что нужно именно ему.

Уже хорошо, когда есть параметры оценки школ, на которые можно ориентироваться. А что если бы я сам задал приоритет этих параметров, создал бы собственный рейтинг, личный, соответствующий моим потребностям? Что если создать инструменты учета этих потребностей с помощью доступных нам данных и выстроить рейтинг на основании личных приоритетов, найти школу, которая займет первое место в моем личном рейтинге?

Подчеркнем, что это не первая вообще школа, совсем нет, ее не надо ни с кем сравнивать. Это школа, совпадающая с личными приоритетами, такая, в которой лучше всего учиться конкретному ребенку с точки зрения проявления его потенциала.

Именно этим вместе с Марией Васильевой мы занимаемся в проекте «ПРОвыбор». С 2019 года мы консультируем родителей по вопросам выбора школы с помощью сервиса «ПРОвыбор» и планируем создать федеральный рейтинг частных школ через наш совместный проект «Растим школы».

Наша консультационная работа — глубокий индивидуальный процесс, который опирается на данные, но не исчерпывается ими. В этом направлении можно двигаться и в сфере обработки данных. И тогда школа, которая будет соответствовать выбору детей и родителей, — это школа, в которой ребенок будет не отбывать повинность, а учиться, расти и развиваться.

Текст: Юлия Любимцева