Докобр

С момента создания одна из главных миссий Института образования — исследование проблем развития образования на доказательной основе и содействие эффективным реформам образования. В 2005 году начал свою работу открытый семинар НИУ ВШЭ по образованию, который беспрерывно действует с тех пор. В этот раз организаторы решили отойти от привычного формата и провести панельную дискуссию c представителями трех исследовательских команд института: Центра общего и дополнительного образования имени А. А. Пинского, Центра социологии высшего образования и Лаборатории образовательного права. Исследователи представили кейсы, когда результаты научного поиска стали основой для изменений на практике, а затем приняли участие в панельной дискуссии.

16 марта 2020 года Минобрнауки России приняло решение о переводе вузов на дистанционный формат обучения — на тот момент это было беспрецедентным событием. Было важно понять, с какими проблемами сталкиваются студенты, как сохранить качество образования, как в условиях максимально стрессовой обстановки позаботиться о психологическом благополучии преподавателей и студентов. Чтобы это сделать, Институт образования и Центр внутреннего мониторинга в партнерстве более чем с десятью университетами провели серию онлайн-опросов среди студентов. Опрос состоял из трех волн, в последней из которых участвовали 36 тысяч респондентов. В исследованиях использовался административный дизайн: вузы реагировали на письма Минобрнауки, а студенты — на обращения руководства вузов.

Выяснилось, что большинство вузов сумели запустить образовательный процесс в онлайн-формате, а около половины студентов отметили, что у них стало больше свободного времени. Проблемы появились не сразу: ко второй волне четверть студентов отметили, что они столкнулись с различными проблемами.

Треть студентов испытывали нехватку информации о процессе обучения, а 40% студентов чувствовали недостаток личного общения с преподавателями. В ходе опроса также было выявлено, что 75% студентов демонстрировали признаки психологического неблагополучия, а каждый пятый испытывал симптомы умеренной или тяжелой депрессии.

Результаты исследования были обсуждены в рабочих группах с участием руководителей вузов и Минобрнауки России, что помогло разработать меры поддержки в ответ на выявленные проблемы и способствовало реальным изменениям на практике. Например, в вузах стали активно создаваться психологические службы, центры психологического консультирования. Психологическое благополучие студентов стало одной из ключевых тем в исследовательской и управленческой повестке в сфере образования.

Исследование, о котором рассказывал спикер, началось с изучения факторов успешности и неуспешности российских школ, работающих в сложных социальных условиях, которые проводились с 2013 по 2019 год. Это были первые в России исследования, посвященные школьной эффективности и академической резильентности, основанные на данных отечественных и международных образовательных диагностик: ЕГЭ, МЭО, TIMSS, PISA, а также на опросах, интервью и наблюдениях.

В ходе изучения эксперты столкнулись с тем, что проблема имеет гораздо больший масштаб и глубину, а проведенные исследования не позволяют дать однозначный ответ, как справиться со школьной неуспешностью, поэтому еще одной задачей стало аккумулировать знания партнеров и коллег, проводить дополнительные исследования, поддерживать научную дискуссию о проблемах неуспешности. Так был запущен постоянный семинар «Школьная неуспешность: профилактика, диагностика, преодоление».

С 2020 года было проведено более 20 заседаний. Организаторы семинара: МГППУ и Институт образования НИУ ВШЭ. Руководителями семинара являются Евгений Иванович Исаев, профессор кафедры педагогической психологии факультета «Психология образования» МГППУ, доктор психологических наук, а также Сергей Геннадьевич Косарецкий, директор Центра общего и дополнительного образования имени А. А. Пинского Института образования НИУ «Высшая школа экономики», кандидат психологических наук.

Анализ исследований эффектов программ повышения академических достижений показал, что только три эксперимента с рандомизацией учащихся было проведено в РФ и на постсоветском пространстве: Юсупова, Капуза, Карданова (2022), Hooshyar et al. (2020) и Bettinger et al. (2020). Все они свидетельствуют об отсутствии значимых эффектов от проверяемых программ повышения академических достижений на результаты учащихся.

Расширение спектра методов исследования для обеспечения большей глубины и доказательности стало следующей задачей. В рамках программы «Приоритет-2030» с 2022 по 2024 год проводится лонгитюдное исследование школьной неуспешности, которое включает оценивание предметных и когнитивных навыков, а также психологические и социологические опросы, интервью с учащимися, родителями и учителями.

В исследовании уже третий год участвует более 50 школ из девяти муниципальных образований Нижегородской области, охватывающих более пяти тысяч учащихся.

Наряду с исследованиями учащихся и школ ведется анализ лучших практик преодоления неуспешности. В рамках программы «Приоритет-2030» создается банк успешных проектов и программ в этой области. Этот процесс включает сбор и анализ кейсов, направленных на решение данной проблемы, через проведение интервью, анализ данных федеральных и региональных мониторингов. Сегодня банк включает 19 кейсов из 17 регионов.

Накопленные знания должны быть не только материалом для академических публикаций, но и оказывать реальную поддержку практикам. В рамках программы развития ВШЭ в 2022—2023 годах созданы и реализованы курсы для управленцев и педагогов школ, работающих в сложных условиях. В 2023 году проведена первая летняя школа по вопросам преодоления образовательной неуспешности. В 2024 году создан асинхронный курс «Преодоление образовательной неуспешности на основе доказательного подхода». Сейчас ведется набор на новый поток обучения.

Образование регулируется большим количеством нормативных документов. Далеко не всегда эти нормативные документы согласованы, выдвигают ясные и прозрачные требования и конкретные критерии, например в вопросах лицензирования образовательной деятельности.

Например, в процедуре лицензирования есть требования к материально-техническому обеспечению реализации образовательных программ. Как правило, и для учреждений, которые занимаются гуманитарным образованием, и для тех, которые имеют технический профиль, эти требования сформулированы одинаково и нередко общими словами. Например, «специальные помещения должны быть укомплектованы специализированной мебелью и техническими средствами обучения, служащими для представления учебной информации большой аудитории». Чтобы найти все требования, нам пришлось бы вручную исследовать все федеральные государственные стандарты высшего образования.

Задача была решена с помощью методов вычислительной юриспруденции — LegalTech, которые помогли выявить общие и различающиеся элементы в большом корпусе документов. Были проанализированы все 1523 действовавших ФГОС высшего образования (раздел «Условия реализации программы»). Все они были разбиты на фрагменты, затем было проведено точное и нечеткое сравнение и сформирован единый сводный документ совпадений и вариаций формулировок, подходящий для анализа экспертами.

Итог работы инструмента может быть использован для анализа любым человеком, даже если тот не понимает технической стороны метода его формирования.

На финальном этапе исследователи работали со сводными тезисами вручную, руководствуясь принципами установления обязательных требований и консультируясь с экспертным сообществом. Команде проекта удалось показать, что все лицензионные требования должны быть установлены коротким закрытым перечнем в положении о лицензировании и не содержать отсылок к другим документам, что повышает правовую определенность для университетов, школ, колледжей и других образовательных организаций.

Семён Янкевич: Коллеги, что значит для вас доказательный подход? Можно ли сформулировать общее определение, учитывая, что мы очень часто про доказательный подход говорим внутри института?

Сергей Косарецкий: На мой взгляд, это означает принятие решений, как преодолеть, например, школьную неуспешность, опираясь на результаты научных исследований, проведенных в соответствии с определенной методологией, на процедуры объективной оценки учебных программ, а не только на личный опыт или мнение авторитетных коллег. По моим наблюдениям, культура доказательного принятия решений только развивается. На практике такой подход бывает сложно реализовать: управленцам важно принимать меры здесь и сейчас и достигать быстрых результатов, а, например, наши инструменты, которые призваны улучшить положение школ с низкими результатами, рассчитаны на применение в течение трех-четырех лет. Поэтому для успешного внедрения доказательного подхода необходимо продумывать методы аргументации, которые будут понятны практикам, выстраивать диалог.

Иван Груздев: На удивление, я бы сказал так: доказательный подход состоит в том, чтобы ничего не доказывать. Доказательный подход возможен тогда, когда есть вопросы, есть сомнения, есть проблемы, в которых надо разобраться. Исследователи, социологи например, помогают понять, что происходит в отдельных образовательных организациях, системах, в разных кусочках социального мира. И, пожалуй, есть некоторые риски, когда исследователи из людей объясняющих превращаются в людей действующих и принимающих решения. Я бы сказал, что доказательный подход в образовании — это такой подход, который допускает возможность для сомнений, создает пространство для понимания и объяснения.

Евгений Тихонов: Я предложу определение доказательного подхода с позиции самого исследователя. Для меня доказательный подход — это в первую очередь полная прозрачность действий и их воспроизводимость, а также грамотное использование исходных данных. Важно оперировать не мнениями, если только мнения не являются данными, как, например, в социологии, важно, чтобы идеи и тезисы были подкреплены: взяли понятные и прозрачные данные, произвели понятные и прозрачные действия, сформулировали результаты.

Павел Сорокин, заведующий Лабораторией исследований человеческого потенциала и образования Института образования НИУ ВШЭ: Существует кризис воспроизводимости в науке и необходимость обновления подходов к доказательности, и этот кризис глобальный, не только российский. В 2017 году журнал Nature выпустил специальный манифест о воспроизводимой науке, ведется горячая дискуссия про недопустимость мошенничества, про использование открытых источников данных, раскрытие методов анализа данных, обсуждение способов борьбы с искусственным накручиванием до значимости p-value = 0,05.

Мне как-то попалась на глаза другая статья, в журнале American Statistician, где говорилось, что главная задача статистика — предсказывать будущее, а не рисовать кажущиеся взаимосвязи между параметрами в статике. И с этим возникает огромная проблема: глобальный опыт науки показывает, что этим традиционным научным приемам все меньше доверяют, потому что они мало позволяют предсказывать, что будет дальше. Кризис, пандемия не были предсказаны той доказательной наукой, на которую мы все время ссылаемся как на образец. Мир меняется, и представления о доказательности должны меняться вместе с ним, чтобы оставаться актуальными. Говоря о новом доказательном подходе, важно учитывать контекст. Обобщение закономерностей, таких как влияние дополнительных занятий на успеваемость, может быть ложным, так как универсальные связи часто оказываются неверными. Необходимо ориентироваться на конкретные задачи и предсказывать их развитие, чтобы удовлетворить ожидания заказчика. При обсуждении универсальных закономерностей риски возрастают, что требует осторожности и проверки традиционных инструментов и предположений.

Семён Янкевич: Вы много взаимодействуете с разного рода заказчиками исследований: регионами, крупными корпорациями, университетами. Кто, на ваш взгляд, сегодня является основным носителем запроса на доказательные исследования? Можно ли набросать такой портрет, исходя из вашего большого опыта переговоров?

Евгений Терентьев, директор Института образования НИУ ВШЭ: Запрос на данные возникает тогда, когда есть сомнения и проблемы, в отношении которых нет очевидного сформированного решения. В первую очередь это люди, которые понимают задачу или проблему, но не знают, как ее решить. Не так важно, какая конкретная задача перед ними стоит: достижения KPI или другая какая-то прагматическая мотивация. Если человек настроен решать задачу или проблему, то обычно в процессе появляется осознанное желание не просто залатать дыры, но и выстроить линию устойчивого развития на основе аналитики и доказательности. И у нас есть опыт сотрудничества с университетами, когда получается переключиться с опыта постоянного тушения пожаров на проектирование стратегии, образовательной и научной политики, опираясь на данные.

Многие компании проявляют большой интерес к тому, как перестроить свои бизнес-процессы на доказательной основе, используя данные аналитики не только для повышения прибыли, но и для того, чтобы создавать более качественные образовательные продукты, и спрос на доказательную экспертизу растет. Например, Камчатка стала отправной точкой для запуска социального проекта: региональные власти стремятся решить вопрос с оттоком молодых кадров, и профессиональные исследователи помогают им в этом, предлагая план действий, разработанный на основе доказательного подхода. А в Ямало-Ненецком автономном округе задача другая: нужно повысить показатели перехода из среднего профессионального образования на предприятия, расположенные на территории, поддержать развитие позитивных карьерных траекторий в регионе. Соответственно, есть запрос на аналитику, которая может помочь решить эту задачу.

Семён Янкевич: Что делать, если исследователи ошиблись? Где границы ответственности в ситуации, когда система образования, компания может свернуть не туда, руководствуясь данными, которые ей предоставили исследователи?

Евгений Терентьев: Когда мы задумывали курс по методам сбора и анализа данных в онлайн-среде, мы изобрели простую и понятную формулу. Идеальных данных нет. У всех данных есть проблемы. Задача исследователя — понимать возможные источники ошибок и стараться минимизировать их там, где это возможно там, а там, где невозможно — максимально прозрачно показывать ограничения и возможные ошибки. Это первый принцип академической честности.

Иван Груздев: Данные и результаты исследований — это не программа действий, это еще один аргумент, к результатам исследования надо относиться как к еще одному аргументу.Не нужно делить людей на практиков, которые принимают решения по наитию, и исследователей, которые во всем разобрались и могут советовать что-то другим. Мнение исследователей, данные, результаты исследования — это еще один аргумент. Если этот аргумент ошибочный, то его нужно отвергнуть: руководитель ли его отклонит, общественные слушания его раскритикуют, другие исследователи его оспорят. Другими словами, он должен быть отсеян в результате обсуждения.

Евгений Тихонов: Соглашусь, что исследования не гарантируют результат, они лишь помогают оценивать вероятности и ожидания. Если ошибка случилась, то важно ее признавать и исправлять. Однако может быть и так, что ошибки не было, все ограничения были аккуратно оговорены и учтены, но из-за них истинный результат, как покажет реальность, не был получен. Это значит, что нужно новое исследование с их снятием. Если говорить с позиции исследователя, ошибки и отклонения предоставляют новые возможности для исследований.

Сергей Косарецкий: Существует две возможные линии действий, зависящие от стартовой позиции исследователя. Примером служит Эрик Ханушек, который ранее утверждал, что увеличение финансирования школ не влияет на результаты, но недавно опубликовал метаанализ, показавший обратное: появились другие методы, другие данные, и это позволило аргументированно опровергнуть прежнее утверждение. И он изменил свою позицию, сосредоточившись на том, какие инвестиции действительно влияют на образовательные результаты. Ханушек неоднократно сталкивался с судебными разбирательствами по этому вопросу, когда его исследования оказывали влияние на решения о финансировании. Перед нами встает важный вопрос:готовы ли мы не только подтверждать достоверность наших исследований, но и учитывать, как практики используют эти данные?

Сергей Заир-Бек, ведущий эксперт Центра общего и дополнительного образования имени А. А. Пинского НИУ ВШЭ: Ответственность за те или иные решения в образовательной сфере лежит как на государственных органах, которые отвечают за реализацию тех или иных инициатив, так и на ученых, которые предоставляют информацию для этого. Программа действий — это всегда баланс между политическими задачами и научным подходом, это разделенная ответственность между исследователями и заказчиками. Исследования действительно должны быть прикладными, направленными на решение конкретных задач, а не на выявление универсальных закономерностей. И конечно, ученым тоже важно учитывать влияние своих выводов на практику, чтобы улучшить качество образования и повысить благополучие студентов.

Семён Янкевич: Нужен ли хотя бы минимальный набор навыков по анализу данных и научному подходу управленцу или практику? Нужно ли им этому обучаться?

Евгений Терентьев: Основная задача управленца или практика — научиться критически относиться к тому, что они видят в результатах исследований, и обращать внимание на возможные источники ошибок. Не думаю, что нужно заставлять управленцев учиться проектировать дизайн выборки, определять размер эффекта и т. д. Но им точно пригодится навык отнестись критически к результатам исследования, понимание, как их можно интерпретировать, а как нельзя.

Сергей Косарецкий: Нужно разделить две задачи, которые стоят перед управленцем или практиком, когда он использует доказательный подход. Если ему надо увидеть проблему и оценить ее масштаб, ему нужна работа со своими внутренними данными, и тогда институт может помочь обучающей программой. Если же нужны интервенции, то нет необходимости что-то исследовать. Нужно, чтобы была хорошая база с оценкой эффективности программ, качественные методички и т. д. Нужна дискуссия относительно конкретных инструментов и вмешательств.

Анатолий Каспржак,заслуженный профессор НИУ ВШЭ: Для успешного продвижения доказательного подхода необходимо разработать более простые и доступные инструменты, которые помогут управленцам быстро оценить необходимость исследований и самостоятельно принимать решения.