В ЦИФРЕ. АНАЛИТИКА

Измерение невидимого

Психометрика и учебная аналитика для педагога, психолога и бизнесмена

Почему студенты бросают учиться, насколько объективны их жалобы на сложность курса, как отследить изменения учебной мотивации и понять, какая форма учебного материала лучше подходит для достижения образовательной цели?

На эти вопросы отвечает психометрика, наука, изучающая параметры психических процессов.

Дмитрий Аббакумов
PhD KU Leuven, преподаватель Школы проектирования образования School of Education

Историческая справка и определение

— Можете рассказать, что такое психометрика, простыми словами?

— В физическом мире, к которому мы с вами привыкли, мы можем взять линейку, приложить ее к листку бумаги и увидеть, что он имеет длину 35 сантиметров. Или, например, определить массу тела человека с помощью напольных весов.

Все эти физические параметры можно измерить. А вот психологические характеристики, в отличие от физических, скрыты от нас. Если поставить перед нами двух человек, то мы не можем, посмотрев на них, сказать, что у одного более высокий уровень интеллекта, а у второго более низкий.

Так мы приходим к определению психометрики: это наука, которая измеряет навыки, знания, психологические черты, особенности личности. То есть те переменные, которые скрыты от непосредственного наблюдения.

— Кто первый заговорил о психометрике?

— Первое определение психометрики дал Фрэнсис Гальтон в конце XIX века. В одной из своих статей он написал, что психометрика — это искусство присваивания чисел операциям разума. Получается, что это наука о том, как квантифицировать эти операции разума.

Тогда о психометрике заговорили многие: Чарльз Спирмен, Карл Пирсон, Джеймс Маккин Кеттелл. Они впервые задумались над тем, как измерить интеллект.

— Почему в XIX веке возникла необходимость обратиться к психометрике и измерить интеллект?

— Я думаю, что тогда человечество уже было достаточно развитым с точки зрения освоения физического мира: уже измеряли длину, массу тела. Соответственно, в какой-то момент эволюционно подошли к мысли, что люди различаются не только по росту, комплекции и цвету глаз. Они различаются по перформансу, производительности. Кто-то делает работу быстрее, кто-то медленнее. Кто-то лучше справляется с определенными задачами, кто-то хуже.

Со стороны психометриков это была попытка осмыслить человеческие различия нефизического плана. К вопросу «как влезть к человеку в душу?» подошли эволюционным путем. Это был гуманистический драйвер со стороны ученых.

Кстати, интересный научный факт: коэффициент корреляции, предложенный Пирсоном, изначально был придуман для решений психометрических проблем.

Как психометрики собирают данные и ошибаются

— Вы говорили о том, что психометрики ставят перед собой задачу измерить интеллект. Но мы понимаем, что нужно учитывать особенности студентов, которые участвуют в эксперименте. Как в этом случае быть объективным и не допустить большую погрешность в исследовании?

— Мы можем дать один и тот же тест детям разных возрастов. В какой-то момент мы обнаружим, что результаты теста сильно скоррелированы с возрастом: чем старше ребенок, тем лучше он сдает тестовое задание. Соответственно, мы получаем существенную переменную, которая альтернативно объясняет наши результаты.

Эту переменную можно учесть в модели, просто включить ее, проконтролировать на переменную возраста. А можно пойти другим путем: детей поделить на равные группы по возрасту и давать этот тест детям первого класса, второго, третьего по отдельности. Это пример того, как мы можем стремиться быть объективными в своих исследованиях.

Но есть такое понятие, как ошибка измерения, которая может быть систематической, а может быть случайной. Систематическая — это когда весы врут, потому что в магазин их поставили бракованными. Врут на один килограмм.

Вы встанете на эти весы, я встану на них, они и мне, и вам соврут. Это систематическая ошибка. Число мое и число ваше сравнимо, потому что оно скорректировано на ошибку, которая действует и по отношению к вам, и по отношению ко мне.

А еще ошибка может быть случайной. Когда что-то, не зависящее от нас, совершенно случайно влияет на результаты. Например, это может быть подсказка в тестировании или усталость испытуемого. Конечно, мы должны стремиться все учесть, чтобы получить максимально валидные и надежные результаты. Но бывает так, что это невозможно.

— А что можно сказать по поводу сравнения малых и больших групп? Психометрика учитывает особенности, если у нас, например, небольшая выборка?

— Да, конечно, учитывает. И делает это строго. Старая классическая теория в меньшей степени зависит от объема выборки. Там указано, что 50 человек уже достаточно, чтобы эту теорию применять. Но она ограничена в том, что может дать с позиции качества такого измерения.

Понимая этот недостаток, ученые придумали современную теорию. Но тут же появилось ограничение: эта теория работает только тогда, когда есть выборки от 300−500 студентов и выше. Получается, что одна теория работает на малых выборках, а другая на больших.

В идеале эти теории должны друг друга взаимодополнять, но при этом они в каком-то смысле становятся взаимозаменяемыми. Если у тебя маленькая выборка, ты не можешь использовать современную теорию.

Тем не менее сейчас ведется активная работа над тем, чтобы сделать расчеты на малых выборках такими же гибкими и нетребовательными и чтобы при этом они давали столько же, а может, и больше полезной информации, как расчеты для больших выборок.

Мы с вами понимаем, что малые выборки вокруг нас. Это школьные классы, малые репетиторские группы, которые работают с группой до десяти человек.

— Говоря про очное и дистанционное обучение, есть здесь какие-то особенности при сборе данных?

— Онлайн предоставляет безграничное поле возможностей: здесь можно собирать кликовую активность, переходы между учебным материалом и тестом, информацию о том, куда смотрит студент.

Понятно, что при условии академической этики, явного согласия в офлайне в меньшей степени можем это делать. В офлайне мы можем получить только, условно говоря, тест на бланковой форме.

— И что в этом случае можно сделать с офлайн-форматом?

— Когда я учился в Лёвенском католическом университете в Бельгии, параллельная исследовательская группа занималась тем, что ставила видеокамеры и с помощью распознавания эмоций считывала эмоциональный фон каждого студента.

Это было исследование, сделанное по правилам академической этики, все было с согласия. Это один из примеров того, как мы можем расширить возможности офлайн-образования с помощью подобного способа сбора данных.

— Звучит сложнореализуемо. Получается, онлайн-среда надежнее?

— Я не хочу выглядеть как человек, который считает онлайн-среду идеальным местом для исследований. В онлайне наши возможности также не безграничны. Например, мы не всегда можем проконтролировать, пользуется ли студент шпаргалками, не подсказывает ли ему кто-то. Доведем до абсурда: этот ли человек решает тест или это делает кто-то вместо него? Если подытожить, можно сказать, что каждый метод имеет свои плюсы и минусы.

Психометрика и Edtech

— Как психометрика применяется в Edtech-сфере?

— Хорошо ли работают наши учебные материалы? Какая форма учебного материала (презентация, текст, видео, симуляция) лучше всего работает для этой задачи? Какова мотивация наших студентов? Как меняются мотивация и вовлеченность со временем? Все эти вопросы касаются применения психометрики в Edtech. И никто, кроме как психометрик, эту задачу компетентно не решит.

Когда эту задачу начинает решать не психометрик, возникает много вопросов. Например, я сталкивался с тем, что компетенция считается освоенной всеми, кто пришел на вебинар. И дальше с этими данными делаются выводы.

25 января 2024 года в School of Education прошел воркшоп, посвященный психометрике, а также конференция SE+НЕтология+Отус

И тут, конечно, волосы встают дыбом. Если бы эту задачу решал психометрик, то он как минимум предложил бы тест, чтобы посмотреть, как различаются по этой компетенции те, кто пришел на вебинар, и те, кто не пришел. Ведь может быть такое, что те, кто был на вебинаре, включили его и пошли спать. А те, кто не пришел, могли и до этого обладать компетенцией, развитию которой посвящено мероприятие.

И вот то, над чем я в последнее время работаю, — это попытка связать психометрические метрики, такие как трудность контента, прогресс студента, подготовленность студента, с бизнес-метриками, такими как конверсии, retention, dropout и т. д. Но на сегодняшний день можно точно сказать, что бизнес и психометрика не всегда понимают друг друга.

— В чем заключается сложность?

— Когда говоришь коллегам, что у нас 30% курсов трудны для студентов, в ответ, как правило, слышишь вопрос: «И что?» А вот когда начинаешь связывать трудности контента с конверсиями, разговор идет иначе. Если рассказать, что показатели можно повысить, если внедрить в разработку курса методистов, которые помогут упростить программу, бизнес уже становится заинтересованным. Я потратил полтора года на то, чтобы научиться разговаривать с ними на их языке.

— Есть ли сейчас реальные примеры, когда продуктовые метрики связались с психометрикой и из этого союза вышел стоящий результат?

— Была ситуация, когда в одном из проектов, где я участвовал, мы столкнулись с тем, что в первые две недели обучения высокие отвалы и низкий retention. Стали изучать вопрос и увидели в обратной связи, что студентам трудно проходить обучение.

Параллельно методами психометрики замеряли трудность контента. Действительно, студенты, которые говорили, что им трудно, отвалились. Мы доработали контент, и retention в первые две недели увеличился с 50% до 70%.

Как стать психометриком

— Для тех, кто не сталкивался с анализом данных и статистикой, психометрика — это что-то действительно сложное или в ней может разобраться каждый?

— Для того чтобы стать психометриком, нужно учитывать две вещи. Первое: нужно владеть фундаментальной частью науки, то есть психологией или педагогикой — в зависимости от того, где ты практикуешься.

Второе: нужно иметь исследовательский навык работы с данными. Этому учат на специальных программах магистратуры и докторантуры. Это такое же узкое направление, как, например, психогенетика. Ее не изучают на программах бакалавриата.

— Куда идти учиться на психометрика?

— В Высшей школе экономики есть магистерская программа, которая готовит психометриков, причем на выходе выпускники получают квалификацию психолога. Программа называется «Обучение и оценивание как наука». Если говорить про зарубежные программы, то это либо магистратура, либо докторантура. По Learning Analytics есть отличные программы в штате Пенсильвания, в Колумбийском университете в Нью-Йорке, в Сиднее.

Если говорить про программы Psychometrics, то стоит рассмотреть такие страны, как Нидерланды, Бельгия, США и Великобритания.

— На основании чего сделаны такие выводы по странам?

— Я смотрю на объемы публикаций. Сегодня главные инфлюенсеры в мире психометрики и учебной аналитики — это ученые из вышеназванных стран.

— А что делать с полученными знаниями после? Человек выпустился, окончил специальную программу в Высшей школе экономики или за границей. Что делать дальше? Куда идти?

— Многие идут в сферу оценки персонала, в такие компании, как «Учи.ру», «Яндекс Практикум». Применяют полученные знания по-разному, начиная от разработки инструментов для диагностики креативности и заканчивая анализом большого массива данных. Спектр работы очень широкий.

Личный опыт

— Как вы сами работаете с психометрикой?

— Ко мне на консультацию часто приходят компании с таким запросом: мы хотим найти психометрика. И последний год мы решаем эту проблему удивительным образом.

Раньше я говорил бизнесу, что есть Высшая школа экономики, есть зарубежные программы подготовки. Отправьте на обучение своего сотрудника, и через два года у вас будет свой психометрик. Сами понимаете, что бизнес отвечает в этом случае: «Мы вообще не знаем, будем ли мы через два года работать».

Сейчас я отвечаю: вам не нужно готовить такого психометрика, который будет знать все в этой области. Давайте решим конкретную задачу. И вот уже около года я работаю как играющий тренер в нескольких подобных проектах. У компаний есть свои продуктовые аналитики, которые разбираются в анализе данных. Они знают, что такое SQL, Python, как считать корреляции, где лежат данные об их проекте, куда писать скрипт и откуда получать данные. Но они не разбираются в психометрике. Я прихожу и решаю их фокусную задачу. Они дают данные, я готовлю скрипт, считаю, показываю. Получается, что внутри команды появляется не просто решение, а решение с компетенцией, и продуктовый аналитик уже самостоятельно может это все считать. Таким образом, в проекте появляется технология и компетенция, заменяющая должность психометрика.

Комментировать

Если статья была для вас полезной, расскажите о ней друзьям. Спасибо!