Вычислительная психометрика как инструмент обратной связи для авторов онлайн-курсов
В рамках реализации приоритетного проекта «СЦОС в РФ» НИУ ВШЭ разрабатывает инструменты и методы психометрической аналитики для оценки эффективности онлайн-обучения. По просьбе нашего портала эксперты университета рассказали о психометрике и ее роли в работе ресурса «одного окна».
По словам руководителя Центра психометрических исследований в онлайн-образовании НИУ ВШЭ Дмитрия Аббакумова, психометрика как наука появилась более века назад и изначально измеряла уровень знаний человека через совокупность правильно решенных заданий. В настоящее время спектр задач этой науки намного шире, начиная с персонализированного обучения и анализа пользователей в социальных сетях, и заканчивая медицинской аналитикой.
Сегодня флагманами в психометрике являются Нидерланды, Бельгия, Великобритания и США. Именно в этих странах уже более ста лет разрабатываются новые подходы и математические модели вычислительной науки о поведении. В России психометрика как наука стала развиваться фактически всего несколько лет назад, поскольку советский аналог психометрики – педология – был долгое время под запретом. К 1970-м годам ситуация немного улучшилась, но Запад к этому времени уже успел значительно уйти вперед.
В 2016 году в Дирекции по онлайн обучению НИУ ВШЭ был создан Центр психометрических исследований в онлайн-образовании, который стал первым в России центром, специализирующимся на психометрике онлайн-обучения.
«Развитие онлайн-обучения формирует новые рынки, появляется спрос на технологии и сервисы для улучшения и развития онлайн-курсов. Яркий пример – новые аналитические технологии, которые должны моделировать и объяснять поведение студента в динамике. Такие технологии появляются на стыке компьютерных наук и теоретической психометрики и формируют новое направление – вычислительную психометрику (англ. computational psychometrics). Центр психометрических исследований в онлайн-образовании ВШЭ тесно сотрудничает с ведущими международными исследовательскими группами. В Бельгии я в настоящий момент работаю над докторской диссертацией и мы видим, что в условиях постоянного роста конкуренции образовательных проектов выигрывают те, кто способен производить лучший контент и обеспечить лучший опыт студенту. А сделать это без глубокой и научно обоснованной аналитики невозможно», – рассказывает Дмитрий Аббакумов.
В рамках приоритетного проекта «СЦОС в РФ» командой психометриков НИУ ВШЭ в 2017 году были разработаны методика и инструментарий психометрической аналитики онлайн-курсов, т.е. построены математические модели для обработки данных, которые появляются в каждом курсе по итогам работы пользователей. Данные – это «цифровой след» поведения студента на онлайн-платформе: какие видео-лекции и учебные материалы он просматривал, с какой попытки и с каким результатом выполнил тестовые задания, как оценивал работы других студентов во взаимном оценивании и множество других данных, описывающих поведение студента в онлайн-курсе. Все эти данные хранятся большинством платформ и могут быть проанализированы при помощи инструментов вычислительной психометрики. По итогам анализа формируется заключение о сложности контента, изменение подготовленности студентов в ходе курса, вовлеченности студентов во взаимодействие с контентом, сложности тестовых заданий, т.е. ни что иное, как обратная связь от слушателей, и не субъективная, а подтверждённая статистическими методами.
«На первом этапе проекта были разработаны модели и алгоритмы психометрического анализа и проведена их апробация: в 2017 году проанализированы 50 курсов 15-ти университетов, которые активно развивают онлайн-обучение и выразили свою заинтересованность в инструментарии для оценки их качества. Мы убедились, что алгоритмы работают на разных структурах данных и получили обратную связь от вузов-участников, после чего доработали форматы отчетов, формируемых по итогам анализа, чтобы сделать их максимально понятными и полезными. Второй этап заключается в создании на основе этих моделей и алгоритмов сервиса, чтобы автоматизировать аналитику курсов. Сервис будет доступен на ресурсе одного окна и им смогут воспользоваться зарегистрированные на этом ресурсе разработчики курсов. Разработчики сервиса в мае провели серию обучающих семинаров, на которых рассказали, какие возможности откроет новый сервис и как им пользоваться. Мы планируем продолжить вебинары и мастер-классы на эту тему», – прокомментировала Евгения Кулик, директор по онлайн-обучению НИУ ВШЭ.
Подсистема психометрической аналитики – результат огромной работы, проделанной аналитиками НИУ ВШЭ, – станет необходимой базой, обязательной для качественного развития онлайн-обучения в России.
По информации проектной команды НИУ ВШЭ
