27 Июля 2018

Вычислительная психометрика как инструмент обратной связи для авторов онлайн-курсов

В рамках реализации приоритетного проекта «СЦОС в РФ» НИУ ВШЭ разрабатывает инструменты и методы психометрической аналитики для оценки эффективности онлайн-обучения. По просьбе нашего портала эксперты университета рассказали о психометрике и ее роли в работе ресурса «одного окна». 

По словам руководителя Центра психометрических исследований в онлайн-образовании НИУ ВШЭ Дмитрия Аббакумова, психометрика как наука появилась более века назад и изначально измеряла уровень знаний человека через совокупность правильно решенных заданий. В настоящее время спектр задач этой науки намного шире, начиная с персонализированного обучения и анализа пользователей в социальных сетях, и заканчивая медицинской аналитикой.

Сегодня флагманами в психометрике являются Нидерланды, Бельгия, Великобритания и США. Именно в этих странах уже более ста лет разрабатываются новые подходы и математические модели вычислительной науки о поведении. В России психометрика как наука стала развиваться фактически всего несколько лет назад, поскольку советский аналог психометрики – педология – был долгое время под запретом. К 1970-м годам ситуация немного улучшилась, но Запад к этому времени уже успел значительно уйти вперед.

В 2016 году в Дирекции по онлайн обучению НИУ ВШЭ был создан Центр психометрических исследований в онлайн-образовании, который стал первым в России центром, специализирующимся на психометрике онлайн-обучения.

«Развитие онлайн-обучения формирует новые рынки, появляется спрос на технологии и сервисы для улучшения и развития онлайн-курсов. Яркий пример – новые аналитические технологии, которые должны моделировать и объяснять поведение студента в динамике. Такие технологии появляются на стыке компьютерных наук и теоретической психометрики и формируют новое направление – вычислительную психометрику (англ. computational psychometrics). Центр психометрических исследований в онлайн-образовании ВШЭ тесно сотрудничает с ведущими международными исследовательскими группами. В Бельгии я в настоящий момент работаю над докторской диссертацией и мы видим, что в условиях постоянного роста конкуренции образовательных проектов выигрывают те, кто способен производить лучший контент и обеспечить лучший опыт студенту. А сделать это без глубокой и научно обоснованной аналитики невозможно», – рассказывает Дмитрий Аббакумов. 

В рамках приоритетного проекта «СЦОС в РФ» командой психометриков НИУ ВШЭ в 2017 году были разработаны методика и инструментарий психометрической аналитики онлайн-курсов, т.е. построены математические модели для обработки данных, которые появляются в каждом курсе по итогам работы пользователей. Данные –  это «цифровой след» поведения студента на онлайн-платформе: какие видео-лекции и учебные материалы он просматривал, с какой попытки и с каким результатом выполнил тестовые задания, как оценивал работы других студентов во взаимном оценивании и множество других данных, описывающих поведение студента в онлайн-курсе. Все эти данные хранятся большинством платформ и могут быть проанализированы при помощи инструментов вычислительной психометрики. По итогам анализа формируется заключение о сложности контента, изменение подготовленности студентов в ходе курса, вовлеченности студентов во взаимодействие  с контентом, сложности тестовых заданий, т.е. ни что иное, как обратная связь от слушателей, и не субъективная, а подтверждённая статистическими методами.

«На первом этапе проекта были разработаны модели и алгоритмы психометрического анализа и проведена их апробация: в 2017 году проанализированы 50 курсов 15-ти университетов, которые активно развивают онлайн-обучение и выразили свою заинтересованность в инструментарии для оценки их качества. Мы убедились, что алгоритмы работают на разных структурах данных и получили обратную связь от вузов-участников, после чего доработали форматы отчетов,  формируемых по итогам анализа, чтобы сделать  их максимально понятными и полезными. Второй этап заключается в создании на основе этих моделей и алгоритмов сервиса, чтобы  автоматизировать  аналитику курсов. Сервис будет доступен на ресурсе одного окна и им смогут воспользоваться зарегистрированные на этом ресурсе разработчики курсов. Разработчики сервиса в мае провели серию обучающих семинаров, на которых рассказали, какие возможности откроет новый сервис и как им пользоваться. Мы планируем продолжить вебинары и мастер-классы на эту тему», – прокомментировала Евгения Кулик, директор по онлайн-обучению НИУ ВШЭ.

Подсистема психометрической аналитики – результат огромной работы, проделанной аналитиками НИУ ВШЭ, – станет необходимой базой, обязательной для качественного развития онлайн-обучения в России.

По информации проектной команды НИУ ВШЭ

Идет прием заявок на участие во Втором крымском конкурсе МООК

Идет прием заявок на участие во Втором крымском конкурсе МООК

РЦКОО «Ломоносов» открыт прием заявок на участие сотрудников ссузов и вузов Республики Крым и города Севастополя в Открытом крымском конкурсе на разработку массовых открытых онлайн-курсов.
22 Сентября 2018