27 Июля 2018

Вычислительная психометрика как инструмент обратной связи для авторов онлайн-курсов

В рамках реализации приоритетного проекта «СЦОС в РФ» НИУ ВШЭ разрабатывает инструменты и методы психометрической аналитики для оценки эффективности онлайн-обучения. По просьбе нашего портала эксперты университета рассказали о психометрике и ее роли в работе ресурса «одного окна». 

По словам руководителя Центра психометрических исследований в онлайн-образовании НИУ ВШЭ Дмитрия Аббакумова, психометрика как наука появилась более века назад и изначально измеряла уровень знаний человека через совокупность правильно решенных заданий. В настоящее время спектр задач этой науки намного шире, начиная с персонализированного обучения и анализа пользователей в социальных сетях, и заканчивая медицинской аналитикой.

Сегодня флагманами в психометрике являются Нидерланды, Бельгия, Великобритания и США. Именно в этих странах уже более ста лет разрабатываются новые подходы и математические модели вычислительной науки о поведении. В России психометрика как наука стала развиваться фактически всего несколько лет назад, поскольку советский аналог психометрики – педология – был долгое время под запретом. К 1970-м годам ситуация немного улучшилась, но Запад к этому времени уже успел значительно уйти вперед.

В 2016 году в Дирекции по онлайн обучению НИУ ВШЭ был создан Центр психометрических исследований в онлайн-образовании, который стал первым в России центром, специализирующимся на психометрике онлайн-обучения.

«Развитие онлайн-обучения формирует новые рынки, появляется спрос на технологии и сервисы для улучшения и развития онлайн-курсов. Яркий пример – новые аналитические технологии, которые должны моделировать и объяснять поведение студента в динамике. Такие технологии появляются на стыке компьютерных наук и теоретической психометрики и формируют новое направление – вычислительную психометрику (англ. computational psychometrics). Центр психометрических исследований в онлайн-образовании ВШЭ тесно сотрудничает с ведущими международными исследовательскими группами. В Бельгии я в настоящий момент работаю над докторской диссертацией и мы видим, что в условиях постоянного роста конкуренции образовательных проектов выигрывают те, кто способен производить лучший контент и обеспечить лучший опыт студенту. А сделать это без глубокой и научно обоснованной аналитики невозможно», – рассказывает Дмитрий Аббакумов. 

В рамках приоритетного проекта «СЦОС в РФ» командой психометриков НИУ ВШЭ в 2017 году были разработаны методика и инструментарий психометрической аналитики онлайн-курсов, т.е. построены математические модели для обработки данных, которые появляются в каждом курсе по итогам работы пользователей. Данные –  это «цифровой след» поведения студента на онлайн-платформе: какие видео-лекции и учебные материалы он просматривал, с какой попытки и с каким результатом выполнил тестовые задания, как оценивал работы других студентов во взаимном оценивании и множество других данных, описывающих поведение студента в онлайн-курсе. Все эти данные хранятся большинством платформ и могут быть проанализированы при помощи инструментов вычислительной психометрики. По итогам анализа формируется заключение о сложности контента, изменение подготовленности студентов в ходе курса, вовлеченности студентов во взаимодействие  с контентом, сложности тестовых заданий, т.е. ни что иное, как обратная связь от слушателей, и не субъективная, а подтверждённая статистическими методами.

«На первом этапе проекта были разработаны модели и алгоритмы психометрического анализа и проведена их апробация: в 2017 году проанализированы 50 курсов 15-ти университетов, которые активно развивают онлайн-обучение и выразили свою заинтересованность в инструментарии для оценки их качества. Мы убедились, что алгоритмы работают на разных структурах данных и получили обратную связь от вузов-участников, после чего доработали форматы отчетов,  формируемых по итогам анализа, чтобы сделать  их максимально понятными и полезными. Второй этап заключается в создании на основе этих моделей и алгоритмов сервиса, чтобы  автоматизировать  аналитику курсов. Сервис будет доступен на ресурсе одного окна и им смогут воспользоваться зарегистрированные на этом ресурсе разработчики курсов. Разработчики сервиса в мае провели серию обучающих семинаров, на которых рассказали, какие возможности откроет новый сервис и как им пользоваться. Мы планируем продолжить вебинары и мастер-классы на эту тему», – прокомментировала Евгения Кулик, директор по онлайн-обучению НИУ ВШЭ.

Подсистема психометрической аналитики – результат огромной работы, проделанной аналитиками НИУ ВШЭ, – станет необходимой базой, обязательной для качественного развития онлайн-обучения в России.

По информации проектной команды НИУ ВШЭ

Специалисты РЦКОО приняли участие в работе eSTARS-2018

Специалисты РЦКОО приняли участие в работе eSTARS-2018

В Москве завершила работу вторая международная конференция «eLearning Stakeholders and Researchers Summit 2018» (eSTARS), посвященная роли университетов в развитии человеческого капитала для цифровой экономики, организованная НИУ ВШЭ и глобальной образовательной онлайн-платформой Coursera. В конференции приняли участие представители Региональных центров компетенций в области онлайн обучения.
11 Декабря 2018