6 Июля 2019

Создан робот-лектор на базе ИИ для визуализации МООК

Разработчики площадки Udacity представили ИИ-систему LumièreNet, которая синтезирует видео с лектором, синхронизируя полученную анимацию с загруженным в систему аудио- и визуальными материалами. В настоящее время создатели фреймворка работают над повышением реализма компьютерной модели преподавателя.

ИИ-система LumièreNet содержит компонент для определения положения тела, который генерирует изображения лектора, опираясь на кадры из тренировочного датасета. Второй компонент — двунаправленная сеть долгой краткосрочной памяти (BLSTM network) — принимает входное аудио и устанавливает связь между ним и визуальными элементами, сообщает издание Dev.by со ссылкой на VentureBeat.

Для тестирования LumièreNet исследователи сняли 8 часов лекцию в студии Udacity. По их словам, результат ИИ получился «убедительным»: отмечаются плавная жестикуляция и реалистичные причёски, но в целом обмануть человеческий глаз искусственным видеороликам не удастся. К примеру, нейросеть не улавливает такие детали, как движения глаз, губ, волос и одежды, поэтому люди на сгенерированных видео почти не моргают, и мимика выглядит неестественно. Иногда глаза смотрят в разные стороны, а руки — расплывчаты.

«ИИ, который отчасти (или полностью) автоматизирует производство обучающего видеоконтента, был бы очень востребованным», — сообщают разработчики. — «Исходя из этого мы предлагаем новый метод синтеза видео, который не рассматривался ранее с точки зрения онлайн-обучения —  простой, модульный и полностью нейронный ИИ, который генерирует фигуру лектора в полный рост с учетом звуковой дорожки любой продолжительности».

Учёные планируют усовершенствовать систему, добавив больше лицевых точек и обучив  генерировать дополнительные элементы.

Ученые УрФУ удостоены премии Правительства РФ за разработку цифрового образовательного комплекса

Ученые УрФУ удостоены премии Правительства РФ за разработку цифрового образовательного комплекса

Преподаватели Уральского Федерального Университета стали лауреатами премии Правительства Российской Федерации в области образования. Трое ученых УрФУ – сотрудники кафедры теоретической механики института фундаментального образования Светлана Берестова, Евгений Митюшов и Наталья Мисюра – были удостоены награды за разработку цифрового образовательного комплекса по теоретической и инженерной механике.
12 Сентября 2019