VOCA: Захват, обучение и синтез трехмерных стилей речи скачать в хорошем качестве

VOCA: Захват, обучение и синтез трехмерных стилей речи

Аудиоуправляемая 3D-анимация лиц широко исследована, но достижение реалистичного, человекоподобного исполнения до сих пор остается нерешенной задачей. Это связано с недостатком доступных 3D-наборов данных, моделей и стандартных метрик оценки. Для решения этой проблемы мы представляем уникальный 4D-набор данных лиц, содержащий около 29 минут 4D-сканирования, записанного со скоростью 60 кадров в секунду, и синхронизированный звук от 12 говорящих. Затем мы обучаем нейронную сеть на нашем наборе данных, которая учитывает идентичность по движению лица. Обученная модель, VOCA (Voice Operated Character Animation), принимает любой речевой сигнал в качестве входных данных — даже речь на языках, отличных от английского — и реалистично анимирует широкий спектр лиц взрослых. Условные метки субъектов во время обучения позволяют модели изучать различные реалистичные стили речи. VOCA также предоставляет аниматору элементы управления для изменения стиля речи, зависящей от идентичности формы лица и позы (т.е. вращения головы, челюсти и глазного яблока) во время анимации. Насколько нам известно, VOCA — единственная реалистичная 3D-модель лицевой анимации, которую можно легко применять к неизвестным объектам без перенацеливания. Это делает VOCA подходящей для таких задач, как внутриигровое видео, виртуальные аватары или любой сценарий, в котором говорящий, речь или язык заранее неизвестны. Мы предоставляем набор данных и модель для исследовательских целей по адресу http://voca.is.tue.mpg.de. Код: https://github.com/TimoBolkart/voca Страница проекта с данными: https://voca.is.tue.mpg.de/ pdf: https://ps.is.tuebingen.mpg.de/upload... Cudeiro, D., Bolkart, T., Laidlaw, C., Ranjan, A., Black, M.J., "Захват, обучение и синтез трехмерных стилей речи", В материалах конференции IEEE по компьютерному зрению и распознаванию образов (CVPR), июнь 2019 г.