Pixel3DMM: Универсальные априорные данные экранного пространства для 3D-реконструкции лица по одн... скачать в хорошем качестве

Pixel3DMM: Универсальные априорные данные экранного пространства для 3D-реконструкции лица по одн...

Проект: https://simongiebenhain.github.io/pix... Документ: https://arxiv.org/abs/2505.00615 Мы занимаемся 3D-реконструкцией человеческих лиц по одному RGB-изображению. Для этого мы предлагаем Pixel3DMM — набор высокообобщённых преобразователей зрения, которые предсказывают геометрические признаки попиксельно, чтобы ограничить оптимизацию трёхмерной морфируемой модели лица (3DMM). Мы используем скрытые особенности базовой модели DINO и вводим специализированный блок прогнозирования нормалей к поверхности и UV-координат. Мы обучаем нашу модель, регистрируя три высококачественных набора данных трёхмерных лиц в топологии сетки FLAME, что в сумме даёт более 1000 идентификаторов и 976 тыс. изображений. Для 3D-реконструкции лиц мы предлагаем оптимизацию подгонки FLAME, которая вычисляет параметры 3DMM на основе оценок UV-координат и нормалей. Для оценки нашего метода мы вводим новый бенчмарк для реконструкции лица по одному изображению, который учитывает большое разнообразие выражений лица, углов обзора и этнической принадлежности. Важно отметить, что наш бенчмарк впервые оценивает как постановочную, так и нейтральную геометрию лица. В конечном счёте, наш метод превосходит самые конкурентные базовые тесты более чем на 15% с точки зрения геометрической точности для постановочных выражений лица.