NeRF: Представление сцен в виде нейронных полей излучения для синтеза представлений (объяснение и... скачать в хорошем качестве

NeRF: Представление сцен в виде нейронных полей излучения для синтеза представлений (объяснение и...

#nerf #neuralrendering #deeplearning Синтез вида — сложная задача, особенно если на вход поступает лишь разреженный набор изображений. NeRF встраивает всю сцену в веса нейронной сети прямого распространения, обученной методом обратного распространения ошибки с помощью процедуры дифференциального объёмного рендеринга, и реализует передовой синтез вида. Он учитывает направленную зависимость и способен улавливать мелкие структурные детали, а также эффекты отражения и прозрачности. ПЛАН: 0:00 — Введение и обзор 4:50 — Описание задачи синтеза изображений 5:50 — Фундаментальное отличие от классического глубокого обучения 7:00 — Основная концепция NeRF 15:30 — Обучение NeRF на основе разреженных изображений 20:50 — Объемный рендеринг поля излучения 23:20 — Полученная зависимость от изображения 24:00 — Позиционное кодирование 28:00 — Иерархическая объемная выборка 30:15 — Экспериментальные результаты 33:30 — Комментарии и заключение Документ: https://arxiv.org/abs/2003.08934 Сайт и код: https://www.matthewtancik.com/nerf Мое видео о SIREN:    • SIREN: Implicit Neural Representations wit...   Аннотация: Мы представляем метод, позволяющий достичь передовых результатов при синтезе Новые представления сложных сцен путем оптимизации базовой непрерывной объемной функции сцены с использованием разреженного набора входных представлений. Наш алгоритм представляет сцену с помощью полносвязной (несвёрточной) глубокой сети, входными данными которой являются одна непрерывная 5D-координата (пространственное положение (x, y, z) и направление взгляда (θ, ϕ)), а выходными – плотность объема и излучаемая яркость, зависящая от вида, в этой пространственной точке. Мы синтезируем представления, запрашивая 5D-координаты вдоль лучей камеры, и используем классические методы объемного рендеринга для проецирования выходных цветов и плотностей на изображение. Поскольку объемный рендеринг является естественно дифференцируемым, единственными входными данными, необходимыми для оптимизации нашего представления, являются набор изображений с известными положениями камеры. Мы описываем, как эффективно оптимизировать нейронные поля яркости для рендеринга фотореалистичных новых представлений сцен со сложной геометрией и внешним видом, и демонстрируем результаты, превосходящие предыдущие работы по нейронному рендерингу и синтезу представлений. Результаты синтеза представлений лучше всего просматривать в виде видеороликов, поэтому мы рекомендуем читателям посмотреть наше дополнительное видео для наглядного сравнения. Авторы: Бен Милденхолл, Пратул П. Шринивасан, Мэтью Танчик, Джонатан Т. Баррон, Рави Рамамурти, Рен Нг Ссылки: Автодополнение кода TabNine (реферальная ссылка): http://bit.ly/tabnine-yannick YouTube:    / yannickilcher   Twitter:   / ykilcher   Discord:   / discord   BitChute: https://www.bitchute.com/channel/yann... Minds: https://www.minds.com/ykilcher Parler: https://parler.com/profile/YannicKilcher LinkedIn:   / yannic-kilcher-488534136   BiliBili: https://space.bilibili.com/1824646584 Если хотите поддержать меня, лучше всего поделиться контентом :) Если хотите поддержать меня финансово (это совершенно необязательно и добровольно, но многие просили об этом): SubscribeStar: https://www.subscribestar.com/yannick... Patreon:   / yannickilcher   Биткойн (BTC): bc1q49lsw3q325tr58ygf8sudx2dqfguclvngvy2cq Эфириум (ETH): 0x7ad3513E3B8f66799f507Aa7874b1B0eBC7F85e2 Лайткойн (LTC): LQW2TRyKYetVC8WjFkhpPhtpbDM4Vw7r9m Монеро (XMR): 4ACL8AGrEo5hAir8A9CeVrW8pEauWvnp1WnSDZxW7tziCDLhZAGsgzhRQABDnFy8yuM9fWJDviJPHKRjV4FWt19CJZN9D4n