Сегментация изображений в формате Panoptic с помощью Vision Transformer и Mask2Former — руководст... скачать в хорошем качестве

Сегментация изображений в формате Panoptic с помощью Vision Transformer и Mask2Former — руководст...

Ключевым нововведением является параллельный вывод декодером Transformer набора бинарных масок и классов. Этот подход был улучшен в статье MaskFormer, где было показано, что парадигма «бинарной классификации по маске» также отлично подходит для семантической сегментации. Mask2Former расширяет этот подход до сегментации экземпляров, дополнительно совершенствуя архитектуру нейронной сети. Её ключевым компонентом является маскированное внимание, которое извлекает локализованные признаки, ограничивая перекрёстное внимание в пределах предсказанных областей маски. Таким образом, мы перешли от отдельных архитектур к тому, что исследователи теперь называют архитектурами «универсальной сегментации изображений», способными решать любые задачи сегментации изображений. Интересно, что все эти универсальные модели используют парадигму «классификации по маске», полностью отказываясь от парадигмы «попиксельной классификации». из рекомендуемого блога Huggingface (все права и кредиты принадлежат им): https://huggingface.co/blog/mask2former «Мы представляем Mask Transformer Mask Transformer (Mask2Former) – новую архитектуру, способную решать любые задачи сегментации изображений (паноптическую, экземплярную или семантическую). Её ключевым компонентом является маскированное внимание, которое извлекает локализованные признаки, ограничивая перекрёстное внимание в пределах предсказанных областей маски. Помимо сокращения затрат на исследование как минимум в три раза, он значительно превосходит лучшие специализированные архитектуры на четырёх популярных наборах данных. В частности, Mask2Former устанавливает новый стандарт в паноптической сегментации (57,8 PQ на COCO), сегментации экземпляров (50,1 AP на COCO) и семантической сегментации (57,7 млн ​​единиц на ADE20K).» из https://huggingface.co/docs/transform... Препринт Arxiv (все права принадлежат авторам): Трансформер маски внимания с маскировкой для универсальной сегментации изображений Боуэн Ченг, Ишан Мисра, Александр Г. Швинг, Александр Кириллов, Рохит Гирдхар https://arxiv.org/abs/2112.01527 #ai #сегментация изображений #transformers