[DMQA Open Seminar] Transformer in Computer Vision скачать в хорошем качестве

[DMQA Open Seminar] Transformer in Computer Vision

NLP 분야에서 Transformer가 큰 성공을 거두면서 Computer Vision 분야에도 많은 영향을 미치게 되었다. 지금까지의 연구들은 Transformer의 핵심인 Self Attention을 CNN에 적용하는 연구가 주를 이루었다면 최근에는 Transformer 구조 자체를 Computer Vision 분야에 적용한 연구들이 활발하게 수행되고 있다. 이번 세미나에서는 Transformer를 이미지 분류 문제에 적용한 Vision Transformer(ViT)와 이를 개선한 Data-efficient image Transformer(DeiT)에 대해 소개하고자 한다. 참고문헌 : 1. A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, "An image is worth 16x16 words: Transformers for image recognition at scale," arXiv preprint arXiv:2010.11929, 2020. 2. H. Touvron, M. Cord, M. Douze, F. Massa, A. Sablayrolles, and H. J´egou, “Training data-efficient image transformers & distillation through attention,” arXiv preprint arXiv:2012.12877, 2020. 3. S. Khan, M. Naseer, M. Hayat, S. W. Zamir, F. S. Khan, and M. Shah, "Transformers in vision: A survey," arXiv preprint arXiv:2101.01169, 2021.