Скачать с ютуб [Open DMQA Seminar] Unsupervised Domain Adaptation with Self Training в хорошем качестве

[Open DMQA Seminar] Unsupervised Domain Adaptation with Self Training

Unsupervised domain adaptation (UDA)은 labeled source domain과 unlabeled target domain 간의 분포 차이를 극복하고자 하는 연구 분야로, source domain의 정보를 학습한 모델이 분포가 다른 target domain에서도 우수한 예측 성능을 낼 수 있도록 하는 것을 목표로 한다. 이때, 최근에는 준지도학습에서 제안된 self-training (a.k.a pseudo-labeling) 기법을 이용하여 점진적으로 target domain에 모델을 적응시키는 방법론들이 제안되고 있다. 그러나 도메인 간 차이로 인하여 신뢰할 수 있는 target pseudo-labels에 대한 선별이 어렵고, 분포가 달라 부정확한 예측 값이 생성될 가능성이 높은 문제가 있다. 이처럼 잘못된 pseudo-labels로 인하여 오류가 누적될 경우, target domain에 대한 모델 학습 및 예측 정확도가 저하되는 문제를 해결하고자 다양한 선행연구가 제안되어왔다. 본 세미나에서는 self-training 기반 UDA 연구의 최근 동향을 살펴보고, 신뢰성 높은 pseudo-labels 생성을 위한 다양한 기법들을 소개하고자 한다. 참고자료: [1] Prabhu, V., Khare, S., Kartik, D., & Hoffman, J. (2021). Sentry: Selective entropy optimization via committee consistency for unsupervised domain adaptation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 8558-8567). [2] Liu, H., Wang, J., & Long, M. (2021). Cycle self-training for domain adaptation. Advances in Neural Information Processing Systems, 34, 22968-22981. [3] Yue, Z., Sun, Q., & Zhang, H. (2023). Make the u in uda matter: Invariant consistency learning for unsupervised domain adaptation. Advances in Neural Information Processing Systems, 36, 26991-27004. [4] Zou, Y., Yu, Z., Liu, X., Kumar, B. V. K., & Wang, J. (2019). Confidence regularized self-training. In Proceedings of the IEEE/CVF international conference on computer vision (pp. 5982-5991). [5] Menon, A. K., Rawat, A. S., & Kumar, S. (2020). Overparameterisation and worst-case generalisation: friend or foe?. In International Conference on Learning Representations