[Paper Review]Why Normalizing Flows Fail to Detect Out-of-Distribution data скачать в хорошем качестве

[Paper Review]Why Normalizing Flows Fail to Detect Out-of-Distribution data

1. Topic Out of Distribution detection using Normalizing Flow(Bijector) 2. Overview Normalizing Flow는 직접적으로 모델의 입력 데이터에 대한 likelihood를 계산해낼 수 있다는 점에서 ‘tractable’하다. 이러한 특징은 normalizing flow 모델의 활용가능성을 넓힐 수 있는 매력적인 포인트이다. 하지만, 그럼에도 불구하고 Out of Distribution Detection 과제에서는 좋은 성능을 보이지 못하고 있다. 오늘 세미나는 Normalizing Flow 모델이 왜 Out of Distribution detection 과제에서 좋은 성능을 보이지 못하는 지에 대해 심층적으로 함께 살펴보고자 한다. 오늘 다루게 되는 논문은 총 2개이다. [1] DO DEEP GENERATIVE MODELS KNOW WHAT THEY DON’T KNOW? (ICLR, 2019) https://arxiv.org/abs/1810.09136 본 논문에서는 문제의 원인이 데이터 자체의 기초 통계량(분산)임을 제시한다. Normalizing Flow의 목적함수 자체에 내재한 Volume Term(Determinant of Jacobian)이 문제의 원인으로 쉽게 생각될 수 있고, 또 그렇게 고려될 수 있는 실험 결과가 있음을 보여준다. 하지만 연구진은 이에 그치지 않고, 보다 심층적으로 들어가 문제의 원인은 Volume term이 아닌 데이터 자체의 분산임을 지적한다. [2] Why Normalizing Flows Fail to Detect Out-of-Distribution Data (NeurIPS, 2020) https://arxiv.org/abs/2006.08545 본 논문에서는 [1]에서 보여준 문제(OoD에 대해 높은 likelihood 산출)의 원인을 다른 시각에서 제시한다. Normalizing Flow 모델 자체가 학습하는 Inductive bias가 문제의 주된 원인이라고 지적한다. [1]은 데이터를 원인으로 지적한 반면, [2]는 모델을 문제의 원인으로 지적한 것이다. 본 연구는 normalizing flow가 변환 해가는 latent representation을 시각화해 보여주며, 주장의 근거를 마련한다. 그리고 이를 개선하는 방법을 탐색해 성능을 개선하는 성과를 보여준다. 3. 발표자료 https://drive.google.com/file/d/1ocg3...