GPT를 BERT로 만든다고? Masked Diffusion LM의 반전 성능 скачать в хорошем качестве

GPT를 BERT로 만든다고? Masked Diffusion LM의 반전 성능

안녕하세요 딥러닝 논문읽기 모임 입니다! 오늘 소개드릴 논문은 “Simple and Effective Masked Diffusion Language Models (MDLM)” (NeurIPS 2024, Cornell Tech)입니다. 이 논문은 “디퓨전 언어 모델(Diffusion LM)”이 기존 오토리그레시브(Autoregressive, AR) 모델보다 성능이 떨어진다는 인식을 뒤집고, 간단하면서도 효과적인 개선법을 통해 BERT처럼 학습하면서 GPT처럼 생성 가능한 모델을 제안합니다. 기존 언어 생성 모델은 크게 두 가지 계열이 있습니다. 1.Autoregressive (AR) — GPT 계열처럼 문장을 왼쪽에서 오른쪽으로 순서대로 생성 (e.g., “오늘 → 날씨 → 는 …”) 2.Diffusion-based (확산 모델) — 이미지를 점점 복원하듯, “노이즈가 낀 문장”을 점차 복원해 텍스트를 생성 문제는, 디퓨전 모델이 텍스트에선 항상 AR보다 훨씬 성능이 낮았다는 점이었습니다. 하지만 이 논문은 “사실 간단한 마스킹(masked) 기반의 디퓨전 모델도 잘만 구현하면 AR에 거의 근접할 수 있다”는 걸 보여줍니다 논문 리뷰를 위해 정현석님 께서 자세한 리뷰 도와주셨습니다 !