У нас вы можете посмотреть бесплатно [Paper Review] Spurious Forgetting in Continual Learning of Language Models или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
발표자: 서울대학교 산업공학과 박사과정 임 훈 메일: hun_im@snu.ac.kr 1. 논문 제목: Spurious Forgetting in Continual Learning of Language Models (ICLR 2025) https://arxiv.org/pdf/2501.13453 인용수 : 16회 논문 내용 요약 최근 LLM의 Continual Learning 연구에서, 기존의 파국적 망각 현상만으로는 설명하기 어려운 문제들이 관찰됨. 기존의 망각 이론은 이러한 급격한 성능 저하를 '학습된 지식의 손실'로 간주해옴. 그러나 본 논문에서는 이에 대해 이의를 제기하며, 새로운 개념인 가짜 망각(spurious forgetting)을 정의하며, 원인을 명확하게 규명함. Spurious forgetting은 '근본 지식의 손실'이 아니라 특정 과업에 지식을 적용하는 능력 '과업 정렬의 손실' 때문임을 주장함 'Task 정렬'에서 핵심적인 역할을 하는 모델의 하위 레이어들을 학습 과정에서 동결시켜, 새로운 과업을 학습하면서도 기존의 정렬 상태를 유지하도록 하는 간단한 해결책 제시