#289 скачать в хорошем качестве

#289

Несмотря на впечатляющую способность генерировать высококачественный и плавный текст, генеративные большие языковые модели (LLM) также порождают галлюцинации: утверждения, не соответствующие устоявшимся знаниям об окружающем мире или предоставленному входному контексту. Измерение галлюцинаций может быть сложной задачей, поскольку верификация моделей людьми на лету требует больших затрат и времени. В данной работе авторы представляют HALoGEN, комплексный бенчмарк для галлюцинаций, состоящий из: (1) 10 923 подсказок для генеративных моделей, охватывающих девять предметных областей, включая программирование, научную атрибуцию и реферирование, и (2) автоматических высокоточных верификаторов для каждого варианта использования, которые разлагают поколения LLM на атомарные единицы и проверяют каждую единицу на основе высококачественного источника знаний. Эта платформа используется для оценки примерно 150 000 генераций из 14 языковых моделей, показывая, что даже самые эффективные модели полны галлюцинаций — иногда до 86% сгенерированных атомарных фактов в зависимости от предметной области. Авторы далее определяют новую классификацию ошибок для галлюцинаций LLM, основанную на том, являются ли они следствием неверного запоминания обучающих данных (ошибки типа A), неверного понимания обучающих данных (ошибки типа B) или фальсификации (ошибки типа C). Цель данной структуры – заложить основу для принципиального исследования причин галлюцинаций генеративных моделей и способствовать разработке надежных больших языковых моделей. В этом видео я расскажу о следующем: Что содержит бенчмарк HALoGEN? Какие задачи, основанные на отклике, содержит бенчмарк HALoGEN? Как различные LLM выполняют тест HALoGEN? Почему у моделей возникают галлюцинации? Подробнее см. по ссылке https://arxiv.org/pdf/2501.08292 Равичандер, Абхилаша, Шрусти Гела, Дэвид Уодден и Йеджин Чой. «Галоген: Фантастические галлюцинации генеративных моделей и где их найти». Препринт arXiv arXiv:2501.08292 (2025). Спасибо за просмотр! LinkedIn: http://aka.ms/manishgupta Домашняя страница: https://sites.google.com/view/manishg/