What Makes a Good Query? скачать в хорошем качестве

What Makes a Good Query?

What Makes a Good Query? Measuring the Impact of Human-Confusing Linguistic Features on LLM Performance Что делает запрос хорошим? Измерение влияния лингвистических особенностей, сбивающих с толку человека, на производительность LLM Данное исследование изучает галлюцинации больших языковых моделей (LLM), утверждая, что лингвистическая форма запроса, а не только дефекты модели, значительно влияет на надежность ответа. Опираясь на классическую лингвистику, исследование операционализирует это путем создания 17-мерного вектора признаков запроса, охватывающего такие аспекты, как сложность предложения, лексическая редкость, анафора, отрицание и обоснованность намерения, которые, как известно, влияют на человеческое понимание. Анализируя 369 837 реальных запросов, авторы стремились определить конкретные характеристики запросов, увеличивающие вероятность галлюцинаций. Была выявлена последовательная «карта рисков», показывающая, что такие особенности, как глубокая вложенность предложений и недостаточная спецификация, коррелируют с более высокой склонностью к галлюцинациям. И наоборот, четкое обоснование намерения и отвечаемость были связаны с более низкими показателями галлюцинаций. Интересно, что некоторые лингвистические особенности, традиционно известные своей способностью сбивать с толку читателей-людей, такие как редкость слов и сложное отрицание, показали минимальную связь с галлюцинациями в LLM, что указывает на различные режимы отказа. Эти выводы устанавливают эмпирически наблюдаемое представление признаков запроса, коррелирующее с риском галлюцинаций, что закладывает основу для целенаправленного переписывания запросов. В статье предлагается проактивный подход к снижению галлюцинаций путем оптимизации запросов до генерации, а не путем полагания на последующую проверку. #LLM #Галлюцинации #АнализЗапросов #Лингвистика #ИИИсследования #НЛП #ПромптИнжиниринг #ОценкаРисков #МашинноеОбучение Поддержка: https://boosty.to/krastykovyaz документ - https://arxiv.org/pdf/2602.20300v1 подписаться - https://t.me/arxivpaperu создано с помощью NotebookLM