Когда векторы ломаются: RAG на основе графов для насыщенных корпоративных знаний — Сэм Жюльен, пи... скачать в хорошем качестве

Когда векторы ломаются: RAG на основе графов для насыщенных корпоративных знаний — Сэм Жюльен, пи...

Корпоративные базы знаний заполнены «плотным отображением» — тысячами документов, в которых часто встречаются похожие термины, что приводит к тому, что традиционный векторный поиск возвращает неверную версию или нерелевантную информацию. Когда наши клиенты постоянно упирались в эту стену со своими системами RAG, мы поняли, что нам нужен принципиально новый подход. В этом докладе я расскажу о том, как Writer разработал графовую архитектуру RAG, которая достигла точности 86,31% в тесте RobustQA, сохранив при этом время отклика менее секунды, что значительно превосходит показатели векторных подходов. Я рассмотрю ключевые методы, лежащие в основе этого скачка производительности, и расскажу о том, почему графовые подходы превосходят сложные корпоративные информационные структуры, такие как документация по продуктам, финансовые документы и технические спецификации, которые бросают вызов традиционным системам RAG. Вы узнаете об использовании специализированных LLM для построения семантических связей, о том, как методы сжатия эффективно обрабатывают концентрированные шаблоны корпоративных данных, и о том, как добавление ключевых точек данных в слой памяти LLM снижает уровень галлюцинаций. В презентации будут представлены практические рекомендации по определению целесообразности применения графовых подходов для решения конкретных задач вашей организации в области данных, что поможет вам принимать обоснованные архитектурные решения для вашей следующей корпоративной системы RAG. О Сэме Жюльене Сэм Жюльен — директор по работе с разработчиками в компании Writer. Он с энтузиазмом помогает инженерам повышать эффективность своей работы и развивать карьеру. Он любит проводить время с семьей на природе в Тихоокеанском Северо-Западе. Другие работы Сэма можно найти на сайте samjulien.com. Запись сделана на Всемирной выставке AI Engineer в Сан-Франциско. Будьте в курсе наших предстоящих мероприятий и материалов, подписавшись на нашу рассылку: https://www.ai.engineer/newsletter