LLM Chronicles #6.7: Проверка достоверности для конвейеров RAG (gpt4o-mini, Llama-index, RAGAS, A... скачать в хорошем качестве

LLM Chronicles #6.7: Проверка достоверности для конвейеров RAG (gpt4o-mini, Llama-index, RAGAS, A...

В этой лабораторной работе мы рассмотрим, как определить достоверность или обоснованность ответов LLM в конвейере RAG, чтобы убедиться в их соответствии заданному контексту. Мы рассмотрим, как это сделать с помощью LLM-судьи (gpt4o-mini, Lynx), и как с этим справляются такие фреймворки, как Llama-index и Ragas. Мы также рассмотрим API обоснованности в Azure AI Content Safety и завершим сравнением различных решений в MiniHaluBench, небольшом наборе данных, созданном на основе HaluBench. 🖹 Лабораторная тетрадь: https://colab.research.google.com/dri... 🕤 Временные метки: 00:00 — Введение 02:54 — Обзор конвейера RAG 05:30 — Использование LLM-as-judge для проверки верности ответов 10:30 — Использование Lynx для обнаружения галлюцинаций 11:33 — Оценка верности Llama-Index 15:27 — Оценка верности RAGAS 24:47 — Проверка обоснованности Azure 28:39 — HaluBench — Набор данных для оценки галлюцинаций 30:51 — Скрипты для запуска оценок 33:06 — Результаты оценки и сравнение Ссылка: https://huggingface.co/PatronusAI/Lla... https://docs.llamaindex.ai/en/stable/... https://docs.ragas.io/en/latest/conce... https://learn.microsoft.com/en-us/azu... https://huggingface.co/datasets/Patro...