Как инженеры ИИ улучшают агентные продукты скачать в хорошем качестве

Как инженеры ИИ улучшают агентные продукты

С Brilliant каждый может стать любителем математики и естественных наук! Зайдите на сайт https://brilliant.org/AdamLucek/, чтобы начать обучение и получить скидку 20% на годовую премиум-подписку. Ресурсы: Обсуждаемый контент - https://lucek.ai/blogs/llm-evaluations Оценщик - https://github.com/ALucek/evaluizer Часто задаваемые вопросы об оценке LLM - https://hamel.dev/blog/posts/evals-faq/ Краткие размышления о разработке ИИ и «проваленных проектах ИИ» https://www.sh-reya.com/blog/ai-engin... Оценка продукта в три простых шага - https://eugeneyan.com/writing/product... Судья LLM не спасёт продукт — поможет исправление процесса https://eugeneyan.com/writing/eval-pr... Руководство по быстрому улучшению продуктов ИИ - https://hamel.dev/blog/posts/field-gu... Кто проверяет валидатора - https://arxiv.org/pdf/2404.12272 Главы: 00:00 — Почему нам нужно совершенствоваться? 05:20 — Великолепно! 07:13 — Продолжение контекста 09:10 — Что такое оценки LLM? 12:11 — Обратная связь 13:48 — Создание начального набора обратной связи 16:15 — Аннотация, часть 1 19:56 — Анализ ошибок 26:14 — LLM-As-AJudge (магистр права как судья) 27:44 — Подводные камни для LLM-судьи 29:46 — Согласование LLM-судьи 33:11 — Оценка функций 36:10 — Платформы для наблюдения 39:09 — Преимущества 40:21 — Преимущество: алгоритмическая оптимизация 42:37 — Преимущество: обучение с подкреплением 44:28 — Контрольный список на будущее 47:10 — Стоит ли оно того? Это видео спонсируется Brilliant #ai #coding #datascience