Практика по оценке качества и надежности агента — Мичил Егоров скачать в хорошем качестве

Практика по оценке качества и надежности агента — Мичил Егоров

▪️ Полезно про AI в нашем Telegram-канале: http://t.me/aitalenthubnews ▪️ Магистратура AI Talent Hub: https://ai.itmo.ru/?utm_source=youtub... Спикер: Мичил Егоров — Team Lead разработки продуктивизации ИИ, X5 Tech, выпускник AI Talent Hub. Тайм-коды: 00:03 Введение 01:37 Запуск агента 03:08 Анализ проблемы 05:51 Важность безопасности и мониторинга 06:14 Подключение LAZ 08:44 Настройка LAZ 12:33 Интеграция с агентом 16:47 Группировка трейсов 19:56 Микросервисная архитектура и идентификация 21:28 Работа с SSAF 23:15 Анализ сессий и трейсов 25:46 Проблемы с интеграцией и оптимизация 28:49 Тестирование агентов 29:26 Разработка теста 30:06 Введение в тестирование 31:04 Возможности DeepVal 32:02 Структура теста в DeepVal 33:00 Агентские метрики 34:53 Проблемы с детерминированностью ответов 35:50 Преимущества тестирования 38:14 Оценка вызова тулов 41:03 Пример теста 42:00 Обсуждение эксперта аутпута 43:13 Проблемы с песочницами и оценкой заданий 45:11 Создание тест-кейса 47:12 Запуск тестов и анализ результатов 50:17 Попытки улучшения агента 53:39 Перефразирование задачи 01:01:10 Анализ содержимого файла 01:02:53 Проблемы с корнер-кейсами 01:04:15 Преимущества тестов 01:05:10 Анализ ошибок тестов 01:07:18 Использование костылей и резонов 01:11:22 Настройка тестов 01:13:54 Разработка в датасайнс 01:14:38 Адаптация тестов под изменения кода 01:15:20 Создание временного файла для тестов 01:17:07 Анализ кода и исправление багов 01:18:29 Запуск теста и анализ результатов 01:20:03 Оценка метрик 01:21:57 Рекомендации по использованию инструментов 01:22:54 Значение тестов в итерациях 01:24:14 Дополнительные рекомендации 01:25:47 Завершение