Автоматизированное тестирование агентов с использованием синтетических наборов данных | Экспериме... скачать в хорошем качестве

Автоматизированное тестирование агентов с использованием синтетических наборов данных | Экспериме...

Узнайте, как систематически тестировать агентов ИИ, используя платформу наборов данных и экспериментов Galileo. В этой демонстрации показано, как генерировать синтетические тестовые данные, проводить контролируемые эксперименты и выявлять регрессии до внедрения в производство — со встроенной интеграцией CI/CD для автоматизированных проверок качества. В этой демонстрации наш инженер по работе с клиентами, Эл Чен, расскажет вам о: Создании синтетических наборов данных с 6 профилями поведения пользователей Автоматической генерации 50 тестовых случаев из примеров с небольшим количеством примеров Проведении систематических экспериментов с использованием стандартных метрик Фильтрации и анализе результатов для выявления закономерностей сбоев Интеграции экспериментов в конвейеры CI/CD Сравнении экспериментов на разных наборах данных и конфигурациях Создано для агентов по обслуживанию клиентов, помогающих устранять неполадки в бытовой технике. Демонстрирует, как команды могут проводить стресс-тестирование приложений на токсичных входных данных, запросах не по теме и граничных случаях до развертывания в производстве. 🔗 Попробуйте Galileo: https://app.galileo.ai/sign-up?utm_me... 📚 Документация: https://v2docs.galileo.ai/ Идеально подходит для команд разработчиков ИИ, создающих агентов для производственной среды, которым требуется всестороннее тестирование без ручного создания тестовых сценариев. 0:00 - Систематические эксперименты для тестирования агентов 0:30 - Выявление ошибок и регрессий до начала производства 1:00 - Интеграция конвейера CI/CD с контрольными точками качества 1:30 - Пример использования: агент «Техник по обслуживанию на местах» 2:00 - Создание синтетических наборов данных в консоли 2:30 - Функция автоматической генерации тестовых наборов данных 3:00 - Настройка профилей поведения пользователей 3:30 - Генерация 50 различных тестовых случаев 4:00 - Настройка системных подсказок для агентов 4:30 - Запуск первого эксперимента со встроенными метриками 5:00 - Результаты эксперимента в консоли 5:30 - Анализ входных метрик токсичности 6:00 - Сравнение результатов нескольких экспериментов