За пределами золотого стандарта: оценка и доверие к агентам в реальных условиях // Санджана Шарма скачать в хорошем качестве

За пределами золотого стандарта: оценка и доверие к агентам в реальных условиях // Санджана Шарма

3 марта, конференция по разработке агентов в Музее истории компьютеров. Присоединяйтесь к нам, пока еще есть билеты! https://luma.com/codingagents Спасибо @ProsusGroup за сотрудничество в организации виртуальной конференции Agents in Production 2025. Аннотация // Создание агентов — это легко; доверие к ним в производственной среде — сложно. Тесты точности и эталонные наборы данных помогают лишь до определенного предела — после развертывания агенты сталкиваются с неоднозначными данными, граничными случаями и рабочими процессами, которых нет в четких тестах. В этом докладе я поделюсь техническими уроками, полученными при развертывании агентов в условиях высокой ответственности, где надежность так же важна, как и инновации. Начиная с эталонных наборов данных, я покажу, как мы использовали структурированную обратную связь от экспертов в предметной области для создания «живой эталонной базы», ​​которая развивается вместе с системой. Используя примеры из сферы здравоохранения — например, проверку клинических дат и количества койко-мест, где 80% точности недостаточно — я продемонстрирую методы аудита, измерения и повышения надежности агентов. Полученные выводы применимы не только в здравоохранении: будь то электронная коммерция, обнаружение мошенничества или логистика, ключевая задача остается той же — как узнать, готов ли ваш агент к работе, и как сохранить его надежность после запуска? Биография // Увлечен разработкой ИИ, который служит людям, развивает предприятия и учит ИИ понимать ИИ. A Prosus | MLOps Community Production