У нас вы можете посмотреть бесплатно Дэниел Канг - Тесты производительности ИИ-агентов не работают [Семинар по выравниванию] или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
Дэниел Канг (UIUC) выявляет критические недостатки в тестах производительности ИИ-агентов, которые систематически искажают возможности моделей. Его исследование показывает, что агент, ничего не делающий, превосходит o3-mini на TAU-bench, 31% ядер Sakana AI, оцененных Kernel-Bench как правильные, на самом деле ошибочны, а исправление ошибок в SWE-bench Verified меняет 24% рейтингов. Даже передовые лаборатории и компании с миллиардными оборотами упускают из виду эти ошибки, которые теперь влияют на принятие важных политических решений. Канг предлагает практический контрольный список для выявления и предотвращения сбоев в тестах производительности. Примечание: Мнения, высказанные на этом мероприятии, принадлежат докладчику(ам) и могут не отражать взгляды FAR.AI или аффилированных с ними организаций.