Цепочка мыслей | Представляем SWE-Bench Pro скачать в хорошем качестве

Цепочка мыслей | Представляем SWE-Bench Pro

Представляем SWE-Bench Pro. В этом выпуске Chain of Thought Брэд Кенслер (руководитель отдела возможностей и сред агентов) и Четан Рэйн (руководитель отдела продуктов, агентов) из @Scale_AI беседуют с Эдвином Пэном (менеджером по продукту) и Джеффом Да (исследователем машинного обучения), чтобы подробно рассмотреть новейший бенчмарк Scale — SWE-Bench Pro. SWE-Bench Pro — это бенчмарк, предназначенный для строгой и реалистичной оценки агентов ИИ в сфере разработки программного обеспечения. Он был разработан для устранения ряда ограничений существующих бенчмарков, решая четыре ключевые проблемы: загрязнение данных, ограниченное разнообразие задач, чрезмерное упрощение задач и ненадежное и невоспроизводимое тестирование. SWE-Bench Pro устраняет эти пробелы, используя для решения задач разнообразные и сложные кодовые базы, включая потребительские приложения, B2B-сервисы и инструменты разработки. Для снижения риска заражения общедоступные и защищенные подмножества программного обеспечения с открытым исходным кодом используют лицензии с строгим авторским правом (например, GPL). Коммерческое подмножество состоит из частных, проприетарных кодовых баз от стартап-партнеров. Темы: 0:00 Введение 0:50 Принцип работы агентов кодирования 4:58 О формировании шаблонов агентов кодирования и данных 7:02 Тонкая настройка агентов кодирования 8:56 Причины роста популярности агентов кодирования 12:31 Примеры использования агентов кодирования 17:05 Оценка агентов кодирования 18:50 Общее кодирование против агентского кодирования 23:40 Производительность агентов в SWE-Bench 28:55 Знакомство с SWE-Bench Pro 35:20 Репозитории и среды в SWE-Bench Pro 40:24 Как мы создали SWE-Bench Pro 47:26 Анализ преодоления видов сбоев 50:16 Будущее агентов кодирования Ознакомьтесь с SWE-Bench Pro здесь: https://bit.ly/43emrbi