Нужны ли ИИ по-прежнему выпуклые направляющие? скачать в хорошем качестве

Нужны ли ИИ по-прежнему выпуклые направляющие?

В этом видео подробно разбирается, как Convex оценивает большие языковые модели на реальном коде Convex и нужно ли по-прежнему выпускать около 6000 токенов вручную созданных рекомендаций ИИ. Рассматривается фреймворк оценок Convex, как тестируется одноразовая генерация кода с помощью проверок TypeScript и модульных тестов, и почему строгие схемы и именование важны для надежной оценки. В обсуждении сравнивается производительность моделей с рекомендациями и без них, анализируется вариативность результатов от запуска к запуску и показывается, почему новые модели показывают лучшие результаты по мере появления большего количества кода Convex в общедоступных обучающих данных. Также рассматриваются слабые места, такие как действия Convex, визуализация ошибок оценки и почему агентные рабочие процессы могут опровергать старые предположения об оценке. Наконец, видео рассматривает альтернативные подходы: уменьшение размера рекомендаций, рассуждения, основанные на поиске, индексы документации и оценки на основе агентов, вдохновленные работами Vercel. Это видео предназначено для разработчиков, создающих инструменты с поддержкой ИИ, авторов фреймворков и всех, кто разрабатывает оценки для систем генерации кода. Временные метки [00:00] Почему Convex по умолчанию включает в себя рекомендации по ИИ [00:58] Обзор проекта Convex evals [01:17] Категории и структура оценки [01:30] Пример оценки: поисковый запрос по тексту [02:47] Конвейер генерации и оценки однократных результатов [03:25] Модульные тесты, схемы и строгая типизация [03:56] Как используются рекомендации в оценках [04:20] Ежедневное проведение оценок моделей [04:28] Таблица лидеров и вариативность результатов от запуска к запуску [05:23] Создание визуализатора результатов [06:01] Идея: добавление агента для анализа ошибок [06:21] Почему новые модели показывают лучшие результаты на Convex [06:53] Вопрос о необходимости рекомендаций с 6000 токенами [07:10] Проведение оценок без рекомендаций [07:20] Результаты: различия в производительности по моделям [08:01] Погрешности и ограничения, связанные с ограниченностью данных [08:35] Следует ли Convex продолжать следовать рекомендациям по выпуску продукции? [09:36] Низкая производительность модели при выполнении действий [10:07] Уменьшение размера рекомендаций вместо их удаления [10:33] Идея самосовершенствующихся рекомендаций, управляемых агентами [11:18] Ограничения одноразовых оценок в 2025 году [11:54] Агентные оценки с инструментами и поиском [12:45] Уроки исследования Vercel в области оценок [13:55] Выводы и дальнейшие эксперименты Ресурсы Репозиторий Convex evals: https://github.com/get-convex/convex-... Хэштеги #convex #ai #llm #codegeneration #typescript #evals #developerexperience #agenticai #fullstack #infrastructure