SLM-ы уничтожают гигантов: почему GPT-4 — избыточное решение для агентов | Легаре Керрисон | Red Hat скачать в хорошем качестве

SLM-ы уничтожают гигантов: почему GPT-4 — избыточное решение для агентов | Легаре Керрисон | Red Hat

Прекратите переплачивать за огромные LLM-модели — это самый быстрый способ снизить производительность инференции и превысить бюджет на инфраструктуру ⛔️ Узнайте, как уменьшить размеры моделей без потери «интеллекта» и почему 8 миллиардов моделей — это будущее производственного ИИ. Стандартные модели «один размер для всех» не обеспечивают баланс между задержкой и точностью в сложных средах. В этом подробном техническом обзоре Легаре Керрисон (Red Hat) раскрывает инженерную основу для квантования и построения высокопроизводительных, специализированных агентных конвейеров 💫 Что внутри для старших инженеров: ✅ Сжатие моделей (с FP16 на INT4): математика квантования — как сохранить 99% точности, удвоив скорость инференции. ✅ Производственная инференция с vLLM: проектирование стеков с низкой задержкой с использованием движков с открытым исходным кодом и SafeTensors. ✅ Суверенитет данных и локальные SLM: выход за рамки облачных конечных точек — запуск 8 миллиардов моделей локально для полной конфиденциальности и контроля над инфраструктурой. ✅ Агентная парадигма: почему объединение специализированных «малых» моделей превосходит отдельные гигантские LLM в сложных многоэтапных рабочих процессах. 🔥 Легаре Керрисон — разработчик-евангелист в Red Hat и выпускница факультета компьютерных наук Университета Клемсона. Она специализируется на технической архитектуре LLM, оптимизации моделей с помощью квантования и разработке эффективных, специализированных агентов ИИ для производственных сред. 👉 Свяжитесь с Легаре: 🔗   / legare-kerrison   👉 Узнайте больше о Red Hat: 🔗 https://www.redhat.com/en/technologie... 📌 Перейдите по ссылке, чтобы посмотреть полную версию доклада и получить доступ ко всем записям AI Coding Summit: 🔗 https://gitnation.com/events/ai-codin... 🕐 Временные метки: 00:00 - Расцвет SLM: технический обзор малых моделей 00:38 - Предварительное обучение данных: как Common Crawl обеспечивает работу современного ИИ 01:08 - Гигиена данных: фильтрация персональных данных, дубликатов и «плохих результатов» 02:07 - Основы токенизации: преобразование человеческого языка в двоичные символы 03:05 - Внутри нейронной сети: веса, параметры и снижение потерь 03:47 - Пространство векторного встраивания: визуализация многомерной логики 04:33 - Вывод в производство: развертывание моделей с помощью vLLM Engine 05:21 - Парадокс развертывания: баланс задержки, точности и стоимости 06:23 - Определение «малых моделей»: оптимальные параметры для локальной разработки 06:42 - Подробный анализ квантизации: уменьшение моделей без потери точности 07:45 - Тесты производительности: скорость вывода FP16 против скорости сжатого вывода 08:40 - Локальный суверенитет: конфиденциальность данных и управление стеком в локальной сети 09:27 - Разработка агентных рабочих процессов: объединение SLM для конкретных задач 10:12 - Инструментарий инженера: Red Hat AI Repos, GuideLLM и бенчмаркинг ✍️ Этот доклад был частью AI Coding Summit 2026: Когда меньше значит больше: технический обзор LLM и преимущества небольших моделей | Легаре Керрисон 🔗 https://aicodingsummit.com/?utm_sourc... 📌 Мы спрятали секретный код на скидку 20% на ваше следующее мероприятие. Присоединяйтесь к нашим предстоящим конференциям! 💫 JSNation 2026, 11 июня 2026 г. (Амстердам) 🔗https://jsnation.com/?utm_source=yout... 💫 React Summit, 12 июня 2026 г. (Амстердам) https://reactsummit.com/?utm_source=y... 💫 TechLeadConf, 11 июня 2026 г. (Амстердам) https://techleadconf.com/?utm_source=... 💫 Node Congress, 26 и 27 марта 2026 г. (онлайн) https://nodecongress.com/?utm_source=... и Ещё больше! 🚀 Ознакомьтесь со всеми предстоящими событиями GitNation: 🔗 https://gitnation.com/events?utm_sour... Не забудьте использовать промокод INSIDER20 для получения скидки 20% на билеты. #GitNation #AICodingSummit2026 #LLM #SLM #Quantization #vLLM #AIAgents #Inference #MLOps #ModelOptimization #FinOps #ProductionAI #SafeTensors #HuggingFace #DataPrivacy #OnPremAI #AIArchitecture #CostOptimization #RedHat #RedHatAI #OpenSource #GitNation #TechTalk #SoftwareEngineering #GenerativeAI