ABC LLMOps — что нужно для запуска собственных LLM-программ скачать в хорошем качестве

ABC LLMOps — что нужно для запуска собственных LLM-программ

LLM и генеративный ИИ повсюду, но внедрение их в эксплуатацию — это совсем другая история. Большинство моделей так и остаются в исследовательских блокнотах, и многие компании всё ещё разбираются с эксплуатационной стороной вопроса. В этом докладе на *Rootconf Mini 2024* *Джайдип Ханделвал из One2N* делится практическим опытом в *LLMOps* — искусстве и науке запуска больших языковых моделей в реальных условиях. Вы узнаете: *Из первых принципов:* Как понять предметную область, её эксплуатационные аспекты и создать руководства для локальных LLM. *Запуск моделей в эксплуатации:* Развёртывание моделей на графических процессорах, управление кластерами Kubernetes и работа с векторными базами данных для встраивания. *Создание приложений RAG:* От фиктивных экспериментов до внутренних приложений, таких как фильтр резюме, попутно изучая Langchain, LlamaIndex и QDrant. *Аналитика затрат и инфраструктуры:* Как выбрать между публичным облаком и локальным оборудованием для вашей системы LLM. *Перспектива SRE и DevOps:* Практические советы, выходящие за рамки разработки и помогающие вам надежно запускать модели ИИ в больших масштабах. Независимо от того, являетесь ли вы инженером, SRE или специалистом по DevOps, этот доклад даст вам практические знания о быстро развивающемся мире LLMOps — как экспериментировать, проводить итерации и запускать модели в эксплуатацию, не теряя рассудок. Ознакомьтесь с мероприятиями и материалами Rootconf на hasgeek.com/rootconf