Databricks GenAI Engineer: Migrar tu RAG a un LLM Más Pequeño y Reducir Tokens sin Perder Precisión скачать в хорошем качестве

Databricks GenAI Engineer: Migrar tu RAG a un LLM Más Pequeño y Reducir Tokens sin Perder Precisión

Cuando cambias el modelo LLM de tu sistema RAG, uno de los problemas más comunes aparece inmediatamente: el nuevo modelo tiene un context window más pequeño. Esto ocurre mucho cuando migras de modelos comerciales grandes a modelos self-hosted, o cuando pasas tu solución a entornos con menos recursos (GPU o memoria). El resultado suele ser el mismo: tu pipeline empieza a exceder el límite de tokens, el retrieval deja de funcionar correctamente o las respuestas pierden calidad. En este video vamos a resolver ese problema paso a paso. Vas a aprender cómo adaptar tu arquitectura de RAG cuando cambias de modelo LLM, asegurando que el nuevo modelo pueda trabajar con menos tokens sin romper la lógica de recuperación de información. En particular veremos: • Qué ocurre cuando reduces el context window de un LLM en un sistema RAG • Cómo ajustar el chunk size de los documentos embebidos • Cómo reducir correctamente el número de registros recuperados del vector database • Cómo mantener la calidad del contexto aunque el modelo tenga menos capacidad • Estrategias para migrar de modelos comerciales a modelos self-hosted • Cómo optimizar tu pipeline para entornos con recursos limitados También discutiremos un principio clave en arquitectura de GenAI: Un cambio de LLM casi siempre implica cambiar también tu estrategia de retrieval. Si no ajustas el tamaño de los chunks, el número de documentos recuperados y la estructura del prompt, tu sistema RAG puede degradarse rápidamente. Este tipo de optimización es fundamental cuando estás construyendo: • Sistemas RAG empresariales • Chatbots internos con bases documentales grandes • Arquitecturas GenAI en Databricks • Aplicaciones que migran de APIs comerciales a modelos open-source • Plataformas de IA que necesitan reducir costos de inferencia Si trabajas con LLMs, RAG, embeddings y arquitecturas GenAI productivas, este video te va a mostrar cómo mantener la calidad del sistema incluso cuando reduces el tamaño del modelo. Nos vemos dentro. #Databricks #GenAI #RAG #LLM #AIArchitecture #DataEngineering #VectorSearch #PromptEngineering #SemanticSearch #MachineLearning #ArtificialIntelligence #MLOps #EnterpriseAI #Chatbots #BigData