[Charla de 1 hora] Introducción a los Modelos de Lenguaje de Gran Escala (LLM) por Andrej Karpathy скачать в хорошем качестве

[Charla de 1 hora] Introducción a los Modelos de Lenguaje de Gran Escala (LLM) por Andrej Karpathy

Esta es una introducción de una hora para un público general sobre los Modelos de Lenguaje de Gran Escala: el componente técnico central detrás de sistemas como ChatGPT, Claude y Bard. Se trata de qué son, hacia dónde se dirigen, comparaciones y analogías con los sistemas operativos actuales, y algunos de los desafíos relacionados con la seguridad de este nuevo paradigma informático. A fecha de noviembre de 2023 (¡este campo avanza rápido!). Contexto: Este video está basado en las diapositivas de una charla que di recientemente en la Cumbre de Seguridad de IA. La charla no fue grabada, pero muchas personas vinieron a decirme después que les gustó. Dado que ya había dedicado un largo fin de semana a hacer las diapositivas, decidí ajustarlas un poco, grabar esta segunda ronda de la charla y subirla aquí en YouTube. Perdón por el fondo aleatorio, esa es mi habitación de hotel durante el descanso de Acción de Gracias. Diapositivas como PDF: Diapositivas como Keynote: Algunas cosas que desearía haber dicho (añadiré elementos aquí a medida que surjan): Los sueños y alucinaciones no se solucionan con el afinado. El afinado solo "dirige" los sueños hacia "sueños de asistente útil". Siempre ten cuidado con lo que te dicen los LLM, especialmente si te están diciendo algo solo desde la memoria. Dicho esto, similar a un humano, si el LLM utilizó navegación o recuperación y la respuesta entró en la "memoria de trabajo" de su ventana de contexto, puedes confiar un poco más en el LLM para procesar esa información en la respuesta final. Pero en resumen por ahora, no confíes en lo que dicen o hacen los LLM. Por ejemplo, en la sección de herramientas, siempre recomendaría verificar dos veces las matemáticas/el código que hizo el LLM. ¿Cómo utiliza el LLM una herramienta como el navegador? Emite palabras especiales, por ejemplo, |NAVEGADOR|. Cuando el código "por encima" que está inferenciando al LLM detecta estas palabras, captura la salida que sigue, la envía a una herramienta, vuelve con el resultado y continúa la generación. ¿Cómo sabe el LLM emitir estas palabras especiales? Los conjuntos de datos de afinado le enseñan cómo y cuándo navegar, por ejemplo. Y/o las instrucciones para el uso de herramientas también pueden colocarse automáticamente en la ventana de contexto (en el “mensaje del sistema”). También podrías disfrutar de mi publicación en el blog de 2015 "Eficacia irrazonable de las redes neuronales recurrentes". La forma en que obtenemos los modelos base hoy es prácticamente idéntica a un alto nivel, excepto que el RNN se cambia por un Transformador. Capítulos: Parte 1: LLMs 00:00:00 Introducción: Charla sobre el Modelo de Lenguaje de Gran Escala (LLM) 00:00:20 Inferencia LLM 00:04:17 Entrenamiento LLM 00:08:58 Sueños LLM 00:11:22 ¿Cómo funcionan? 00:14:14 Afinado en un Asistente 00:17:52 Resumen hasta ahora 00:21:05 Apéndice: Comparaciones, Etiquetado de documentos, RLHF, Datos sintéticos, Clasificación Parte 2: Futuro de los LLMs 00:25:43 Leyes de Escalado de LLM 00:27:43 Uso de Herramientas (Navegador, Calculadora, Intérprete, DALL-E) 00:33:32 Multimodalidad (Visión, Audio) 00:35:00 Pensamiento, Sistema 1/2 00:38:02 Auto-mejora, LLM AlphaGo 00:40:45 Personalización LLM, Tienda GPT 00:42:15 Sistema Operativo LLM Parte 3: Seguridad LLM 00:45:43 Introducción a la Seguridad LLM 00:46:14 Jailbreaks 00:51:30 Inyección de comandos 00:56:23 Envenenamiento de datos 00:58:37 Conclusiones sobre la seguridad LLM Fin 00:59:23 Outro