ΠΠΎΡΠ»Π΅Π΄Π½ΠΈΠ΅ Π΄ΠΎΠ±Π°Π²Π»Π΅Π½Π½ΡΠ΅ Π²ΠΈΠ΄Π΅ΠΎ:
Inference-Optimization
-
1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄
123489 1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄ 10:41AI Inference: The Secret to AI's Superpowers
-
10 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄
22835 10 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄ 9:39Faster LLMs: Accelerate Inference with Speculative Decoding
-
1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄
38608 1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄ 33:39ΠΡΠ²ΠΎΠ΅Π½ΠΈΠ΅ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ Π²ΡΠ²ΠΎΠ΄Π° LLM: ΠΎΡ ΡΠ΅ΠΎΡΠΈΠΈ Π΄ΠΎ ΡΠΊΠΎΠ½ΠΎΠΌΠΈΡΠ΅ΡΠΊΠΈ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠ³ΠΎ Π²Π½Π΅Π΄ΡΠ΅Π½ΠΈΡ: ΠΠ°ΡΠΊ ΠΠΎΠΉΡ
-
1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄
14939 1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄ 44:06LLM inference optimization: Architecture, KV cache and Flash attention
-
2 Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄
47187 2 Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄ 36:12Deep Dive: Optimizing LLM inference
-
2 Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄
62505 2 Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄ 19:46ΠΠ²Π°Π½ΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΡΠΎΡΠΈΠ² ΠΎΠ±ΡΠ΅Π·ΠΊΠΈ ΠΏΡΠΎΡΠΈΠ² Π΄ΠΈΡΡΠΈΠ»Π»ΡΡΠΈΠΈ: ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΡ Π½Π΅ΠΉΡΠΎΠ½Π½ΡΡ ΡΠ΅ΡΠ΅ΠΉ Π΄Π»Ρ Π²ΡΠ²ΠΎΠ΄Π°
-
9 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄
12176 9 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄ 17:52ΠΠ΅ΠΊΡΠΈΡ ΠΏΠΎ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ ΠΠ 01 — ΠΡΠ΅Π΄Π²Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎΠ΅ Π·Π°ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΏΡΠΎΡΠΈΠ² Π΄Π΅ΠΊΠΎΠ΄ΠΈΡΠΎΠ²Π°Π½ΠΈΡ — ΠΡΠ²ΠΎΠ΅Π½ΠΈΠ΅ ΠΌΠ΅ΡΠΎΠ΄ΠΎΠ² ...
-
7 Π»Π΅Ρ Π½Π°Π·Π°Π΄
866 7 Π»Π΅Ρ Π½Π°Π·Π°Π΄ 38:43Piotr Wojciechowski: Inference optimization techniques
-
10 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄
73019 10 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄ 4:58What is vLLM? Efficient AI Inference for Large Language Models
-
6 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄
238 6 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄ 25:16ΠΠΎΠ»ΠΎΡΠΎΠΉ ΡΡΠ΅ΡΠ³ΠΎΠ»ΡΠ½ΠΈΠΊ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ Π²ΡΠ²ΠΎΠ΄Π°: Π±Π°Π»Π°Π½Ρ ΠΌΠ΅ΠΆΠ΄Ρ Π·Π°Π΄Π΅ΡΠΆΠΊΠΎΠΉ, ΠΏΡΠΎΠΏΡΡΠΊΠ½ΠΎΠΉ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΡΡ ΠΈ ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎΠΌ.
-
2 ΠΌΠ΅ΡΡΡΠ° Π½Π°Π·Π°Π΄
322 2 ΠΌΠ΅ΡΡΡΠ° Π½Π°Π·Π°Π΄ 2:59Lenovo + AI Inference Optimization
-
8 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄
13419 8 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄ 6:13Optimize LLM inference with vLLM
-
3 Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄
17266 3 Π³ΠΎΠ΄Π° Π½Π°Π·Π°Π΄ 36:28Inference Optimization with NVIDIA TensorRT
-
10 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄
1478743 10 ΠΌΠ΅ΡΡΡΠ΅Π² Π½Π°Π·Π°Π΄ 4:17Inference at Scale: The New Frontier for AI Infrastructure and ROI
-
1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄
50005 1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄ 11:02Using Bayesian Approaches & Sausage Plots to Improve Machine Learning - Computerphile
-
1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄
25153 1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄ 34:14Understanding the LLM Inference Workload - Mark Moyou, NVIDIA
-
1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄
117 1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄ 3:41AI Engineering Insights from Chip Huyen’s Book | Chapter 9: Inference Optimization
-
1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄
26116 1 Π³ΠΎΠ΄ Π½Π°Π·Π°Π΄ 35:53Accelerating LLM Inference with vLLM