DeepSeek V3: Rewolucja w wydajności AI przez holistyczną inżynierię | Głęboki Odczyt скачать в хорошем качестве

DeepSeek V3: Rewolucja w wydajności AI przez holistyczną inżynierię | Głęboki Odczyt

🎙️ Model DeepSeek V3 to nie tylko kolejny duży model językowy - to manifest nowego podejścia do budowy AI. Zamiast gonić za coraz większymi rozmiarami, zespół DeepSeek zoptymalizował każdy aspekt: architekturę MoE, trening w FP8, algorytmy komunikacji i zarządzanie pamięcią. Rezultat? Model open-source z 671 miliardami parametrów, który w wielu benchmarkach dorównuje lub przewyższa GPT-4o, przy koszcie treningu zaledwie ~$5.6M. W tym odcinku omawiamy: • Architektura Mixture of Experts (MoE) z 671B parametrów i tylko 37B aktywnych • Równoważenie obciążenia bez funkcji straty (Auxiliary Loss-Free) z dynamicznym biasem • Multi-Token Prediction - przewidywanie wielu tokenów jednocześnie dla szybszego wnioskowania • Trening w precyzji FP8 z kwantyzacją drobnoziarnistą (fine-grained quantization) • Algorytm DualPipe - inteligentne nakładanie obliczeń na komunikację między GPU • Ekstremalna optymalizacja pamięci VRAM przez recomputation i przechowywanie EMA w CPU • Destylacja wiedzy z DeepSeek R1 dla ulepszonego rozumowania (Chain of Thought) • Benchmarki: MATH 500 (90.2), AIME 2024 (39.2), Arena Hard (85%), Codeforces (51.6%) • Ograniczenia wdrożeniowe (min. 32 GPU) i wizja współprojektowania hardware-software 📄 Oryginalny artykuł: https://arxiv.org/abs/2412.19437 Autorzy: DeepSeek-AI Team 💡 Masz propozycję artykułu? Zgłoś: https://github.com/Automaat/youtube-w...