DeepSeek OCR: как сжать контекст в 10 раз (и зачем). РАЗБОР АРХИТЕКТУРЫ скачать в хорошем качестве

DeepSeek OCR: как сжать контекст в 10 раз (и зачем). РАЗБОР АРХИТЕКТУРЫ

Присоединяйтесь в RANEZ UNIVERSITY! ТАМ БОЛЬШЕ МАТЕРИАЛА ПО AI Coding! TG: https://t.me/tribute/app?startapp=sAHG WEB: https://web.tribute.tg/s/AHG Aijora - https://www.aijora.ru По промокоду RANEZ - скидка 10% AI RANEZ в телеграм: https://t.me/+ExiaDZ5sN1k0NWEy Наш чат в тг: https://t.me/+lvSHbBVXxQU3NWQy DeepSeek выпустили OCR модель, но это НЕ про распознавание текста. Это proof of concept революционной компрессии контекста — Contexts Optical Compression. Результат: 10x сжатие с точностью 97%. Главная идея: вместо того чтобы хранить текст как токены, можно хранить картинку с текстом и получить в 10 раз меньше токенов при том же контексте. 1000 слов текста = ~1200 токенов. Скриншот с этим же текстом через их компрессию = ~120 vision токенов. Андрей Карпатый уже написал в Twitter, что хочет "удалить токенизер на Input" — и это может быть будущее LLM. В этом видео разбираем: → Что такое OCR и почему DeepSeek OCR — это не совсем про OCR → Contexts Optical Compression — как это работает → Архитектура модели: DeepEncoder + Decoder → SAM (Segment Anything Model) для нарезки на патчи → Window Attention vs Global Attention → Convolution Layers для down-sampling (4096 → 256 токенов) → CLIP для семантического понимания → Mixture of Experts: 3B параметров, но активируется только 570M → Демо на Hugging Face — смотрим как работает на практике → Что это значит для контекстных окон LLM в будущем Если данный механизм себя зарекомендует — это может кардинально изменить работу с контекстом в больших языковых моделях.