#282 скачать в хорошем качестве

#282

DeepSeek-OCR – это начальное исследование возможности сжатия длинных контекстов посредством оптического двумерного картирования. Система состоит из двух компонентов: DeepEncoder и декодера DeepSeek3B-MoE-A570M. DeepEncoder выполняет функцию ядра, разработанного для поддержания низкого уровня активаций при высоком разрешении входных данных, обеспечивая при этом высокую степень сжатия, что гарантирует оптимальное и управляемое количество визуальных токенов. Экспериментальные результаты показывают, что когда количество текстовых токенов не превышает количества визуальных токенов более чем в 10 раз (т.е. степень сжатия менее 10×), модель достигает точности декодирования (OCR) 97%. Даже при степени сжатия 20× точность OCR остаётся на уровне около 60%. Эти результаты открывают значительные перспективы для таких областей исследований, как историческое сжатие длинных контекстов и механизмы забывания памяти в LLM. Кроме того, DeepSeek-OCR демонстрирует высокую практическую ценность. В OmniDocBench он превосходит GOT-OCR2.0 (256 токенов на страницу), используя всего 100 токенов Vision, и превосходит MinerU2.0 (в среднем более 6000 токенов на страницу), используя менее 800 токенов Vision. В производственных условиях DeepSeek-OCR способен генерировать обучающие данные для LLM/VLM в масштабе более 200 000 страниц в день, используя один графический процессор A100-40G. В этом видео я расскажу о следующем: Что особенного в DeepSeek OCR? Какова архитектура DeepSeek OCR? Какие данные используются для предварительного обучения моделей DeepSeek OCR? Как работает DeepSeek OCR? Подробнее см. на сайтах https://arxiv.org/pdf/2510.18234, https://github.com/deepseek-ai/DeepSe... и https://huggingface.co/deepseek-ai/De... Вэй, Хаожань, Сунь, Яофэн, Ли, Юйкунь. DeepSeek-OCR: Оптическое сжатие контекстов. arXiv:2510.18234.2025. Спасибо за просмотр! LinkedIn: http://aka.ms/manishgupta Домашняя страница: https://sites.google.com/view/manishg/