DeepSeek OCR: оптическое сжатие контекста открывает доступ к 10 миллионам токенов контекста LLM скачать в хорошем качестве

DeepSeek OCR: оптическое сжатие контекста открывает доступ к 10 миллионам токенов контекста LLM

В этом видео анализируется революционная модель оптического распознавания символов (OCR) DeepSeek и её новаторский метод: оптическое сжатие контекста. Это нововведение направлено на решение проблем масштабируемости, присущих большим языковым моделям (LLM), путём эффективного управления длинными контекстными окнами. Основной механизм заключается в преобразовании больших объёмов текстовых токенов в сжатые визуальные токены (изображения), что приводит к десятикратному повышению эффективности контекста. Этот процесс может значительно увеличить ёмкость контекста LLM, потенциально до 10 миллионов токенов. Мы подробно описываем архитектуру технологии, включая сегментацию, 16-кратное сжатие, кодирование с использованием глобальной контекстной модели, такой как CLIP, и окончательное декодирование с помощью модели «Смесь экспертов». Этот метод предполагает существенный сдвиг в обработке входных данных ИИ, переходя от традиционных токенизаторов текста к более эффективной обработке визуальных данных. DeepSeek-OCR: Оптическое сжатие контекстов: https://github.com/deepseek-ai/DeepSe...