Контекстное каскадное сжатие: исследование верхних пределов сжатия текста скачать в хорошем качестве

Контекстное каскадное сжатие: исследование верхних пределов сжатия текста

Каскадное сжатие контекста: исследование верхних пределов сжатия текста Фаньфань Лю, Хайбо Цю Входные данные длиной в миллион токенов в задачах с длинным контекстом создают значительные вычислительные и ресурсоёмкие задачи для больших языковых моделей (LLM). Недавно компания DeepSeek-OCR провела исследование возможности оптического сжатия контекста и получила предварительные результаты. Вдохновлённые этим исследованием, мы представляем каскадное сжатие контекста C3 для исследования верхних пределов сжатия текста. Наш метод использует каскадное сжатие контекста двух LLM разного размера для выполнения задач сжатия и декодирования. В частности, малый LLM, выступающий в качестве первого этапа, выполняет сжатие текста, сжимая длинный контекст в набор скрытых токенов (например, длиной 32 или 64), достигая высокого соотношения количества текстовых токенов к количеству скрытых токенов. Большой LLM, выступающий в качестве второго этапа, затем выполняет задачу декодирования этого сжатого контекста. Эксперименты показывают, что при 20-кратном сжатии (когда количество текстовых токенов в 20 раз превышает количество скрытых токенов) наша модель достигает точности декодирования 98% по сравнению с примерно 60% для DeepSeek-OCR. При дальнейшем увеличении степени сжатия до 40x точность сохраняется на уровне около 93%. Это указывает на то, что в области контекстного сжатия сжатие C3 демонстрирует превосходную производительность и практическую применимость по сравнению с оптическим сжатием символов. C3 использует более простой конвейер обработки чистого текста, который игнорирует такие факторы, как расположение, цвет и потеря информации в визуальном кодировщике. Это также указывает на потенциальную верхнюю границу для коэффициентов сжатия в будущих исследованиях оптического сжатия символов, OCR и смежных областях. Коды и веса моделей доступны в открытом доступе по ссылке https: https://github.com/liufanfanlff/C3-Co...