MLLM: Решение проблемы преобразования текста в пиксели. скачать в хорошем качестве

MLLM: Решение проблемы преобразования текста в пиксели.

В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью: «Чтение, а не мышление: понимание и преодоление разрыва между модальностями, когда текст становится пикселями в мультимодальных больших языковых моделях». В этом исследовании изучается разрыв между модальностями, при котором мультимодальные большие языковые модели показывают худшие результаты при обработке текста как изображений по сравнению с абстрактными токенами. Исследователи оценили семь основных моделей, включая Qwen2.5-VL и GPT-5.2, на тестовых наборах данных, включающих синтетические и реалистичные изображения документов. Результаты показывают, что, хотя модели испытывают значительные трудности с синтетическими математическими задачами в пиксельном формате, они часто превосходно справляются с чтением естественных изображений документов. Исследование включает анализ ошибок на основе теории, проведенный на более чем 4000 примерах, для выявления точек отказа, таких как разрешение рендеринга и шрифт. В конечном итоге, статья предлагает основу для понимания и преодоления разрыва между визуальным восприятием и текстовым мышлением. Ссылка на статью: https://arxiv.org/abs/2603.09095 #AI #MachineLearning #DeepLearning #MultimodalLLM #VisionLanguageModels #OCR #ModalityGap