Твердость трансформаторов скачать в хорошем качестве

Твердость трансформаторов

https://arxiv.org/pdf/2603.11332 О вычислительной сложности трансформеров В данном исследовании изучается вычислительная сложность трансформеров, в частности, можно ли обрабатывать многослойные многоголовочные архитектуры более эффективно, чем сумма их отдельных частей. Авторы устанавливают нетривиальные нижние границы, доказывающие, что традиционный метод вычисления каждого элемента внимания независимо является по существу оптимальным. В режиме малых вложений они используют сильную гипотезу экспоненциального времени, чтобы показать, что необходима квадратичная временная сложность $LHN^2$. Для больших вложений в исследовании используется расширение теоремы Баура-Штрассена, чтобы показать, что вычисление трансформеров так же сложно, как выполнение нескольких независимых матричных умножений. Эти результаты показывают, что задача прямой суммы для трансформеров имеет отрицательное решение, то есть общая стоимость не может быть существенно амортизирована. В конечном итоге, статья предоставляет теоретическую основу, объясняющую, почему стандартные модели трансформеров остаются вычислительно дорогими, несмотря на попытки найти более быстрые алгоритмические решения. #ИИ #исследования #крупныеязыковыемодели #трансформер