Проблема аппаратного обеспечения ИИ скачать в хорошем качестве

Проблема аппаратного обеспечения ИИ

▶ Перейдите по ссылке Brilliant и получите скидку 20%! https://brilliant.org/NewMind/ Тысячелетняя идея представления сигналов и данных в виде последовательности дискретных состояний произвела революцию в полупроводниковой промышленности во второй половине XX века. Эта новая информационная эпоха процветала на мощной и быстро развивающейся области цифровой электроники. Обилие автоматизации и инструментов позволило относительно легко масштабировать проекты по сложности и производительности по мере роста спроса. Однако энергопотребление приложений искусственного интеллекта и машинного обучения не может расти так же, как в существующих архитектурах обработки данных. THE MAC В реализации цифровой нейронной сети весовые коэффициенты и входные данные хранятся в системной памяти и должны непрерывно извлекаться и сохраняться посредством множества операций накопления внутри сети. Такой подход приводит к тому, что большая часть мощности рассеивается на выборку и сохранение параметров модели и входных данных в арифметико-логическом блоке процессора, где и происходит собственно операция умножения с накоплением. Типичная операция умножения с накоплением в процессоре общего назначения потребляет более чем на два порядка больше ресурсов, чем сама операция. Графические процессоры Для обработки 3D-графики требуется большее количество арифметико-логических блоков, подключенных к высокоскоростным интерфейсам памяти. Эта особенность, по сути, делает их гораздо более эффективными и быстрыми для машинного обучения, позволяя одновременно выполнять сотни операций с накоплением. Графические процессоры, как правило, используют арифметику с плавающей запятой, используя 32 бита для представления числа через мантиссу, экспоненту и знак. Из-за этого приложения машинного обучения, ориентированные на GPU, вынуждены использовать числа с плавающей запятой. ASIC Эти специализированные микросхемы для ИИ обеспечивают значительно больший объем перемещения данных на джоуль по сравнению с графическими процессорами и процессорами общего назначения. Это стало результатом открытия, что в некоторых типах нейронных сетей резкое снижение точности вычислений приводило лишь к незначительному снижению точности сети. Вскоре станет невозможным увеличивать количество интегрированных на кристалле блоков умножения-накопления или еще больше снижать точность битов. ИИ С НИЗКИМ ЭНЕРГОПОТРЕБЛЕНИЕМ За пределами цифрового мира достоверно известно, что чрезвычайно плотные нейронные сети могут эффективно работать при небольшом энергопотреблении. Большая часть отрасли считает, что цифровая составляющая современных систем должна быть дополнена более аналоговым подходом для дальнейшего повышения эффективности машинного обучения. В аналоговых системах вычисления не происходят на тактовых этапах перемещения данных, а используют внутренние свойства сигнала и его взаимодействие со схемой, объединяя память, логику и вычисления в единое целое, способное эффективно работать в условиях массового параллелизма. Некоторые компании начинают рассматривать возможность возврата к давно устаревшей технологии аналоговых вычислений для решения этой проблемы. Аналоговые вычисления пытаются манипулировать малыми электрическими токами с помощью стандартных аналоговых схемных блоков для выполнения математических вычислений. Эти сигналы можно смешивать и сравнивать, воспроизводя поведение их цифровых аналогов. Однако, хотя масштабные аналоговые вычисления десятилетиями исследовались для различных потенциальных приложений, они так и не были успешно реализованы в качестве коммерческого решения. В настоящее время наиболее перспективным подходом к решению этой проблемы является интеграция программируемого аналогового вычислительного элемента в большие массивы, по принципу действия аналогичные цифровой памяти. При конфигурировании ячеек в массив аналоговый сигнал, синтезированный цифро-аналоговым преобразователем, поступает в сеть. По мере прохождения этого сигнала через сеть предварительно запрограммированных резисторов токи суммируются для получения результирующего аналогового сигнала, который может быть преобразован обратно в цифровое значение с помощью аналого-цифрового преобразователя. Однако использование аналоговых систем для машинного обучения сопряжено с рядом проблем. Аналоговые системы изначально ограничены по точности уровнем шума. Хотя, как и при использовании цифровых систем с меньшей разрядностью, для некоторых типов сетей это становится менее существенной проблемой. Если для вывода используются аналоговые схемы, результат может быть недетерминированным и с большей вероятностью подвержен влиянию тепла, шума и других внешних факторов, чем в случае цифровой системы. Ещё одна проблема аналогового машинного обучения — это объяснимость. В отличие от цифровых систем, аналоговые системы не предлагают простых методов исследования или отладки потока информации внутри них. Некоторые специалисты отрасли предлагают решение, которое может заключаться в использовании в большинстве случ...