Этот чип запускает "прогретую" версию Llama настолько быстро, что это выглядит как сбой (Taalas H... скачать в хорошем качестве

Этот чип запускает "прогретую" версию Llama настолько быстро, что это выглядит как сбой (Taalas H...

При скорости обработки 17 000 токенов в секунду, производительность ИИ превосходит человеческое восприятие. Как чипу Taalas HC1 это удаётся? Они буквально встроили в чип 8-битную модель Llama! Что говорит нам история полупроводников — делал ли кто-нибудь это раньше? И означает ли это конец эпохи GPU? В этом эпизоде: Мы разбираем крайние компромиссы «встроенного» интеллекта. Стена памяти: почему перемещение данных занимает больше времени, чем выполнение вычислений. Решение Taalas: превращение модели в физический объект для обхода GPU. Экономика оборудования: жертвование гибкими обновлениями программного обеспечения ради скорости и эффективности. Мы рассматриваем историю вычислительной техники, чтобы задать вопрос: достаточно ли стабильна обработка данных ИИ, чтобы оставить позади эру универсальных GPU? И мы предполагаем, собирается ли NVIDIA их купить. Смотрите! 🔗 Упомянутые ссылки ChatJimmy https://chatjimmy.ai/ Путь к повсеместному ИИ https://taalas.com/the-path-to-ubiqui... Taalas специализируется на экстремальных методах для невероятной скорости генерации токенов https://www.eetimes.com/taalas-specia... Твит о скорости Codex https://x.com/thsottiaux/status/20249... Attention Span здесь, чтобы показать вам, что ИИ — это не магия. Иногда это просто агрессивное проектирование в самых неожиданных уголках аппаратного обеспечения. Разделы: 00:00 Демонстрация «Чуда»: игра, сгенерированная за полсекунды 00:16 Что значит встроить модель ИИ в чип? 01:02 Представляем Talas HC1 и его невероятные заявленные показатели скорости 02:02 Почему графические процессоры быстры — и что их замедляет 03:19 Объяснение внедрения весовых коэффициентов ИИ в кремний 04:03 Самый большой компромисс: скорость против гибкости 04:45 ASIC-чипы и рост специализированного оборудования 06:08 Почему специализированное оборудование всегда выигрывает в масштабе 08:35 Обучение против вывода: где специализация имеет смысл 09:36 Почему графические процессоры никуда не денутся (пока) 11:31 Более широкая картина: вступает ли ИИ в эру инфраструктуры? 👉 Подписывайтесь, чтобы получать больше информации о высокопроизводительной механике ИИ 👉 Больше анализа: TuringPost.com 👉 Интервью: / @realturingpost Хэштеги #AttentionSpan #AI ​​#ASIC #AIHardware #LLM #Semiconductors #GPUs #TuringPost #NVIDIA #MachineLearning