AWS и Cerebras объединяют усилия для создания максимально быстрой системы вывода результатов иску... скачать в хорошем качестве

AWS и Cerebras объединяют усилия для создания максимально быстрой системы вывода результатов иску...

AWS и Cerebras объявили о сотрудничестве, направленном на установление нового стандарта скорости и производительности вывода ИИ в облаке, который будет доступен через Amazon Bedrock. Решение объединяет серверы AWS на базе Trainium3, системы Cerebras CS-3 и сетевое оборудование Elastic Fabric Adapter (EFA). Решение Trainium3 + CS-3 обеспечивает «дезагрегацию вывода», метод, который разделяет вывод ИИ на два этапа: обработка подсказок, или «предварительное заполнение», и генерация выходных данных, или «декодирование». Эти два этапа имеют принципиально разные вычислительные характеристики. Предварительное заполнение по своей природе является параллельным, ресурсоемким и требует умеренной пропускной способности памяти. Декодирование, с другой стороны, по своей природе является последовательным, ресурсоемким и требует большой пропускной способности памяти. Декодирование обычно составляет большую часть времени вывода в этих сценариях, поскольку каждый выходной токен должен генерироваться последовательно. Вместе мы используем самую быструю систему для каждого этапа вывода. Trainium3 обрабатывает ресурсоемкие задачи предварительного заполнения, а CS-3 от Cerebras, предназначенный для обработки больших объемов данных, отвечает за декодирование, требующее большого объема памяти. Каждый этап выполняется на том оборудовании, в котором он наиболее эффективен. В результате достигается самая быстрая обработка данных в Amazon Bedrock. Позже в этом году AWS также предложит ведущие открытые LLM-системы и Amazon Nova, использующие оборудование Cerebras. Узнайте больше: https://go.aws/47uR5z6 Подпишитесь на AWS: https://go.aws/subscribe Создайте бесплатную учетную запись AWS: https://go.aws/signup Попробуйте AWS бесплатно: https://go.aws/free Свяжитесь с экспертом: https://go.aws/contact Узнайте больше: https://go.aws/more Следующие шаги: Изучите AWS в аналитических исследованиях: https://go.aws/reports Найдите, разверните и управляйте программным обеспечением, работающим на AWS: https://go.aws/marketplace Присоединитесь к партнерской сети AWS: https://go.aws/partners Узнайте больше о том, как Amazon создает и эксплуатирует программное обеспечение: https://go.aws/library У вас есть технические вопросы по AWS? Задайте вопрос сообществу экспертов AWS по ссылке: https://go.aws/3lPaoPb Почему AWS? Amazon Web Services — это самая комплексная и широко используемая в мире облачная платформа, позволяющая клиентам создавать все, что они могут себе представить. Мы предлагаем самый широкий выбор инновационных облачных возможностей и экспертных знаний на самой обширной глобальной инфраструктуре с лучшей в отрасли безопасностью, надежностью и производительностью. #AWS #Cerebras #ИскусственныйИнтеллект #МашинноеОбучение #ОблачныеВычисления #AmazonBedrock #AIInference #Инновации #ТехнологическиеНовости #Trainium #ОптимизацияЗатрат #AmazonWebServices #ОблачныеВычисления