LLAMA.CPP Сравнение процессора и оперативной памяти: i9-13900 против Ryzen 7 9700X против i7-5930... скачать в хорошем качестве

LLAMA.CPP Сравнение процессора и оперативной памяти: i9-13900 против Ryzen 7 9700X против i7-5930...

Сможет ли старый Xeon или i7 справиться с современными языковыми моделями (LLM)? Мы подвергли LLAMA.CPP всестороннему стресс-тесту на 4 совершенно разных процессорах — от современных мощных машин до классических «рабочих лошадок». Этот подробный тест производительности процессоров исследует, как архитектура ядра и, что особенно важно, скорость оперативной памяти (XMP/EXPO) влияют на производительность больших языковых моделей (LLM), таких как GPT-OSS:20b. Мы строго тестировали все процессоры на базовых тактовых частотах, чтобы обеспечить справедливое сравнение эффективности ядра. Однако мы провели критически важный дополнительный тест: включение и выключение профилей XMP/EXPO в оперативной памяти, чтобы показать вам огромный, часто недооцениваемый, прирост производительности, который обеспечивает скорость памяти при выполнении вывода LLM только с использованием ЦП/ОЗУ с помощью llama.cpp. Протестированные процессоры: Intel Core i9-13900 AMD Ryzen 7 9700X Intel Core i7-5930k (Haswell-E) Intel Xeon E5-2667 v4 (Broadwell-EP) Смотрите, чтобы узнать: Какой процессор предлагает лучшее соотношение цены и производительности для локального хостинга LLM. Различия в скорости генерации токенов (токены/сек) между четырьмя процессорами. Значительное влияние высокоскоростной оперативной памяти (XMP/EXPO) на производительность вывода LLAMA.CPP. Можно ли эффективно запускать модели Llama на более старых платформах Xeon или i7. 0:00 - Вступление 0:56 - Тесты Passmark 3:15 - Intel i9 7:48 - AMD 9700X 18:03 - Intel i7 30:28 - Xeon 35:44 - Заключение