LLM Inference benchmark скачать в хорошем качестве

LLM Inference benchmark

Всем привет, с вами Низамов Илья. В мире 1С есть один очень популярный тест, который показывает сколько баллов выбивает ваше железо на бизнес задачах в 1С. Это тест Гилёва. И так как я переквалифицировался в ИИ разработчики то здесь тоже постоянно вижу схожие вопросы. LLM много, железа тоже, несколько основных инференсов которые позволяют запускать не только на GPU, но и на CPU+GPU. Есть каналы, которые выкладывают много тестов разного железа, но все равно они не могут охватить все многообразие. Поэтому я решил взять концепцию когда ты тестируешь что-то у себя локально, но можешь и поделиться результатами с сообществом, давая примерное понимание как будет вести себя определенная модель на определенном железе. В общем выкладываю бенчмарк инференсов и моделей, можете использовать полностью локально, но и делиться тоже не забывайте. Скачать исходники и сборку: https://github.com/IlyaNizamov/Infere... Посмотреть результаты: https://nizamov.school/benchmarks Страничка с тестами и сам бенчмарк не окончательные, если есть пожелания, пишите, или дорабатывайте сами. Жду ваши отзывы в комментариях, всем удачи, пока! #llmbenchmark #ollama #vllm #llamacpp #inferencebenchmark #локальныеllm #производительностьllm #gpubenchmark #pythonai #langchain #языковыемодели #aiбенчмарк #тестнейросетей #llmинференс #нейросети