У нас вы можете посмотреть бесплатно Запуск Llama 405b на своем сервере. vLLM, docker. или скачать в максимальном доступном качестве, видео которое было загружено на ютуб. Для загрузки выберите вариант из формы ниже:
Если кнопки скачивания не
загрузились
НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если возникают проблемы со скачиванием видео, пожалуйста напишите в поддержку по адресу внизу
страницы.
Спасибо за использование сервиса ClipSaver.ru
Детально показываю, как запустить самую мощную открытую нейросеть Llama 405b на своем сервере. Описание модели Llama 405b на сайте Meta* https://llama.meta.com/ Сервер покупал тут: https://immers.cloud/signup/r/2024052... Прикладная конференция по Data Science AI conf 2024: https://aiconf.ru/2024 Описание модели Llama 3.5 405b instruct AWQ на huggingface: https://huggingface.co/hugging-quants... Доступ ко всем сайтам получаю тут: https://t.me/hour_vpn_bot vllm - проект по инференсу нейросетей: https://github.com/vllm-project/vllm Рейтинг нейросетей: https://chat.lmsys.org/?leaderboard Мой телеграм канал: https://t.me/vitaly_kuliev_it В rutube дублирую видео. Подписывайтесь на случай замедления ютуба: https://rutube.ru/channel/23479346/ Команда для запуска vLLM в докере: sudo docker run --ipc=host --log-opt max-size=10m --log-opt max-file=1 --rm -it --gpus '"device=0,1,2,3"' -p 8000:8000 --mount type=bind,source=/home/ubuntu/.cache,target=/root/.cache vllm/vllm-openai:v0.5.4 --model hugging-quants/Meta-Llama-3.1-405B-Instruct-AWQ-INT4 --tensor-parallel-size 4 --gpu-memory-utilization 0.94 --dtype half -q awq --disable-log-requests Таймкоды: 0:00 Llama 405b 0:55 Файлы нейросети 1:40 Покупка сервера с 4 gpu A100 4:12 Установка docker 5:18 Запуск сервера vllm 7:15 Первые ответы 9:20 бенчмарк- тест скорости сервера 11:15 стоимость запуска 12:50 еще один тест 15:30 выводы Признана экстремистской организацией в РФ. Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8K1LTF