Какое железо нужно для локальных нейросетей? скачать в хорошем качестве

Какое железо нужно для локальных нейросетей?

В этом видео разбираемся какое железо нужно для нейросетей, как оптимизировать их работу. Что позволяет разный объём памяти. тянет ли процессор нейронки без видеокарты. Как влияет разгон оперативной памяти на производительность. Что может видеокарта, как разделить модель нейросети между видеокартой и процессором. На что влияет шина PCI-e при таком делении. 0:00 Продолжаем тему нейросетей 0:41 Что и как должны считать железки для нейросетей? 1:17 В чём сложность и почему нельзя ускорить работу нейросетей на CPU? 1:45 Сделаем процессор, который будет лучше для нейросетей 4:50 Как появились тензорные ядра? 5:45 Что ограничивает развитие производительности? 8:05 Больше - не значит лучше. Как менялись поколения тензорных ядер. 9:02 Типы данных. Что такое? зачем, на что влияет? 13:47 Сколько нужно токенов в секунду в различных задачах? 18:48 Запускаем нейронки от 4B до 122B на процессоре 22:56 Плотные против разряженных нейросетей 25:45 Разгоняем оперативную память и результаты 27:25 Что жать в LM Studio чтобы работало быстрее? 29:09 Деление модели между процессором и видеокартой 30:19 Что произоёдет если модель не входит в видеопамять? 30:53 Варианты деления модели между процессором и видеокартой 31:42 Практические тесты деления модели между процессором и видеокартой 35:30 Как версия PCI-e влияет на производительность? 36:30 Влияние разгона ОЗУ, когда модель на видеокарте 37:29 Работа с несколькими видеокартами и весёлые истории 40:07 Что нужно для эффективной работы нескольких ускорителей? 41:00 Анонс программы для нейросетей 43:20 Про генерацию картинок https://pc-01.tech - сайт канала. Свежие новости о железе, обзоры и тесты комплектующих. https://boosty.to/pc-01 - Страница канала на бусте https://vk.com/pc_0_1 - группа "Этот компьютер" - свежие и актуальные новости IT мира