Eu rodei 7 LLMs no RASPBERRY PI (para você não ter que fazer isso) скачать в хорошем качестве

Eu rodei 7 LLMs no RASPBERRY PI (para você não ter que fazer isso)

LLMs no Raspberry Pi 5: é possível rodar LLM local em 16GB de RAM sem GPU? Neste vídeo eu testo 7 modelos no Raspberry Pi 5 com 16GB de RAM, rodando 100% na CPU via llama.cpp no LM Studio. Sem placa de vídeo, sem Mac, sem hardware caro. Os modelos testados incluem LFM 2.5 VL 1.6B, Qwen3 VL 2B, Gemma 3 Gaia PT-BR 4B, Qwen 2.5 Coder 7B, GLM 4.6V Flash, GPT-OSS 20B (Mixture of Experts) e Qwen3 Coder 30B-A3B em Q2. Medimos tokens por segundo, tempo pro primeiro token e qualidade das respostas em cada um. Pelos resultados, deu pra ver que modelos pequenos (1B a 4B parâmetros) rodam com 5 a 7 tokens/segundo, o que já é utilizável para tarefas simples. Modelos MoE como o GPT-OSS surpreendem ao ativar só 3.6B de parâmetros por token, entregando velocidade acima do esperado para um modelo de 20B. Já visão computacional e modelos acima de 7B viram um gargalo sério na CPU do Pi. 📌 Se quiser acompanhar o que anda passando pela minha cabeça, me segue lá no Substack: https://progbr.substack.com/ 👉 E se você ainda tá por fora sobre LLMs, dá uma olhada nesse vídeo onde eu explico tudo o que você precisa saber para dar o primeiro passo nesse universo:    • O Que São LLM’s? (Large Language Models)   _______ 🔹 Quer aprender a criar apps do zero até a publicação comigo? Então dá uma olhada no meu curso: https://programadorbr.com/flutter?src... _______ 0:00 Intro 0:31 Hardware e Setup 2:06 LFM 2.5 VL 1.6B 6:33 Qwen3 VL 2B 7:55 Gemma 3 Gaia 8:49 Qwen 2.5 Coder 7B 10:53 GLM 4.6V Flash 14:54 GPT-OSS 20B 18:43 Qwen3 Coder 30B-A3B 23:15 Conclusão _______ 👀 Se tiver curiosidade, dá uma olhada em alguns dos meus apps publicados: ⏵ Teleprompter: https://apps.apple.com/app/apple-stor... ⏵ Pomodoro: https://apps.apple.com/app/apple-stor... ⏵ Jogo da Velha Infinito iOS: https://apps.apple.com/app/apple-stor... Android: https://play.google.com/store/apps/de... _______ ✴️ Segue também meus outros canais: ⏵ Canal sobre o universo Apple:    / @iprogbr   ⏵ Canal de programação:    / @programadorbr   ⏵ Perfil no Instagram:   / progbr