RAG LLM (retrieval-augmented) AI Gemma 3 analizuje program wyborczy kandydatów na prezydenta Polski скачать в хорошем качестве

RAG LLM (retrieval-augmented) AI Gemma 3 analizuje program wyborczy kandydatów na prezydenta Polski

Poprosiłem AI GEMMA3 zainstalowaną lokalnie na moim komputerze o analizę programów wyborczych kandydatów na prezydenta RP. Wyniki sa ciekawe. Jednocześnie pokazuję jak przygotować RAG ( Retrieval-Augmented Generation ) do analizy bieżących danych wczytywanych z pliku TXT, PDF i CSV przez model językowy. Wszystko jest przetwarzane lokalnie na moim komputerze i mojej karcie grafiki RTX 4060TI 16GB. Żadne dane nie są wysyłane do Internetu więc można użyć takiego zestawu do analizy własnych plików z prywatnymi danymi. Będzie to w pełni bezpieczne i niezależne od połączenia z Internetem rozwiązanie - np. wewnątrz firmy. Link do oryginalnego projektu : https://github.com/vndee/local-assist... Oto instrukcja jak uruchomić wszystko na swoim lokalnym komputerze 1. Zainstaluj wirtualizator Virtual Box - pobierając ze strony https://www.virtualbox.org/wiki/Downl... 2. Pobierz maszynę wirtualną, którą przygotowałem z wykorzystaniem Ubuntu 22.04 - wymaga 8GB vRAM i 4 vCPU wersja lekka z LLAMA 3.2:1B nie wspiera języka polskiego ( czat i dokumenty tylko w 6 językach) https://mega.nz/file/DC4VBYpL#3VPZAcm... wersja ciężka z GEMMA 3:4B wspierająca 160 języków (czat i dokumenty w 160 językach) https://mega.nz/file/GGhzSaLY#BFECxtu... 3. Po sciągnięciu maszyny wirtualnej zaimportuj ją w Virtual Box (opcja importuj i wskazanie pliku) a następnie zaloguj się do niej : możesz użyć Putty aby się połączyć pod adres 127.0.0.1 i port 9022, ewentualnie z konsoli Virtual Box użytkownik : user hasło : user 4. Po zalogowaniu się wydaj polecenie "ai" i rozpocznij zabawę łącząc się z przeglądarki internetowej pod adres : http://localhost:8501 5. Jeśli chcesz aby model językowy działał na komputerze hoście i jego karcie grafiki musisz przejść przez następujące kroki : zainstalować framework Ollama : https://ollama.com/download uruchomić CMD i pobrać model, który Ciebie insteresuje np. Gemma 3:4b, llama i inne ( https://ollama.com/library ). Pamiętaj, że model musi zmieścić się w pamięci twojej karty grafiki. Wybierz jeden z poniższych wariantów : ollama pull gemma3:4b ollama pull gemma3:1b ollama pull llama3.2:3b ollama pull llama3.2:1b ollama list przerobić w kodzie programu "rag.py" wersję modelu i dodać URL do Framework Ollama wskazujący na adres IP komputera hosta widoczny z poziomu maszyny wirtualnej : vi /home/user/local-assistant-examples/simple-rag/rag.py def __init__(self, llm_model: str = "gemma3:4b"): self.model = ChatOllama(model=llm_model , base_url='http://10.0.2.2:11434') ponownie uruchomic aplikację - będzie korzystała z lokalnego modelu na twoim komputerze hoście komenda : ai Miłej zabawy