Как запустить GLM-OCR, передовую модель распознавания текста, полностью локально. скачать в хорошем качестве

Как запустить GLM-OCR, передовую модель распознавания текста, полностью локально.

В этом видео объясняется, как запустить GLM-OCR, передовую модель распознавания текста от Z.ai, которая находится в открытом доступе на Hugging Face, полностью локально на вашем ноутбуке. Мы запускаем её с помощью llama-cpp (фреймворк с открытым исходным кодом, приобретенный Hugging Face) с так называемой квантованной версией. Llama-cpp предоставляет сервер, к которому мы можем обращаться локально через веб-интерфейс или API на Python. Конечно, вы также можете развернуть сервер на любом оборудовании по вашему выбору (например, в облаке) и затем отправлять ему запросы. При использовании графического процессора я рекомендую vLLM или SGLang вместо llama-cpp, поскольку последний лучше подходит для пользователей, работающих на процессорах или чипах Apple. GLM-OCR: https://huggingface.co/zai-org/GLM-OCR GLM-OCR (версия GGUF): https://huggingface.co/ggml-org/GLM-O... Llama.cpp: https://github.com/ggml-org/llama.cpp GGUF: https://huggingface.co/docs/hub/gguf OpenAI API: https://developers.openai.com/api/doc...