Fun Audio Chat 8B: Эта открытая модель преобразования речи в речь просто потрясающая! скачать в хорошем качестве

Fun Audio Chat 8B: Эта открытая модель преобразования речи в речь просто потрясающая!

В этом видео я расскажу о новом сервисе Alibaba Fun Audio Chat — мощной модели обработки больших аудиоданных, разработанной для естественного голосового общения с низкой задержкой. В отличие от облачных решений, таких как Gemini Live, эта полностью открытая модель работает локально на вашем оборудовании. Я подробно разберу её уникальную архитектуру, функции, такие как эмпатия голоса и вызов функций, и покажу, как её настроить. -- Ресурсы: GitHub: https://github.com/FunAudioLLM/Fun-Au... HuggingFace: https://huggingface.co/FunAudioLLM/Fu... ModelScope: https://modelscope.cn/FunAudioLLM/Fun... Демо-страница: https://funaudiollm.github.io/funaudi... -- Основные выводы: 🗣️ Fun Audio Chat — это открытая модель обработки больших аудио-языков (LALM), созданная для голосового взаимодействия в реальном времени с низкой задержкой. ⚡ Уникальная архитектура с двойным разрешением (5 Гц/25 Гц) снижает использование графического процессора на 50% при сохранении высокого качества выходного сигнала. 🎭 Модель обладает функцией голосовой эмпатии, распознавая эмоциональный контекст, такой как тон и темп, для ответа с соответствующей энергией. 🛠️ Поддерживает расширенные возможности, включая следование инструкциям речи, вызов функций и общее понимание звука. 🔄 Полнодуплексное взаимодействие позволяет прерывать модель посреди предложения для естественного обмена репликами. 📈 Занимает лидирующие позиции в основных бенчмарках, таких как OpenAudioBench, VoiceBench и MMAU. 🖥️ Вы можете запустить её локально с Python 3.12 и графическим процессором с 24 ГБ видеопамяти (например, RTX 3090 или 4090).