OpenAI Realtime API и GPT-Realtime-1.5: Быстрый старт для телефонных звонков с использованием ИИ. скачать в хорошем качестве

OpenAI Realtime API и GPT-Realtime-1.5: Быстрый старт для телефонных звонков с использованием ИИ.

В этом видео показано, как подключить любой номер телефона к API OpenAI Realtime для совершения телефонных звонков агентам с помощью gpt-realtime-1.5 на Python. Компания OpenAI недавно выпустила обновление своего API преобразования речи в речь и модели генерации аудио. Теперь у нас есть модель gpt-realtime-1.5. Модель теперь обеспечивает более надежное следование инструкциям, вызов инструментов и многоязычную точность. Давайте создадим реальную демонстрацию звонка с использованием ИИ менее чем за 10 минут. ТЕХНОЛОГИЧЕСКИЙ СТЕК Vision Agents: для оркестрации и рабочего процесса голосовых агентов. Доступ к gpt-realtime-1.5 через API OpenAI Realtime для связи посредством преобразования речи в речь. Сервис телефонии: Twilio для SIP-транкинга NGROK: Переадресация с локального хоста на публичный URL УСТАНОВКА И НАСТРОЙКА Требования: Python 3.12 или более поздняя версия В вашем файле .env https://beta.dashboard.getstream.io/s... STREAM_API_KEY=... STREAM_API_SECRET=... Доступ к gpt-realtime-1.5 https://platform.openai.com/settings/... OPENAI_API_KEY=... Сервис телефонии https://www.twilio.com/en-us TWILIO_ACCOUNT_SID=... TWILIO_AUTH_TOKEN=... Разместите ваш локальный хост на публичном URL https://ngrok.com/ NGROK_URL=https://replace_with_your.ngrok-free.app Создание нового проекта Python с помощью uv uv init uv venv .venv && source .venv/bin/activate Установка Vision Agents и необходимых плагинов Python uv add vision-agents uv add "vision-agents[getstream, openai, twilio]" Запуск NGROK_URL=https://831b-176-72-38-94.ngrok-free.app uv run openai_gpt_realtime1point5_phonecall.py --from +19417703556 --to +358458569959 ВРЕМЕННЫЕ МЕТКИ 00:00 Демонстрация телефонных звонков с использованием ИИ и gpt-realtime-1.5 00:36 Новый релиз gpt-realtime-1.5 00:54 Технологии В процессе работы 01:44 Настройка среды Python 03:07 Начало работы в IDE 04:44 Создание агента обработки телефонных звонков на основе gpt-realtime-1.5 в Python 07:01 Запуск и тестирование службы обработки телефонных звонков с использованием ИИ в реальном времени ССЫЛКИ ПО ТЕМЕ Документация Vision Agents: https://visionagents.ai/ API OpenAI Realtime: https://developers.openai.com/api/doc... Получение номера телефона Twilio: https://www.twilio.com/en-us NGROK: https://ngrok.com/ Vision Agents на GitHub: https://github.com/GetStream/vision-a... Discord:   / discord   X: @visionagents_ai