Успешное масштабирование приложений Jakarta EE с развитой системой искусственного интеллекта в пр... скачать в хорошем качестве

Успешное масштабирование приложений Jakarta EE с развитой системой искусственного интеллекта в пр...

В этой сессии JakartaOne Livestream 2025 Кьяра Чиварди и Лукман Саид поделятся практическими уроками, извлеченными из эксплуатации приложений Jakarta EE с поддержкой ИИ в производственной среде, и объяснят, почему масштабирование систем ИИ принципиально отличается от масштабирования традиционных корпоративных приложений. Вы узнаете: Почему многие проекты ИИ с трудом доходят до стадии внедрения в производство Архитектурные шаблоны для обеспечения надежности: асинхронная обработка, отдельные пулы потоков, автоматические выключатели и стратегии резервного копирования Реалии масштабирования с использованием LLM: ограничения скорости, бюджеты токенов, переменная задержка и почему автоматическое масштабирование по размеру очереди может превосходить сигналы ЦП Компромиссы при выборе модели: стоимость, скорость, возможности и планирование изменений во времени Правильное тестирование ИИ: проверка границ, проверка схемы для структурированного вывода, эталонные подсказки и A/B-тестирование Наблюдаемость и контроль затрат: использование токенов, процентили задержки, коэффициент резервного копирования и практические способы снижения затрат Они также рассмотрят реальный пример из производственной среды: Para Starter, генератор с поддержкой ИИ для приложений Jakarta, и как он развивался благодаря изменениям модели, более строгим ограничениям и непрерывному мониторингу. Узнайте больше о Jakarta EE: https://jakarta.ee/