NSDI '25 — Rajomon: Децентрализованное и координированное управление перегрузкой для чувствительн... скачать в хорошем качестве

NSDI '25 — Rajomon: Децентрализованное и координированное управление перегрузкой для чувствительн...

Rajomon: Децентрализованное и скоординированное управление перегрузкой для чувствительных к задержкам микросервисов Цзяли Син, Акис Джаннукос, Пол Ло, Шуюэ Ван и Джастин Цю, Пенсильванский университет; Анри Максим Демулен, DBOS, Inc; Константинос Каллас, Калифорнийский университет в Лос-Анджелесе; Бенджамин С. Ли, Пенсильванский университет Микросервисы играют всё более важную роль в облачных приложениях благодаря своей гибкости и поддержке быстрой интеграции и развертывания. Однако приложения часто сталкиваются с перегрузкой или внезапными скачками трафика, превышающими возможности сервиса, что приводит к увеличению задержек или сбоям в работе сервисов. Более того, микросервисы децентрализованы, взаимозависимы и мультиплексированы, что усугубляет риски, связанные с перегрузкой. Мы представляем RAJOMON — рыночную систему управления перегрузкой для крупных графов микросервисов. RAJOMON контролирует перегрузку посредством распределенного ограничения скорости и сброса нагрузки. Клиенты прикрепляют токены к запросам, а сервисы взимают плату за каждый API, отклоняя запросы с недостаточным количеством токенов. Токены и цены распространяются по всему графу вызовов, накапливаясь на запросах и ответах. Таким образом, RAJOMON — первая децентрализованная сквозная система контроля перегрузки. Мы внедряем и тестируем RAJOMON на системе с процессором до 140 ядер и на различных приложениях из академической и отраслевой сферы. Эксперименты показывают, что RAJOMON защищает полезную пропускную способность и задержку в хвосте микросервисов от существенных скачков нагрузки, даже в случае смешанных типов запросов и более глубоких графов сервисов. В сценариях с высокой нагрузкой RAJOMON снижает задержку в хвосте на 78% и увеличивает полезную пропускную способность на 45% по сравнению с современными системами контроля перегрузки для микросервисов. Полную программу NSDI '25 можно найти по адресу https://www.usenix.org/conference/nsd...