Дифференциально приватные синтетические данные через API-интерфейсы Foundation Model скачать в хорошем качестве

Дифференциально приватные синтетические данные через API-интерфейсы Foundation Model

Google TechTalk, представленный Сивакантом Гопи, 01.06.2023 Семинар Google по алгоритмам. АННОТАЦИЯ: Генерация качественных синтетических данных DP — это Святой Грааль исследований DP. Текущая SOTA заключается в тонкой настройке предобученной генеративной модели на приватных данных с помощью DPSGD и использовании её для генерации синтетических данных DP. Однако тонкая настройка DP обременительна, и у нас может не быть доступа к весам предобученных базовых моделей. В данной работе мы показываем, что можем генерировать синтетические данные DP через API (DPSDA), где базовые модели рассматриваются как «чёрные ящики» и используются только их API для вывода. Такой подход позволяет использовать возможности больших базовых моделей с неизвестными весами моделей и прост в использовании, поскольку не требует обучения модели. Однако это сопряжено с большими сложностями из-за строго ограниченного доступа к модели и дополнительной необходимости защиты конфиденциальности со стороны поставщика API. Мы представляем новый фреймворк под названием Private Evolution (PE), предназначенный для решения этой проблемы и демонстрирующий его первоначальные перспективы на синтетических изображениях. Удивительно, но PE может сравниться или даже превзойти современные методы тонкой настройки DP (SOTA). Например, на CIFAR10 (с ImageNet в качестве публичных данных) мы достигли FID 8 со стоимостью конфиденциальности ϵ = 0,67, что значительно улучшило предыдущий SOTA с ϵ = 32. Результаты основаны на совместной работе с Зинаном Лином, Джанардханом Кулкарни, Харшей Нори и Сергеем Еханиным. О докладчике: Сивакант Гопи — старший научный сотрудник группы алгоритмов в Microsoft Research Redmond. Он получил докторскую степень по информатике в Принстонском университете в 2018 году, получив награду STOC за лучшую работу в области поиска конфиденциальной информации. Он окончил бакалавриат Индийского технологического института Бомбея по специальности «Информатика» и дополнительной специальности «Математика». Его основные научные интересы лежат в области теории кодирования и ее применения как в теории, так и на практике, а также дифференциальной приватности.