Атака хвостов: да, вы действительно можете использовать бэкдор для федеративного обучения скачать в хорошем качестве

Атака хвостов: да, вы действительно можете использовать бэкдор для федеративного обучения

Google TechTalk, 30 июля 2020 г., доклад Димитриса Папайлиопулоса, Висконсинский университет в Мадисоне АННОТАЦИЯ: Благодаря своей децентрализованной природе федеративное обучение (ФО) подвержено состязательным атакам в виде бэкдоров во время обучения. В литературе описан ряд атак с использованием бэкдоров в ФО, а также методы защиты от них. В настоящее время остается открытым вопрос о том, можно ли адаптировать системы ФО для обеспечения устойчивости к бэкдорам. В данной работе мы приводим доказательства обратного. Сначала мы устанавливаем, что устойчивость к бэкдорам подразумевает устойчивость модели к состязательным примерам, что само по себе является серьезной нерешенной проблемой. Более того, обнаружение наличия бэкдора в модели ФО маловероятно при использовании оракулов первого порядка или полиномиального времени. Мы объединяем наши теоретические результаты с новым семейством атак с использованием бэкдоров, которые мы называем бэкдорами для пограничных случаев. Бэкдор, работающий в пограничных случаях, заставляет модель ошибочно классифицировать, казалось бы, простые входные данные, которые, однако, вряд ли являются частью обучающих или тестовых данных, то есть находятся в хвосте входного распределения. Мы объясняем, как эти бэкдоры, работающие в пограничных случаях, могут привести к нежелательным сбоям и серьёзным последствиям для справедливости, и показываем, что при тщательной настройке со стороны злоумышленника их можно внедрить в ряд задач машинного обучения (например, классификацию изображений, оптическое распознавание символов, прогнозирование текста, анализ тональности текста).