Обзор 63 аспектов ответственного ИИ для профессионального инженера по машинному обучению в Google... скачать в хорошем качестве

Обзор 63 аспектов ответственного ИИ для профессионального инженера по машинному обучению в Google...

Цель встречи Обзор концепций ответственного ИИ для экзамена GCP Machine Learning Associate. Ключевые выводы Предвзятость — критическая инженерная проблема Конфликт метрик справедливости Объяснимость укрепляет доверие и обеспечивает соответствие требованиям Машинное обучение, сохраняющее конфиденциальность, защищает конфиденциальные данные Ответственный ИИ: краткое изложение Почему ответственный ИИ важен Системы машинного обучения влияют на важные решения, такие как кредитование, найм и медицинское обслуживание. Предвзятость, непрозрачность или нарушения конфиденциальности могут нанести реальный вред обществу. Ответственный ИИ рассматривается как инженерное требование, а не как философская концепция. Предвзятость: типы и обнаружение Распространенные типы предвзятости Историческая: Прошлая дискриминация, заложенная в данных. Репрезентативная: Некоторые группы недостаточно представлены. Измерительная: Прокси-признаки коррелируют с защищенными атрибутами. Агрегационная: Одна модель игнорирует различия между подгруппами. Обнаружение Предварительное обучение: анализ распределения признаков и меток по демографическим группам. После обучения: сравнение показателей производительности по подгруппам. Пример: высокая общая точность, но более низкая точность в подгруппах сигнализирует о предвзятости. Показатели справедливости Демографическое равенство: равные показатели прогнозирования в разных группах. Равные возможности: равные показатели истинно положительных результатов для квалифицированных лиц. Выровненные шансы: равные показатели истинно положительных и ложноположительных результатов. Справедливость для отдельных лиц: похожие лица получают схожие результаты. Ключевой вывод: показатели часто противоречат друг другу; правильный показатель зависит от контекста (например, равные возможности при кредитовании, демографическое равенство при найме). Стратегии смягчения предвзятости Предварительная обработка Передискретизация или перевзвешивание данных. Компромисс: может снизить точность. Внутрипроцессная обработка Ограничения справедливости или устранение предвзятости в процессе обучения. Постобработка Корректировка пороговых значений или калибровка выходных данных. Преимущество: Не требуется переобучение; идеально подходит для развернутых моделей. Объясняемость Сложные модели не обладают прозрачностью, но требуют обоснования. Объясняемый ИИ Vertex: Атрибуция признаков для прогнозов. Методы: Значения Шапли, интегрированные градиенты, XRAI. Примеры применения: Соответствие требованиям, аудит, доверие пользователей. Инструменты, не зависящие от модели: LIME и SHAP. Модельное обучение с сохранением конфиденциальности Дифференциальная конфиденциальность: Добавляет шум для предотвращения восстановления данных. Федеративное обучение: Обучает модели без централизации данных. Минимизация данных: Собирает и сохраняет только необходимые данные. Модельные карты Структурированная документация, охватывающая: Предназначение Данные и архитектура обучения Ограничения и оценка справедливости Этические риски Используется для обеспечения прозрачности, соответствия требованиям и коммуникации с заинтересованными сторонами. Тестирование и исправление ошибок Тестирование: враждебные входные данные, стресс-тесты подгрупп, тестирование на «красную команду». Исправление ошибок Немедленное: откат или снижение трафика. Краткосрочное: исправления после обработки. Долгосрочное: улучшение данных, алгоритмов, функций и проверка человеком. Мониторинг и управление Предвзятость может возникнуть после развертывания. Мониторинг производительности подгрупп и отклонения от принципов справедливости. Настройка оповещений о пробелах в производительности. Проведение регулярных аудитов. Организационные практики Ответственный ИИ требует управления: Разнообразные команды Советы по этической экспертизе Взаимодействие с заинтересованными сторонами Планы реагирования на инциденты