Ответственная оценка ИИ: «Что» и «Как» проводить оценку. скачать в хорошем качестве

Ответственная оценка ИИ: «Что» и «Как» проводить оценку.

Доклад за чаем, 16 января 2026 г. Стандартные методы оценки машинного обучения игнорируют системный вред и важные частные случаи. Проактивное использование методов, заимствованных из таких концепций проектирования безопасности, как FMEA и STPA, имеет важное значение для прогнозирования отказов и вреда. Кроме того, в сообществах ответственного ИИ и справедливости вред в основном сводится к предвзятости данных, что составляет лишь малую часть вреда, который могут причинить системы машинного обучения, и это будет рассмотрено в этом докладе. С другой стороны, производительность базовых моделей не является равномерной в зависимости от изученного распределения/условий и может быть значительно хуже для недостаточно представленных категорий. Поэтому мы предлагаем использовать внутренние сигналы модели, такие как локальная геометрия, которые можно использовать для прогнозирования производительности модели в последующих задачах без необходимости доступа к обучающим данным. Наконец, методы смягчения некоторых системных недостатков, таких как стирание концепций и разучивание, могут привести к непредвиденным побочным эффектам и должны быть обсуждены и рассмотрены.