Сэм Боуман — Уроки, извлеченные из первого случая нарушения соосности, связанного с безопасностью... скачать в хорошем качестве

Сэм Боуман — Уроки, извлеченные из первого случая нарушения соосности, связанного с безопасностью...

Сэм Боумен обсуждает отчёт Anthropic о рисках саботажа пилотного проекта Claude Opus 4 – первый анализ безопасности, проведённый передовой лабораторией, посвящённый риску канонического несоответствия. Шестимесячный анализ потребовал сбора информации от сотен людей и привёл к составлению 60-страничного отчёта, в котором выделено 9 типичных путей к катастрофическому ущербу. Исследование показало, что существующие модели уже способны «творить множество довольно пугающих вещей» без мониторинга, в то время как традиционный трёхкомпонентный подход к безопасности (возможности, соответствие, контроль) оказался неэффективным для современных моделей. Работа с реальными развёртываниями выявила критические ограничения, которые не были учтены в гипотетических учениях. Anthropic взяла на себя обязательство подготовить аналогичные отчёты о рисках для всех будущих моделей, продвигающихся вперёд. Примечание: Мнения, высказанные в ходе данного мероприятия, принадлежат докладчикам и могут не отражать точку зрения FAR.AI или связанных с ними организаций.