Пратьюш Майни — Проактивное происхождение в моделях фундамента: подготовка к двум будущим регулят... скачать в хорошем качестве

Пратьюш Майни — Проактивное происхождение в моделях фундамента: подготовка к двум будущим регулят...

Базовые модели обучаются на данных веб-масштаба без чёткого отслеживания происхождения, что создаёт фундаментальные проблемы для обеспечения соблюдения авторских прав и подотчётности. В этом докладе я подготовлю нас к двум возможным вариантам будущего регулирования и покажу, как технические механизмы могут решить обе проблемы. В первом случае несанкционированное обучение становится незаконным, требуя от нас доказательства того, обучались ли модели на защищённом контенте. Я представлю метод вывода данных (Dataset Inference), который проверяет, обучались ли модели на целых распределениях, а не на отдельных примерах, и расскажу о STAMP (Spotting Training Artifacts through WaterMarked Pairs) – проактивной платформе для водяных знаков, в которой создатели контента встраивают обнаруживаемые закономерности до начала обучения. STAMP предоставляет статистические гарантии, сохраняющиеся после процесса обучения, что позволяет установить авторство. Во втором случае «значительное использование данных» не проходит тест на добросовестное использование, что требует от нас определения того, что считается осмысленным запоминанием. Я представлю теоретико-компрессионную основу, согласно которой модели запоминают, сжимая информацию о конкретных обучающих примерах в рамках своих параметров, и введу коэффициент состязательного сжатия (ACR) в качестве строгой меры. В совокупности эти фреймворки позволяют нам перейти от реактивного внесения исправлений к проактивному проектированию: если мы сможем строго встроить атрибуцию и измерять запоминание, мы сможем создавать модели, в которых надёжность, права на удаление и соблюдение законодательства будут изначально заложены в них, а не будут добавлены. Биография: Пратюш — докторант кафедры машинного обучения Университета Карнеги-Меллона и один из основателей DatologyAI. В своей работе он разработал масштабируемые и эффективные методы повышения качества данных, на которых обучаются модели машинного обучения. Он также разработал методы, позволяющие нам оценивать, локализовать и снижать запоминание точек данных нейронными сетями. Его работы были отмечены номинацией на премию NeurIPS за лучшую статью, а также многочисленными устными и специальными докладами на крупных конференциях по машинному обучению. Twitter: https://x.com/pratyushmaini Linkedin:   / pratyush-maini   Эта сессия организована сообществом Cohere Labs Open Science Community — площадкой, где исследователи машинного обучения, инженеры, лингвисты, социологи и те, кто учится всю жизнь, общаются и сотрудничают друг с другом. Мы хотели бы выразить особую благодарность Сиддханту Гупте и Вину Ахлувалии, руководителю нашей группы чтения НЛП, за их вклад в организацию этого мероприятия. Если вы хотите поделиться своей работой, присоединяйтесь к нам! Просто заполните форму по адресу https://forms.gle/ALND9i6KouEEpCnz6, чтобы выразить свою заинтересованность в выступлении. Присоединяйтесь к сообществу Cohere Labs Open Science Community, чтобы ознакомиться с полным списком предстоящих мероприятий (https://tinyurl.com/CohereLabsCommuni....