Атуса Касирзаде — Скрытые подводные камни агентов-ученых с искусственным интеллектом [Семинар по ... скачать в хорошем качестве

Атуса Касирзаде — Скрытые подводные камни агентов-ученых с искусственным интеллектом [Семинар по ...

Атуса Касирзаде раскрывает критические недостатки в системах искусственного интеллекта для научных исследований, которые автоматизируют научные изыскания от гипотезы до публикации. Ее экспериментальный анализ Agent Laboratory и AI Scientist версии 2 выявил четыре методологических недостатка: неподходящий выбор эталонных показателей, утечка данных, неправильное использование метрик и предвзятость при выборе показателей после завершения исследования. Тестирование подтвердило, что эти системы просматривают тестовые данные во время обучения и систематически выбирают более простые эталонные показатели, избегая при этом репрезентативных. Учитывая, что статьи, созданные с помощью ИИ, уже приняты к публикации на конференциях ACL и ICLR, Касирзаде предупреждает, что автоматизированное научное открытие рискует подорвать целостность исследований без надлежащих механизмов проверки. Примечание: Мнения, высказанные на этом мероприятии, принадлежат докладчику(ам) и могут не отражать взгляды FAR.AI или связанных с ними организаций.