Семинар 3. Visual Question Answering | Алексей Ковалев, Александр Корчемный скачать в хорошем качестве

Семинар 3. Visual Question Answering | Алексей Ковалев, Александр Корчемный

Осенницй цикл семинаров 2021 Центра Когнитивного Моделирования МФТИ. Проводится еженедельно по четвергам в 17.00. Программа семинаров: https://cogmodel.mipt.ru/seminars-aut... Семинар №3 от 30.09.2021. Visual Question Answering: Применение сценариев и способ их извлечения из текста | Алексей Ковалев, Александр Корчемный В последнее время мультимодальные постановки задач привлекают всё больше исследователей. Пример такой мультимодальной задачи - ответ на вопрос по изображению (Visual Question Answering). На вход модели подается изображение и вопрос на естественном языке об изображении, а модель должна выдать ответ. Существует множество наборов данных для этой задачи (VQA, CLEVR, Visual Genome, VixWiz и др.), но основной объем вопросов в этих данных носит объектный характер. Вопросы спрашивают: о наличии\отсутствии конкретных объектов, их свойствах (цвет, размер, форма, вегетарианский продукт или нет и т.д.), отношении этих свойств, взаимном расположении и отношении объектов друг к другу (слева-справа, часть-целое и т.д.). Очевидно, что такие вопросы покрывают не всё многообразие доступных вариантов. В наборе данных VCR (Visual Commonsense Reasoning) предлагается отвечать на вопросы о ситуациях (сцена в ресторане, ограбление банка, уличный перформанс, и д.р.) и давать объяснения этим ответам. Составители VCR предполагают, что при ответе на такие вопросы, должен использоваться «здравый смысл». В нашей работе мы предлагаем использовать в качестве «здравого смысла» типичные сценарии поведения людей в той или иной ситуации, выделяемые из текстов. На семинаре мы конкретизируем постановку задачи, предложим способ выделения и хранения сценариев, которые могут быть использованы в VQA. Слайды: tba Магистратура и аспирантура по ИИ и робототехнике с повышенной стипендией: https://cogmodel.mipt.ru/applicants Группа ВК: https://vk.com/cogmodel Телеграм: https://t.me/cogmodel Наши семинары открытые - приглашаем принять участие всех желающих. Если у вас есть тема, котоая укладывается в наши направления, пишите по нашим контактам - мы рады расширению сообщества и включим ваш доклад в программу!