MedAI #89: MedCLIP — контрастное обучение на основе непарных медицинских изображений и текста | Ц... скачать в хорошем качестве

MedAI #89: MedCLIP — контрастное обучение на основе непарных медицинских изображений и текста | Ц...

Название: MedCLIP — Контрастное обучение на основе непарных медицинских изображений и текста Докладчик: Цзыфэн Ван Аннотация: Существующие методы контрастного обучения «зрение-текст», такие как CLIP, направлены на сопоставление парных изображений и подписей, одновременно отталкивая другие, что улучшает переносимость представления и поддерживает прогнозирование с нулевой точностью. Однако наборы медицинских изображений и текстов на порядок ниже, чем обычные изображения и подписи из интернета. Более того, предыдущие методы дают много ложноотрицательных результатов, то есть изображения и сообщения от разных пациентов, вероятно, имеют одинаковую семантику, но ошибочно воспринимаются как отрицательные. В данной статье мы разделяем изображения и тексты для мультимодального контрастного обучения, тем самым масштабируя используемые обучающие данные в комбинаторной величине с низкими затратами. Мы также предлагаем заменить потерю InfoNCE потерей семантического сопоставления, основанной на медицинских знаниях, для устранения ложноотрицательных результатов при контрастном обучении. Мы доказали, что MedCLIP — простая, но эффективная платформа: она превосходит современные методы в области нулевого прогнозирования, контролируемой классификации и поиска изображений и текста. Удивительно, но MedCLIP превосходит современный метод (использующий около 200 тысяч данных для предобучения) уже при наличии всего 20 тысяч данных. Биография докладчика: Цзыфэн Ван — аспирант кафедры компьютерных наук Университета Уинфри (UIUC). Его научные интересы включают AI4Health, AI4Drug и обработку естественного языка (NLP). Он публиковался в NeurIPS, ICLR, KDD, AAAI, EMNLP и других журналах. Он получил награду за лучшую студенческую работу на конференции PAKDD'21. Его исследование спонсируется мемориальными стипендиями Юнни и Максин Пао и мемориальной стипендией Йи. ------ Сессии MedAI Group Exchange — это платформа, где мы можем критически рассмотреть ключевые темы в области искусственного интеллекта и медицины, генерировать свежие идеи и обсуждать их взаимосвязь, а главное, учиться друг у друга. Мы будем проводить еженедельные сессии, на которых приглашенные спикеры выступят с докладами о своих работах, после чего последует интерактивное обсуждение и ответы на вопросы. Наши сессии проходят каждый четверг с 13:00 до 14:00 по тихоокеанскому времени. Чтобы получать уведомления о предстоящих сессиях, подпишитесь на нашу рассылку: https://mailman.stanford.edu/mailman/... Подробнее о MedAI можно узнать на нашем сайте: https://medai.stanford.edu. Подпишитесь на нас в Твиттере @MedaiStanford Организовано сотрудниками Лаборатории Рубина (http://rubinlab.stanford.edu) и Лаборатории машинного интеллекта в медицине и визуализации (MI-2) Нандита Бхасхар (https://www.stanford.edu/~nanbhas) Амара Тарик (  / amara-tariq-475815158  )