Новый взгляд Neoflex на Data Catalog скачать в хорошем качестве

Новый взгляд Neoflex на Data Catalog

28 сентября в Москве прошла международная конференция Big Data Days 2021, посвященная большим данным, машинному обучению и искусственному интеллекту. В мероприятии приняли участие разработчики, специалисты в области ИТ и пользователи, которые поделились опытом, обсудили передовые методы работы в данных областях. Павел Симанихин, ведущий консультант центра компетенций Big Data компании Neoflex, рассказал в своем выступлении о подходах к управлению сложными Big Data-проектами. Эксперт подробно остановился на проблемах legacy-проектов, а также перечислил ряд подходов к управлению сложностью в проектах Big Data: • создание каталога данных; • унификация среды разработки (переход в облако); • создание единого маркета данных компании. Во второй части своего доклада Павел Симанихин представил инструмент DataLog, позволяющий строить каталог данных на основании артефактов проектов (исходных кодов). В частности, отметил следующие преимущества данного подхода: • информация извлекается из артефактов проекта и формирует каталог данных; • создается автообновляемая и актуальная документация; • не требуется разработка единого регламента работы с данными и исходным кодом; • есть возможность записать правила трансляции проекта, делать unboxing больших проектов. Такой подход позволяет не менять регламенты работы с данными в компании, а также не требует переделывать старые проекты или внедрять общие подходы к разработке.