[OTUS] Качество данных / Data Quality (Александр Бергер, Татьяна Водовозова)

​

Для кого этот курс?

• Аналитики и дата-инженеры, которые работают с данными
• Менеджеры данных и специалисты по Data Governance
• Руководители и специалисты по цифровой трансформации

Необходимые знания

• Понимание работы с данными – опыт работы с таблицами, SQL, Excel или BI-инструментами
• Базовые знания SQL – умение писать простые запросы (SELECT, JOIN, WHERE)
• Знание Python для аналитики данных
• Общий опыт работы с корпоративными данными – понимание, как хранятся и обрабатываются данные в компаниях

После обучения вы сможете:

• Внедрять процессы Data Quality и Data Governance в компании;
• Автоматизировать контроль качества данных с помощью современных инструментов
• Работать с метаданными, Data Catalog и управлять бизнес-терминами
• Настраивать и оптимизировать проверки качества данных (DQ Checks)
• Выстраивать взаимодействие между бизнесом, IT и аналитиками для управления данными

Дополнительно на курсе вы:

• Будете работать над проектами, которые можно адаптировать под свою текущую работу, создавая решения для реальных задач
• Изучите современные инструменты и актуальные решения и сможете использовать их в реальных проектах

Инструменты, которые вы освоите:

• Soda – инструмент для автоматизации контроля качества данных. Он позволяет настроить проверки качества данных, отслеживать ошибки и генерировать отчёты для принятия решений
• OpenMetadata – платформа для управления метаданными, которая позволяет строить Data Catalog, отслеживать lineage данных и организовывать процессы Data Governance
• Airflow – инструмент для автоматизации рабочих процессов и ETL-пайплайнов. Он помогает создавать, планировать и отслеживать задачи в рамках данных процессов, обеспечивая прозрачность и контроль