Data Analyst (Middle)

ИщемData Analyst уровня Middle в команду развития банковского хранилища данных (DWH).

Нам нужен специалист, который уверенно владеет аналитикой и SQL, умеет работать с большими объёмами данных и понимает архитектуру корпоративного хранилища, подход Data Vault 2.0 и специфику банковской предметной области.

• Анализ и обработка больших объёмов данных в DWH.
• Написание и оптимизация SQL-запросов в Greenplum.
• Анализ источников данных, выявление взаимосвязей, дубликатов и проблем качества данных.
• Участие в проектировании и развитии моделей данных на основе Data Vault 2.0.
• Анализ бизнес-требований и их трансформация в требования к данным и витринам.
• Проработка маппингов по цепочке: источник → DWH → витрина.
• Участие в разработке и сопровождении бизнес- и аналитических витрин.
• Проверка корректности загрузки данных и проведение сверок между источниками и DWH.
• Автоматизация регулярных процессов обработки данных с использованием Apache Airflow.
• Взаимодействие с разработчиками, архитекторами, бизнес-заказчиками и BI-командами.
• Участие в поиске и устранении проблем качества данных и расхождений.

• Понимание основных принципов Data Vault 2.0.
• Понимание назначения и различий Hub, Link и Satellite.
• Знание принципов построения Raw Vault и Business Vault.
• Понимание историчности данных и принципов загрузки изменений.
• Понимание hash key / hash diff и принципов дедупликации.
• Умение читать и анализировать модель данных, построенную по Data Vault 2.0.

• Уверенное знание SQL на уровне Middle.
• Сложные SELECT, JOIN, CTE, оконные функции и подзапросы.
• Понимание принципов работы с большими объёмами данных.
• Умение анализировать планы выполнения запросов.
• Понимание принципов распределения данных и специфики Greenplum.
• Опыт оптимизации SQL-запросов и поиска причин деградации производительности.

• Практический опыт работы с Apache Airflow.
• Понимание понятий DAG, task, operator, dependency.
• Умение читать и анализировать существующие DAG.
• Навык создания и сопровождения простых DAG.
• Понимание расписаний, повторных запусков (retries), логирования и контроля ошибок.

• 2–4 года опыта в Data Analytics, Data Engineering или DWH.
• Уверенное знание SQL.
• Практический опыт работы с Greenplum или другой MPP-СУБД.
• Знание Data Vault 2.0 на уровне уверенного понимания архитектуры и принципов построения моделей.
• Опыт работы с Apache Airflow.

• Желателен практический опыт проектирования или разработки объектов Data Vault.

Большим плюсом будет опыт работы с банковскими АБС и источниками данных, например ЦФТ, а также опыт построения банковских витрин и отчётности.

• Понимание особенностей партиционирования и распределения таблиц будет плюсом.
• Желательно понимание взаимодействия Airflow с DWH и ETL/ELT-процессами.