Senior Data Platform Engineer (Microsoft Fabric)

Клиент создаёт платформу анализа и скоринга рисков нового поколения на Microsoft Fabric, и эта роль отвечает за её архитектуру данных medallion от начала до конца. Вы будете проектировать и создавать таблицы Delta уровней Bronze / Silver / Gold, конвейеры признаков на Fabric Spark, семантические модели Direct Lake и оптимизации физического размещения данных. Это самая загруженная инженерная роль в проекте — она ключевая как для Phase 1 (фундамент платформы), так и для Phase 2 (поставка риск-продукта). Вы будете работать вместе с Senior Technical Lead, Senior DevOps engineer и разработчиком уровня middle.

• Проектировать и реализовывать схемы таблиц Delta уровней Bronze, canonical Silver и Gold с физическим размещением, безопасным для PAN, — настройка allowlist статистики, liquid clustering, осознанные настройки хранения (retention), оптимизация V-Order.
• Создавать ноутбуки Fabric Spark для конвейера признаков (скользящие признаки скорости по окнам 24h / 7d / 30d, скользящие признаки на уровне мерчанта, иерархические агрегации, признаки между мерчантами через соединения по pan_token).
• Разрабатывать адаптеры Silver для каждой версии flavor — по одной функции на flavor, объединение по имени, тестирование на эталонных (golden) фикстурах.
• Построить канонический MERGE DAG (Bronze → canonical Silver, идемпотентный по _natural_key в соответствии с внутренней канонической спецификацией Fabric компании Aperia v1.4).
• Построить конвейер материализации Gold для обоих уровней детализации (fact_transaction_risk, fact_merchant_risk) с корректной маркировкой источника скора и идемпотентной семантикой merge.
• Проектировать и реализовывать семантические модели Direct Lake для каждой отчётной поверхности; проводить тестирование производительности на репрезентативных объёмах данных.
• Настраивать структуры пространств имён OneLake, каталоги рабочих пространств и связи через shortcut между рабочими пространствами в рамках программы residuals.
• Выстроить идемпотентные паттерны записи Delta с помощью delta-rs из контейнеров Python (сегментированные параллельные записи с единым атомарным коммитом).
• Подбор ёмкости Fabric (выбор F-SKU, нагрузочное тестирование, решения Reservation vs PAYG).
• Сотрудничать с инженером DevOps по Fabric IaC (развёртывание ёмкости через Terraform и начальная настройка рабочего пространства через Fabric REST).
• Консультировать по запасному варианту на ClickHouse, если задержка Direct Lake окажется недостаточной для клиентских UI.

• 5+ лет опыта в инженерии данных, из них не менее 2 лет практической разработки на Spark (предпочтительно PySpark).
• Глубокое знание внутреннего устройства Delta Lake — формат журнала транзакций, чекпоинты, настройки хранения (logRetentionDuration, deletedFileRetentionDuration), VACUUM, OPTIMIZE, deletion vectors, сбор статистики.
• Экспертные знания формата Parquet — footers, allowlist статистики, размер row-group, dictionary encoding, индексы столбцов.
• Практический опыт работы с Microsoft Fabric — рабочие пространства, ёмкости, ноутбуки, lakehouse, семантические модели, Direct Lake, SQL analytics endpoint.
• Навыки оптимизации производительности SQL как для нагрузок OLAP (Fabric), так и OLTP (PostgreSQL).
• Сильные навыки инженерии данных на Python — pandas, PyArrow, delta-rs.
• Умение чётко излагать архитектуру в письменном виде и самостоятельно работать над чётко очерченными задачами.

• Опыт работы с платформой данных в области PCI.
• Опыт в сфере финансовых услуг или платежей.
• Создание семантических моделей Power BI (DAX).
• Знакомство с опубликованными паттернами governance стандартов данных — логическая модель vs физический профиль, измерения SCD2, идемпотентность по естественному ключу, хранилища атрибутов расширений.
• Shortcut-ы OneLake и паттерны lakehouse между рабочими пространствами.
• Знакомство с ClickHouse или аналогичным OLAP-движком.
• Terraform для ресурсов данных Azure.
• Предыдущий опыт работы с гибкими или schema-flexible паттернами загрузки данных.

• Гибкие условия сотрудничества, в том числе удалённо
• Международные проекты с ведущими мировыми клиентами
• Поездки, связанные с международными проектами
• Некорпоративная атмосфера
• Доступ* к языковым курсам
• Доступ* к инициативам по обмену знаниями
• Доступ* к частной медицинской страховке и страхованию жизни
• Доступ* к карте multisport

*Доступность и условия отдельных льгот могут различаться в зависимости от выбранной формы сотрудничества.