Lead Microsoft Fabric Data Engineer

Мы ищем опытного Lead Microsoft Fabric Data Engineer для проектирования и реализации масштабных корпоративных решений для работы с данными и аналитики на базе Microsoft Fabric.

Это глубоко практическая роль, сочетающая инженерию данных и ответственность за архитектуру. Успешный кандидат лично будет создавать, оптимизировать и устранять неполадки в решениях на базе OneLake, Lakehouse/Warehouse, Fabric Data Factory, notebooks, SQL/PySpark и семантических моделей Power BI, а также определять архитектурные паттерны и инженерные стандарты для более широкой команды.

Роль требует человека, который свободно переключается между архитектурой и реализацией: принимает технологические и проектные решения, проверяет их на работающих решениях, устраняет проблемы в продакшене и формирует переиспользуемые паттерны, которым могут следовать другие инженеры.

Ключевой акцент — развитие существующей корпоративной среды BI и данных в сторону Microsoft Fabric при сохранении и повышении производительности, надёжности и масштабируемости текущих рабочих нагрузок Power BI и аналитики.

• Проектировать и реализовывать сквозные решения на Microsoft Fabric на базе OneLake, Lakehouse, Warehouse, Data Factory, notebooks, SQL/PySpark и Power BI.
• Создавать и развивать масштабируемые medallion-архитектуры, определяя практичные паттерны для приёма, трансформации, хранения, моделирования и потребления данных.
• Проектировать и реализовывать пакетные и инкрементальные конвейеры данных для реляционных баз данных, файлов, API, облачных сервисов и других корпоративных источников данных.
• Создавать и оптимизировать корпоративные семантические модели Power BI, включая размерностные модели, DAX, агрегации, инкрементальное обновление и правильное использование моделей Import, DirectQuery, Direct Lake и composite.
• Диагностировать и устранять проблемы производительности в конвейерах данных, таблицах Delta, SQL-нагрузках, семантических моделях, отчётах и ёмкости Fabric.
• Определять и внедрять паттерны платформы Fabric, охватывающие рабочие области, домены, среды, совместный доступ к данным в OneLake, безопасность, управление данными (governance) и развёртывание.
• Применять подходящие архитектурные и инженерные паттерны для структурированных, полуструктурированных и крупномасштабных аналитических рабочих нагрузок.
• Внедрять контроль качества данных, сверку, lineage, метаданные, мониторинг и операционные механизмы контроля.
• Выстраивать и поддерживать практики разработки на основе Git, CI/CD, автоматизированного тестирования, развёртывания и управления средами для рабочих нагрузок Fabric.
• Разрабатывать переиспользуемые инженерные паттерны, акселераторы и референсные реализации, которые смогут применять другие команды.
• Поддерживать и оптимизировать существующие корпоративные решения для данных и BI, определяя подходящие возможности для поэтапной модернизации и миграции на Fabric.
• Руководить техническими оценками и proofs of concept через рабочие реализации и измеримые результаты.
• Обеспечивать техническое лидерство в командах инженерии данных, BI, архитектуры, инфраструктуры, безопасности, governance и бизнеса, оставаясь при этом непосредственным участником реализации и поддержки продакшена.
• Вести архитектурную документацию, описания потоков данных, технические стандарты и руководства по реализации на основе поставленных решений и паттернов.

• 8+ лет опыта в инженерии данных, архитектуре данных, аналитической инженерии или реализации корпоративных платформ данных, со значительным практическим опытом реализации.
• Серьёзный практический опыт работы с Microsoft Fabric в продакшене, подтверждённый реализацией в нескольких основных рабочих нагрузках, таких как Lakehouse/Warehouse, конвейеры Data Factory, notebooks, SQL/PySpark и семантические модели Power BI.
• Глубокое практическое понимание OneLake, Fabric Lakehouse, Fabric Data Warehouse, Data Factory, инженерии на основе Spark/notebooks и Power BI.
• Практический опыт реализации medallion-архитектур, Delta Lake, хранилищ на основе Parquet и масштабируемых паттернов обработки данных.
• Серьёзный опыт в приёме данных, трансформации, оркестрации, инкрементальной обработке и крупномасштабных рабочих нагрузках с данными.
• Сильные навыки SQL и практический опыт работы с Python и/или PySpark для продакшен-инженерии данных.
• Прочные основы моделирования данных, включая размерностное моделирование, схемы «звезда», факты и измерения, общие/согласованные измерения (shared/conformed dimensions) и медленно меняющиеся измерения.
• Практический опыт создания и оптимизации корпоративных семантических моделей Power BI, включая DAX, Power Query, агрегации, инкрементальное обновление и оптимизацию производительности.
• Серьёзное практическое понимание Direct Lake, Import, DirectQuery и composite-моделей, включая умение принимать решения о хранении и подключении исходя из объёма данных, актуальности, производительности, конкурентного доступа и требований к ёмкости.
• Опыт диагностики и оптимизации производительности SQL, конвейеров, обработки данных, семантических моделей, отчётов Power BI и рабочих нагрузок Fabric.
• Опыт работы с существующими корпоративными средами данных и BI, а не только с нуля (greenfield), включая устранение неполадок, оптимизацию, модернизацию и поэтапную миграцию.
• Опыт интеграции реляционных баз данных, файлов, API, облачных сервисов и других корпоративных источников данных в современные аналитические платформы.
• Серьёзные практические знания в области безопасности, контроля доступа, governance, lineage и защиты данных, включая Entra ID, RBAC, RLS/OLS, managed identities и связанные корпоративные паттерны.
• Опыт внедрения практик обеспечения качества данных, сверки, observability, мониторинга и операционной надёжности.
• Практическое понимание управления ёмкостью и производительностью Fabric, включая мониторинг рабочих нагрузок, ограничения ёмкости, оптимизацию запросов и соотношение стоимости и производительности.
• Опыт разработки на основе Git, CI/CD, автоматизированного тестирования и управления средами для рабочих нагрузок с данными.
• Умение переводить сложные бизнес- и технические требования в рабочие решения и брать на себя ответственность от проектирования до реализации и поддержки в продакшене.
• Умение обеспечивать техническое лидерство и принимать архитектурные решения, оставаясь сильным практическим исполнителем.
• Сильные коммуникативные навыки и умение эффективно взаимодействовать с заинтересованными сторонами из инженерии, архитектуры, BI, инфраструктуры, безопасности, governance и бизнеса.
• Степень бакалавра в области Computer Science, Data Engineering, Information Systems или эквивалентный практический опыт.
• Готовность посещать офис клиента 2–3 раза в неделю.

• Сертификация Microsoft Fabric (DP-600 и/или DP-700) — настоятельно приветствуется.
• Соответствующие сертификации по Power BI, Azure Data или архитектуре.
• Опыт работы с данными в сферах управления инвестициями, управления активами, облигаций с фиксированным доходом, финансовых продуктов, рисков, комплаенса или дистрибуции.
• Практический опыт работы с Microsoft Purview, Azure Data Lake Storage, Azure Data Factory, Azure Synapse Analytics, Azure Key Vault и Azure Monitor.
• Опыт интеграции Microsoft Fabric с SQL Server, Oracle, Snowflake, Databricks или другими корпоративными платформами данных.
• Опыт модернизации или миграции устаревших хранилищ данных, решений Power BI, Azure Synapse, Azure Data Factory или других корпоративных аналитических рабочих нагрузок на Microsoft Fabric.
• Знание data mesh, доменно-ориентированной архитектуры данных и федеративного governance в корпоративных средах.
• Опыт работы с Fabric Real-Time Intelligence, потоковой обработкой событий или операционной аналитикой.
• Знакомство с TMDL, PBIP, Tabular Editor, XMLA endpoints или автоматизацией семантических моделей.
• Знакомство с Microsoft AI Foundry, GenAI, агентами или аналитикой с использованием ИИ.

Ориентировочный диапазон зарплаты на этой позиции — от 130 000 до 140 000 USD в год. Роль предполагает работу из офиса три дня в неделю в Нью-Йорке/Нью-Джерси, Ньюарке или Тампе, Флорида.