Senior Data Engineer (Fabric and Databricks)

Мы ищем опытного Senior Data Engineer для построения и оптимизации масштабируемых платформ данных с использованием Microsoft Fabric, Databricks (и/или Snowflake). Роль сосредоточена на проектировании надёжных конвейеров данных, моделей lakehouse и warehouse, а также семантических слоёв, которые поддерживают корпоративную аналитику, BI и сценарии использования AI/Gen AI.

• Проектировать, создавать и поддерживать сквозные решения данных на Microsoft Fabric, Databricks, включая Pipelines, Notebooks, Lakehouse, Data Warehouse и Semantic Models.
• Реализовывать масштабируемый ввод, трансформацию и загрузку данных (ETL/ELT) с помощью Fabric Pipelines и PySpark.
• Разрабатывать надёжные модели данных и схемы, оптимизированные для аналитики, отчётности и потребления AI.
• Создавать и поддерживать семантические модели для поддержки Power BI и корпоративных BI‑решений.
• Инженерить высокопроизводительные решения данных, отвечающие требованиям пропускной способности, масштабируемости, качества и безопасности.
• Писать эффективный код на PySpark и SQL для крупномасштабной трансформации данных, управления качеством данных и обработки бизнес‑правил.
• Создавать переиспользуемые компоненты фреймворка для конвейеров, управляемых метаданными, и автоматизации.
• Оптимизировать производительность Lakehouse и Data Warehouse, включая партиционирование, индексацию, оптимизацию Delta и настройку вычислительных ресурсов.
• Разрабатывать и поддерживать хранимые процедуры и продвинутую SQL‑логику для операционных нагрузок.
• Проектировать и готовить наборы данных, готовые к использованию в AI и GenAI приложениях.
• Сотрудничать с дата‑учёными и ML‑инженерами для вывода AI‑конвейеров в продакшн.
• Внедрять практики управления данными и метаданными, необходимые для ответственного AI.
• Использовать возможности Fabric, Databricks для оркестрации и мониторинга AI‑связанных рабочих процессов данных.
• Применять стандарты управления данными, конфиденциальности и безопасности ко всем созданным активам.
• Реализовывать лучшие практики мониторинга, оповещения и наблюдаемости для конвейеров и вычислительных нагрузок.
• Руководить инициативами по качеству данных, включая фреймворки валидации, профилирование и обнаружение аномалий.
• Сотрудничать с командами аналитики, BI, data science и продуктами для понимания требований и их трансформации в технические решения.
• Наставлять младших инженеров и вносить вклад в стандарты и паттерны инженерии.
• Участвовать в обзорах архитектуры, технических дизайн‑сессиях и планировании дорожной карты.
• Разрабатывать и предоставлять дашборды и отчёты с использованием Power BI и Tableau.

• Степень бакалавра или магистра в области компьютерных наук, инженерии, Data Science или эквивалентный опыт.
• 7+ лет профессионального опыта в области инженерии данных или смежных дисциплин.
• Обязательная практическая экспертиза с Microsoft Fabric, Databricks или Snowflake, включая: Pipelines, Notebooks, Lakehouse, Data Warehouse, Semantic Models.
• Продвинутый уровень владения PySpark для распределённой обработки данных.
• Сильные навыки работы с SQL для аналитических и операционных нагрузок.
• Опыт разработки и оптимизации хранимых процедур и сложных SQL‑трансформаций.
• Понимание архитектур GenAI, векторизации, конвейеров эмбеддингов и подготовки данных для использования LLM.
• Глубокие знания моделирования данных, паттернов ETL/ELT и современных принципов lakehouse.
• Опыт проектирования и оптимизации крупномасштабных конвейеров данных в облачных средах (предпочтительно Azure).
• Отличные навыки решения проблем с возможностью анализа сложных рабочих процессов данных.
• Владение созданием интерактивных дашбордов и отчётов с использованием Power BI и Tableau.

Orion является работодателем, предоставляющим равные возможности, и все квалифицированные соискатели получат рассмотрение их заявок без учёта расы, цвета кожи, вероисповедания, религии, пола, сексуальной ориентации, гендерной идентичности или выражения, беременности, возраста, национального происхождения, статуса гражданства, статуса инвалидности, генетической информации, защищённого статуса ветерана или любого другого признака, защищённого законом.

Candidate Privacy Policy

Orion Systems Integrators, LLC и её дочерние компании и аффилированные лица (совместно «Orion», «мы» или «нас») привержены защите вашей конфиденциальности. Эта Candidate Privacy Policy («Уведомление») объясняет:

• Какую информацию мы собираем в процессе подачи заявки и рекрутинга и зачем мы её собираем;
• Как мы обрабатываем эту информацию; и
• Как получить доступ к этой информации и обновить её.

Ваше использование сервисов Orion регулируется применимыми условиями данного уведомления и нашей общей Политикой конфиденциальности.