Senior Data Engineer

Мы нанимаем Senior Data Engineer, который присоединится к команде доставки Intellias в рамках масштабной программы миграции корпоративной платформы данных для клиента из финансового сектора. Это практическая старшая роль. Вы будете писать производственный код каждую неделю, принимать архитектурные решения в своей рабочей области и наставлять партнёра‑инженера среднего уровня.

• Осуществлять сквозную поставку одного или нескольких приоритетных доменов данных на Azure Databricks.
• Проектировать и создавать медальонные (Bronze / Silver / Gold) конвейеры с использованием Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming и Delta Lake с Liquid Clustering.
• Регистрировать курируемые продукты данных в Unity Catalog с правильными тегами, масками, строковыми фильтрами, прослеживаемостью и политиками доступа.
• Внедрять контрольные точки качества данных на границе Silver‑to‑Gold и уточнять правила совместно с владельцами доменов.
• Пакетировать и развёртывать работу с помощью Databricks Asset Bundles через Azure DevOps CI/CD
• Писать автоматизированные тесты и документацию
• Работать на уровне AI‑as‑Collaborator уже сегодня с перспективой перехода к AI‑as‑Orchestrator, используя Claude Code, Databricks Assistant, GitHub Copilot и инструменты MCP‑connected agent для ускорения повторяющихся этапов построения, тестирования и развёртывания конвейеров.

• 6+ лет опыта в области инженерии данных, из которых как минимум последние три года вы работали с Databricks в продакшене.
• Глубокий практический опыт работы с медальонной / Lakehouse архитектурой, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines и Databricks Asset Bundles.
• Сильные навыки python, PySpark и SQL, уверенное диагностирование проблем производительности на больших нагрузках через Spark UI и Photon.
• Реальный опыт продакшн‑использования потоковой загрузки (Kafka Structured Streaming, Auto Loader) и паттернов CDC.
• Опыт внедрения качества данных в масштабе (Great Expectations или аналог), а также прослеживаемости, каталогизации и контроля доступа.
• CI/CD на платформах данных через Azure DevOps или GitHub Actions, с инфраструктурой как код (Terraform или аналог).
• Свободный рабочий английский.

• Действующие сертификаты Databricks
• Предыдущий опыт работы с платформами управления инвестициями, данными операций по управлению активами, рыночными данными от крупных поставщиков
• Сертификация CDMP DAMA или эквивалентный документ по управлению данными.
• Опыт применения агентных инженерных инструментов в продакшн‑инженерии данных (не только для личной продуктивности), включая MCP‑connected Databricks или облачные серверы.

Мы привержены развитию справедливости, разнообразия и инклюзии как работодатель, предоставляющий равные возможности. Все соискатели будут рассматриваться без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или выражения, статуса ветерана или любого другого признака, защищённого применимым законодательством.

Мы приветствуем и ценим уникальность каждого человека. Присоединяйтесь к Intellias, чтобы построить карьеру, где ваши взгляды и вклад имеют решающее значение для нашего общего успеха.