Senior Data Engineer

Senior Data Engineer

• Выполнять сквозную поставку одного или нескольких приоритетных доменов данных в Azure Databricks.
• Проектировать и строить медальонные (Bronze / Silver / Gold) конвейеры с использованием Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming и Delta Lake с Liquid Clustering.
• Регистрировать курируемые продукты данных в Unity Catalog с правильными тегами, масками, фильтрами строк, линией происхождения и политиками доступа.
• Реализовывать ворота качества данных на границе Silver-to-Gold и уточнять правила совместно с владельцами доменов.
• Упаковывать и развёртывать работу с помощью Databricks Asset Bundles через Azure DevOps CI/CD.
• Писать автоматизированные тесты и документацию.
• Работать на уровне AI-as-Collaborator сегодня с перспективой AI-as-Orchestrator, используя Claude Code, Databricks Assistant, GitHub Copilot и инструменты, подключённые к MCP, для ускорения повторяющихся частей построения, тестирования и развёртывания конвейеров.

• 6+ лет опыта в инженерии данных, из которых как минимум последние три года в продакшене с Databricks.
• Глубокий практический опыт с медальонной / Lakehouse архитектурой, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines и Databricks Asset Bundles.
• Сильные навыки python, PySpark и SQL, уверенное диагностирование проблем производительности на больших нагрузках через Spark UI и Photon.
• Реальный продакшн‑опыт потоковой загрузки (Kafka Structured Streaming, Auto Loader) и паттернов CDC.
• Опыт внедрения качества данных в масштабе (Great Expectations или аналог), а также линии происхождения, каталогизации и контроля доступа.
• CI/CD на платформах данных через Azure DevOps или GitHub Actions, с инфраструктурой как код (Terraform или аналог).
• Свободный английский в работе.

• Активные сертификаты Databricks
• Предыдущий опыт работы с инвестиционными управленческими платформами, данными операций по управлению активами, рыночными данными от крупных поставщиков
• Сертификация CDMP DAMA или эквивалентный сертификат по управлению данными.
• Опыт применения инструментов агентной инженерии в продакшене инженерии данных (не только для личной продуктивности), включая MCP‑подключённый Databricks или облачные серверы.

В Intellias, где технологии находятся в центре внимания, люди всегда ставятся выше процессов. Создавая комфортную атмосферу в нашей команде, мы даём возможность каждому раскрыть свой истинный потенциал и достичь выдающихся результатов. Поэтому мы предлагаем набор преимуществ, поддерживающих ваше благополучие и способствующих профессиональному росту.

Мы привержены развитию равенства, разнообразия и инклюзивности как работодатель с равными возможностями. Все соискатели будут рассматриваться без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или выражения, статуса ветерана или любого другого признака, защищённого применимым законодательством.