Intellias

Senior Data Engineer – Remote – Poland, Portugal, Spain, Ukraine

• Выполнять сквозную доставку одного или нескольких приоритетных доменов данных в Azure Databricks.
• Проектировать и строить медальонные (Bronze / Silver / Gold) конвейеры с использованием Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming и Delta Lake с Liquid Clustering.
• Регистрировать курируемые продукты данных в Unity Catalog с правильными тегами, масками, фильтрами строк, линией происхождения и политиками доступа.
• Реализовывать контроль качества данных на границе Silver‑to‑Gold и уточнять правила совместно с владельцами доменов.
• Пакетировать и развёртывать работу с помощью Databricks Asset Bundles через Azure DevOps CI/CD.
• Писать автоматические тесты и документацию.
• Работать на уровне AI‑as‑Collaborator уже сегодня с перспективой перехода к AI‑as‑Orchestrator, используя Claude Code, Databricks Assistant, GitHub Copilot и инструменты, подключённые к MCP, для ускорения повторяющихся частей построения, тестирования и развёртывания конвейеров.

• 6+ лет опыта в области инженерии данных, из которых как минимум последние три года вы работали с Databricks в продакшене.
• Глубокий практический опыт с медальонной / Lakehouse архитектурой, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines и Databricks Asset Bundles.
• Сильные навыки python, PySpark и SQL, уверенное диагностирование проблем производительности на больших нагрузках через Spark UI и Photon.
• Реальный продакшн‑опыт потоковой загрузки (Kafka Structured Streaming, Auto Loader) и паттернов CDC.
• Опыт внедрения контроля качества данных в масштабе (Great Expectations или аналогичный), а также линии происхождения, каталогизации и контроля доступа.
• CI/CD для платформ данных через Azure DevOps или GitHub Actions, с инфраструктурой как код (Terraform или аналогичный).
• Свободный рабочий английский.

• Активные сертификаты Databricks
• Предыдущий опыт работы с инвестиционными управленческими платформами, данными операций по управлению активами, рыночными данными от крупных провайдеров
• Сертификация CDMP DAMA или эквивалентный сертификат в области управления данными.
• Опыт применения инструментов агентной инженерии в продакшн‑инженерии данных (не только для личной продуктивности), включая MCP‑connected Databricks или облачные серверы.

В Intellias, где технологии находятся в центре внимания, люди всегда ставятся выше процессов. Создавая комфортную атмосферу в нашей команде, мы даём возможность каждому раскрыть свой истинный потенциал и достичь выдающихся результатов. Поэтому мы предлагаем набор преимуществ, поддерживающих ваше благополучие и способствующих профессиональному росту.

Мы привержены развитию равенства, разнообразия и инклюзивности как работодатель с равными возможностями. Все соискатели будут рассматриваться без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или выражения, статуса ветерана или любого другого признака, защищённого применимым законодательством.

Мы приветствуем и ценим уникальность каждого человека. Присоединяйтесь к Intellias, чтобы построить карьеру, где ваши взгляды и вклад имеют решающее значение для нашего общего успеха.