Senior Databricks Data Platform Engineer

Мы ищем высококвалифицированного и мотивированного Databricks Platform Engineer в основную команду Lakehouse Platform. Эта роль сосредоточена на разработке и развитии самой платформы Lakehouse на базе Databricks: создании продвинутых возможностей платформы, переиспользуемых сервисов, фреймворков автоматизации и корпоративных интеграций, которые обеспечивают работу экосистемы Data & AI компании ADIA в больших масштабах. Платформа поддерживает конвейеры данных и аналитические нагрузки, но это не традиционная роль дата-инженера, ориентированная на создание ETL-задач или поставку наборов данных. Вместо этого роль сосредоточена на следующем:

• Проектирование и разработка общих возможностей платформы
• Создание внутренних библиотек и API
• Внедрение шаблонов governance, безопасности и интеграции
• Обеспечение масштабируемости, надёжности и операционного совершенства

Идеальный кандидат сочетает глубокую экспертизу в разработке программного обеспечения на Python с хорошим пониманием инфраструктуры и опытом интеграции корпоративных систем. Чёткая, точная и грамотная коммуникация обязательна. Основной фокус этой роли — создание и развитие возможностей платформы, а не разработка бизнес-ETL-конвейеров или наборов данных для отчётности.

• Разработка возможностей платформы
• Взаимодействовать с заинтересованными сторонами при уточнении требований и планировании спринтов, чтобы обеспечить соответствие стратегии платформы и корпоративным стандартам.
• Проектировать и реализовывать технические решения на платформе Lakehouse (Databricks) компании ADIA, включая: o Прототипирование и вывод в продуктив новых возможностей платформы. o Разработку переиспользуемых библиотек на Python, SDK и внутренних фреймворков. o Предоставление возможностей платформы для поддержки стратегии Data Products компании ADIA и более широкой экосистемы Data & AI.
• Создавать автоматизацию для провижининга, контроля governance, управления конфигурацией и операционных стандартов. Корпоративная интеграция и API
• Интегрировать платформу Lakehouse с корпоративными системами, включая: o Системы управления инцидентами и мониторинга (например, ServiceNow). o Решения для управления идентификацией и доступом. o Платформы наблюдаемости (например, Dynatrace, Prometheus, Grafana).
• Проектировать и реализовывать безопасные интеграции на основе API с использованием корпоративных механизмов аутентификации и авторизации. Надёжность, качество и эксплуатация
• Разрабатывать и поддерживать модульные и интеграционные тесты для обеспечения качества и устойчивости компонентов платформы.
• Поддерживать QA-команды при приёмочном тестировании функций платформы.
• Выступать в роли инженера третьей линии при сложных инцидентах в продуктиве, влияющих на стабильность платформы.
• Взаимодействовать с командами облачной инфраструктуры для создания безопасной, масштабируемой и надёжной архитектуры платформы.

• Минимум 10 лет опыта в IT/Data.
• Минимум 3 года экспертного опыта работы с Databricks с точки зрения обеспечения возможностей платформы.
• Более 3 лет опыта проектирования, написания и поддержки API, используемых для автоматизации платформы, serverless-воркфлоу, конвейеров развёртывания, управления релизами и управления репозиториями
• Продвинутые навыки Python для разработки библиотек и сервисов производственного уровня.
• Хорошее понимание концепций распределённой обработки данных (знание PySpark будет плюсом, но не ограничивается сценариями ETL).
• Опыт проектирования и интеграции REST API.
• Продвинутые навыки SQL для диагностики проблем и оптимизации производительности (например, Oracle, MS SQL).
• Опыт работы с Git и воркфлоу CI/CD.
• Знакомство с инструментами мониторинга и наблюдаемости (например, ServiceNow, Prometheus, Grafana).
• Знание инструментов планирования и оркестрации (например, Stonebranch, Control-M, Airflow).
• Понимание фреймворков качества данных и governance (например, Great Expectations).
• Уверенное знание основ облачной инфраструктуры: o DNS o Сертификаты o Управление идентификацией и доступом o Концепции сетей o Балансировка нагрузки

• Контейнеризация и оркестрация: Docker, Kubernetes.
• Infrastructure as Code (IaC): Terraform.
• Понимание предметной области инвестиционных данных (желательно).