Data Engineer в команду Data Platform

Data Engineer в команду Data Platform

• Проектировать и строить self-serve платформу с нуля: путь домена от подключения источника до опубликованного data product без участия нашей команды.
• Автоматизировать жизненный цикл контрактов данных: описание схемы, версионирование, проверка обратной совместимости на CI, валидация данных на проде, генерация DDL и пайплайнов из контракта.
• Кастомизировать каталог данных и OpenMetadata под нашу модель: собственные сущности и custom properties, автоматическая регистрация data products, lineage от источника до витрины, связка каталога с контрактами, качеством и доступами, доработка API и UI под внутренние сценарии.
• Делать качество и наблюдаемость частью платформы: проверки данных, SLA на data products, алерты, метрики свежести и полноты, контроль стоимости запросов и хранения.
• Заходить в домены и работать вместе с их командами: разбирать модель данных, проектировать data products, переносить существующие пайплайны на платформу, доводить до production.
• Проводить обучения и онбординг доменов: воркшопы, документация, гайдлайны, разбор типовых ошибок, поддержка команд на первых итерациях.
• Работать с batch и streaming pipelines в production-среде.

• Практический опыт в Data Engineering: Python, SQL, orchestration и production data pipelines.
• Опыт работы с Airflow или другими оркестраторами.
• Понимание batch и streaming processing, опыт работы со Spark / PySpark.
• Опыт работы с lakehouse- и аналитическим стеком: Trino/Presto, ClickHouse, Iceberg/Parquet/DeltaLake.
• Опыт с Kafka, Kafka Connect, Debezium или другими event streaming инструментами.
• Опыт разработки внутренних инструментов и сервисов, а не только пайплайнов: чистый код, тесты, CI/CD, Kubernetes.
• Инженерное мышление: умение думать про надёжность, стоимость, качество данных, поддержку и влияние изменений на пользователей.
• Умение работать с внутренними пользователями: собрать требования у домена, объяснить решение, провести обучение, написать документацию, которой будут пользоваться.

• Будет плюсом: опыт с data contracts, каталогами данных (OpenMetadata, DataHub, Amundsen), data quality фреймворками, dbt, а также опыт участия во внедрении Data Mesh или похожей децентрализованной модели.