Senior Data Engineer

В этой роли вы будете отвечать за полный жизненный цикл нашего хранилища данных, от проектирования ETL и ELT конвейеров и измерительного моделирования до настройки производительности и оптимизации инфраструктуры. Вы будете работать с современными платформами данных, преобразуя сырые данные в надёжные, масштабируемые и практические инсайты, поддерживающие принятие бизнес‑решений.

• Разрабатывать, эксплуатировать, оптимизировать, тестировать и поддерживать хранилище данных, включая разработку процессов ETL/ELT, создание кубов, администрирование баз данных/производительности и проектирование измерительных таблиц
• Вести полный жизненный цикл бэкенд‑разработки хранилища данных
• Выявлять, проектировать и внедрять внутренние улучшения процессов — переосмысливать инфраструктуру для масштабируемости, оптимизировать доставку данных и автоматизировать ручные процессы
• Определять политики хранения данных
• Создавать аналитические инструменты, использующие конвейер данных для предоставления практических инсайтов по ключевым бизнес‑метрикам (операционная эффективность, привлечение клиентов и т.д.)
• Выбирать и интегрировать инструменты для мониторинга, управления, оповещения и улучшения производительности баз данных
• Разрабатывать и внедрять автоматизированные процессы, обеспечивающие непрерывные обновления баз данных и исправление уязвимостей
• Собирать большие, сложные наборы данных, соответствующие функциональным и нефункциональным бизнес‑требованиям

• 5+ лет опыта или 5+ завершённых проектов
• Продвинутый SQL и оптимизация запросов, с владением различными популярными СУБД
• Python для инженерии данных и автоматизации
• Облачные платформы данных: Snowflake и/или Databricks
• Облачные сервисы: AWS и/или Azure
• Трансформация и моделирование данных с DBT
• Проектирование, разработка и поддержка конвейеров ETL/ELT
• Apache Spark (предпочтительно PySpark)
• Оркестрация рабочих процессов с использованием Apache Airflow, Dagster или другого широко используемого оркестратора
• Проектирование реляционных баз данных и настройка их производительности (PostgreSQL, MySQL, SQL Server, Oracle и др.)
• Концепции хранилищ данных и измерительное моделирование
• Основы управления данными: моделирование данных, качество данных, управление метаданными, паттерны хранилищ/озёр данных, распределённые системы
• Управление версиями с помощью Git и практики CI/CD
• Практики управления данными, качества данных, прослеживаемости и наблюдаемости
• Реализация безопасности и контроля доступа в облачных платформах данных

• Apache Kafka, Apache Flink, Apache Beam
• Terraform, Kubernetes, Docker
• Apache Iceberg, Delta Lake или Apache Hudi
• Архитектуры в реальном времени и событийно‑ориентированные
• AWS Glue, Amazon MWAA, Azure Data Factory
• Концепции Data Mesh и Data Product
• Пайплайны машинного обучения, хранилища признаков или опыт разработки AI
• Потоковая аналитика и решения Change Data Capture (CDC) (например, Debezium)