Intellias

Мы ищем Senior Data Engineers с глубоким опытом работы в распределенных системах данных, обработке данных на основе Spark и инженерии production-grade платформ данных. Эти инженеры будут работать самостоятельно, нести полную ответственность за технические решения от начала до конца и участвовать как в проектировании систем, так и в их реализации в высокоавтоматизированной среде разработки.

Организация Customer Platform & Data (CPD) клиента расширяет свои инженерные команды для поддержки критически важных инициатив в области данных клиентов, разрешения идентичности, бронирований, программ лояльности и клиентской аналитики на базе AI. Платформа обрабатывает крупномасштабные пакетные (batch) и потоковые (real-time) данные, обеспечивая клиентский опыт и принятие решений на основе данных по всей Expedia Group.

Senior Data Engineer будет играть ключевую роль в команде по работе с клиентскими данными нашего клиента — это специалист, способный работать с крупномасштабными batch- и streaming-системами, оптимизировать нагрузки Spark, поддерживать production data pipelines и проверять код, сгенерированный AI/LLM, с хорошим инженерным чутьем.

• Создавать и поддерживать масштабируемые batch- и streaming-пайплайны данных.

• Оптимизировать нагрузки Spark и Scala для повышения производительности, надежности и экономической эффективности.

• Мониторить production-пайплайны, диагностировать проблемы и устранять дефекты качества данных.

• Взаимодействовать со стейкхолдерами для определения требований, маппингов и надежных решений в области данных.

• Оркестрировать рабочие процессы с использованием Airflow или аналогичных инструментов.

• Обрабатывать данные в реальном времени с использованием Kafka, Flink, Kafka Streams или аналогичных технологий.

• Поддерживать моделирование данных, проектирование схем, валидацию и контроль качества.

• Применять надежные инженерные практики в области тестирования, версионирования, развертывания и управления средами.

• Проверять и валидировать код, сгенерированный AI/LLM, на готовность к production.

• Поддерживать observability, SLA, SLO и постоянную надежность платформы.

• 5+ лет опыта в Data Engineering.
• Серьезный опыт работы с Python, Scala и Spark.
• Опыт обработки batch-данных и оптимизации задач Spark.
• Опыт работы с потоковыми данными с использованием Kafka Streams, Flink, Kafka или аналогичных технологий.
• Оркестрация рабочих процессов с помощью Airflow.
• Моделирование данных, проектирование схем и маппинг source-to-target.
• Опыт в области качества данных, валидации и устранения проблем в production.
• Крепкие основы разработки ПО: тестирование, дисциплина развертывания, версионирование и управление средами.
• Умение проверять и валидировать код, сгенерированный AI/LLM.
• Желательно знание фреймворков и инструментов, таких как spec-led development, spec-kit, agent-skills и подобных.
• Желателен опыт работы с Flink.
• Желателен опыт работы с крупномасштабными NoSQL-решениями, особенно Scylla, Cassandra, DynamoDB или аналогичными.
• Желателен опыт работы с данными clickstream, идентификации клиентов, лояльности, бронирований, коммерции или транзакционными данными.
• Желателен опыт работы с SLA, SLO, SLI, пороговыми значениями качества данных или observability.
• Желателен опыт работы с Claude, GitHub Copilot, Cursor или другими AI-инструментами для разработки.

Весомые дополнительные преимущества

• Экспертиза в Flink.

• ScyllaDB, Cassandra, DynamoDB или другие NoSQL-платформы.

• Опыт работы с Customer Data Platform (CDP), разрешением идентичности, лояльностью, clickstream или данными бронирований.

• Опыт работы с SLA, SLO, observability и мониторингом.

• GitHub Copilot, Claude, Cursor или аналогичные AI-инструменты для разработки