Strong Middle Data Engineer

Ищем сильных Middle Data Engineers с глубоким опытом работы в распределённых системах данных, обработке данных на основе Spark и инженерии платформ данных уровня production. Ожидается, что эти инженеры будут работать самостоятельно, полностью отвечать за технические решения от начала до конца и вносить вклад как в проектирование систем, так и в их реализацию в высокоавтоматизированной среде разработки.

• Разрабатывать и поддерживать пакетные и потоковые конвейеры данных с использованием Scala и Spark.
• Создавать и поддерживать решения обработки данных на основе Kafka.
• Создавать и поддерживать DAG‑ы и рабочие процессы в Airflow.
• Реализовывать модели данных, сопоставления схем и проверки валидности.
• Мониторить состояние конвейеров, устранять проблемы в продакшене и поддерживать развертывания.
• Проводить ревью и валидацию кода, сгенерированного AI, и предлагаемых реализаций.
• Сотрудничать с senior engineers, продуктовыми командами и потребителями данных.

• 3+ лет опыта в Data Engineering.
• Практический опыт работы с Python, Scala и Apache Spark.
• Опыт пакетной обработки и распределённых систем данных.
• Kafka, Kafka Streams, Flink или аналогичные технологии потоковой обработки.
• Apache Airflow.
• Моделирование данных, SQL и разработка ETL/ELT.
• Опыт тестирования, code review, систем контроля версий и CI/CD.
• Сильные навыки устранения неполадок и поддержки продакшена.
• Хорошие коммуникативные навыки и менталитет ответственности.

• Опыт работы с Flink.
• Cassandra, DynamoDB, ScyllaDB или другие NoSQL‑базы данных.
• Опыт работы с данными клиентов, clickstream, программами лояльности, бронированиями или транзакционными данными.
• Опыт работы с Copilot, Claude, Cursor или другими инструментами разработки с поддержкой AI.
• Понимание мониторинга качества данных и наблюдаемости.

Мы привержены поддержке равенства, разнообразия и инклюзивности как работодатель с равными возможностями. Все соискатели будут рассматриваться без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или выражения, статуса ветерана или любого другого признака, защищённого применимым законодательством. Мы приветствуем и ценим уникальность каждого человека. Присоединяйтесь к Intellias для карьеры, где ваши взгляды и вклад имеют решающее значение для нашего общего успеха.