Senior Data Engineer

Присоединяйтесь к Exadel в роли Senior Data Engineer и воплотите логику в жизнь. Решайте аналитические задачи и создавайте значимые решения — в острой, совместной команде.

• Проектировать и разрабатывать высокообъёмные пакетные / потоковые конвейеры ingest‑данных и фреймворки, охватывающие платформы данных AWS и GCP
• Придумывать, писать код и запускать платформы ingest‑данных и их курирования следующего поколения
• Участвовать в определении требований, системных и архитектурных обсуждениях данных
• Технически руководить и наставлять младших инженеров по лучшим практикам разработки программного обеспечения и жизненного цикла data engineering
• Сотрудничать с кросс‑функциональными agile‑командами разработчиков, data engineers, ML‑экспертами, Data Analysts и другими при создании новых функций продукта

• Сильный опыт в распределённых системах, data engineering, разработке программного обеспечения или смежных областях
• Тщательность и надёжность в кодировании и проектировании, с глубоким пониманием компромиссов производительности
• Сильные навыки программирования на языке, таком как Python, Java и Scala
• Страсть к построению платформ данных, желание исследовать неизведанное с смелыми новыми идеями и готовность довести исполнение до последней детали
• Опыт работы с SQL и NoSQL базами данных (BigQuery, Teradata, MySql, Postgres, Cassandra и др.)
• Опыт работы с технологиями big data, такими как Hadoop, Hive, Apache Spark и др.
• Опыт работы с Airflow или любым другим инструментом оркестрации
• Глубокий опыт в работе с, понимании и устранении проблем ETL, lineage данных, утечек данных, общих вопросов качества данных, backfills и т.п. Способность вести и руководить независимым решением, коммуникацией и последующими действиями
• Опыт разработки пакетных и потоковых конвейеров данных
• Опыт как в разработке программного обеспечения, так и в data engineering
• Опыт работы с облачными технологиями GCP или AWS, особенно связанными с масштабной обработкой данных
• Проектирование, внедрение и поддержка производственных сервисов с жёсткими SLA
• Опыт разработки распределённых приложений с централизованным логированием, метриками, мониторингом и инструментами оповещения, такими как Elasticsearch и Wavefront
• Чёткое понимание методологий тестирования, CI/CD и других отраслевых лучших практик

• Сильные навыки программирования на Python
• Опыт работы с Google Data Streams, Google Dataproc
• Опыт работы с технологиями change data capture (CDC)
• Современные технологии хранилищ данных, такие как Delta lake, являются плюсом

• Exadel гордится тем, что является работодателем, предоставляющим равные возможности, приверженным инклюзии по признаку меньшинства, гендерной идентичности, сексуальной ориентации, инвалидности, возраста и др.
• Предоставляются разумные приспособления, позволяющие людям с ограниченными возможностями выполнять основные функции.
• Обратите внимание: данное описание работы не является исчерпывающим. Обязанности и задачи могут изменяться в зависимости от потребностей бизнеса.
• Детали компенсации предоставляются кандидатам на ранних этапах процесса найма.
• Предложение не является обязательным до подписания контракта.

• Международные проекты
• Гибкость работы в офисе, гибридно или удалённо
• Медицинское страхование
• Программа признания
• Непрерывное обучение и возмещение расходов
• Программа благополучия
• Командные мероприятия и локальные льготы
• Компенсация за спорт
• Бонусы за рекомендации
• Предоставление оборудования высшего уровня

Мы руководствуемся доверием, уважением и целью. Мы верим в открытый диалог, творческую свободу и наставничество, которые помогают вам расти, вести и действительно менять мир. У нас культура, где идеи ставятся под вопрос, голоса слышны, а ваш вклад имеет значение.