Мы ищем опытного и динамичного Data Engineer с любознательным и творческим мышлением в команду нашего клиента. Идеальный кандидат имеет серьёзный опыт работы с Python, SQL и крупномасштабными конвейерами данных (data pipelines). Как Data Engineer вы будете проектировать, создавать и эксплуатировать платформу данных, на которой работает компания: конвейеры, которые принимают и преобразуют очень большие наборы данных от внешних партнёров по данным, модели данных, к которым обращается вся компания, и сервисы, которые предоставляют эти данные внутренним продуктам.
- Проектировать и создавать пакетные (batch) конвейеры данных, которые принимают, валидируют и преобразуют наборы данных на многие миллиарды строк от внешних поставщиков данных и из внутренних систем;
– Моделировать сложные реальные данные: размерностные модели, справочные данные и временные данные, атрибуты которых меняются со временем (например, slowly changing dimensions), и безопасно развивать эти модели, когда вышестоящие источники меняют свои схемы и семантику;
– Разрабатывать и эксплуатировать рабочие нагрузки на нашей lakehouse-платформе (Databricks / Spark / Delta) и в нашем хранилище данных (Redshift), включая миграцию существующих конвейеров из хранилища в lakehouse;
– Оркестрировать конвейеры с помощью Airflow: расписания, зависимости, повторные запуски, backfills и алертинг;
– Доказывать корректность, а не только завершение работы: проектировать проверки соответствия (parity checks) и запросы сверки при замене существующего конвейера, выполнять крупные исторические backfills и разбирать расхождения в данных вплоть до уровня отдельных строк;
– Создавать и поддерживать сервисы на Python и REST API, которые предоставляют данные внутренним продуктам;
– Оптимизировать производительность и затраты: настройка запросов, проектирование таблиц, управление рабочими нагрузками и подбор оптимального размера вычислительных ресурсов;
– Отвечать за то, что вы выпускаете: мониторить продакшн-конвейеры, участвовать в разборе инцидентов и анализе первопричин, а также укреплять системы, чтобы один и тот же сбой не происходил дважды;
– Сотрудничать с продакт-менеджерами, data scientists и заинтересованными сторонами из разных подразделений компании для реализации продуктовой дорожной карты;
– Работать в Agile-команде, которая регулярно выпускает новейшие функции;
– Брать на себя высокую степень ответственности и свободу экспериментировать с новыми технологиями для улучшения нашего программного обеспечения.
– Степень бакалавра в области Computer Science, Computer Engineering, в соответствующей технической области или эквивалентный практический опыт;
– 7+ лет опыта работы дата-инженером;
– Отличное владение Python и использование его в качестве основного языка разработки в последние годы;
– SQL экспертного уровня: уверенно писать, читать и настраивать сложные аналитические запросы к очень большим таблицам и выяснять, почему два результата не совпадают;
– Практический опыт работы с платформой распределённой обработки данных (настоятельно предпочтительны Spark/Databricks; EMR, Snowflake или BigQuery также актуальны) и с колоночным хранилищем данных (Redshift, Snowflake, BigQuery, ClickHouse и т. д.);
– Умение проектировать сложные модели данных: нормализованные, размерностные и временные (slowly changing dimensions, записи с датой вступления в силу, корректность на момент времени — point-in-time correctness);
– Опыт работы с инструментами оркестрации рабочих процессов (Airflow или аналогичными): создание DAG, управление зависимостями и выполнение backfills;
– Опыт интеграции сторонних потоков данных: обработка изменений схемы (schema drift), поздних или отсутствующих поставок, дефектов качества данных поставщиков и версионированных справочных данных;
– Опыт создания REST-сервисов на Python (FastAPI, Flask и т. д.);
– Опыт разработки, поддержки и отладки проблем в больших серверных кодовых базах;
– Практические знания AWS (S3, IAM, ECS или аналогичные вычислительные сервисы) и Docker;
– Хорошее знание лучших инженерных практик и тестирования (unit test, integration test, code review, CI/CD);
– Желание брать на себя высокий уровень ответственности за то, над чем вы работаете;
– Умение быстро учиться новому, поддерживать высокую планку качества и быть прагматичным;
– Необходимо уметь общаться с командами из США;
– Опыт работы с Delta Lake / архитектурами medallion lakehouse будет плюсом;
– Опыт миграции устаревших конвейеров между платформами при строгих требованиях к соответствию (parity) будет плюсом;
– Опыт работы с данными рекламной, медиа- или измерительной (measurement) отрасли будет плюсом;
Знаете кого-то, кто отлично подошёл бы на эту роль?
Отправьте своего кандидата через реферальную программу и получите бонус за успешную рекомендацию!