Data Engineer Wroclaw, Krakow, Gdansk, Warsaw, Poznan, Poland

Мы ищем Data Engineer (Databricks / Spark) в небольшую команду, сфокусированную на инженерной работе, которая создаёт новую платформу данных для глобальной компании в сфере платёжных технологий. На этой позиции вы будете тесно работать с нашим Tech Lead и инженерами клиента: строить пайплайны на Databricks on AWS с использованием медальонной архитектуры, разрабатывать структуры ClickHouse для аналитики в реальном времени и отвечать за качество своего кода от начала до конца — от автоматизированных тестов до проверок качества данных, а также прагматично поддерживать устаревшую платформу Hadoop.

• Разработка новой платформы: создавайте пайплайны и трансформации данных на Databricks on AWS, разрабатывая слои Bronze, Silver и Gold в рамках платформы, которая объединяет инженерный подход для множества потребителей и сценариев использования.
• Производительность Spark: разрабатывайте и оптимизируйте нагрузки Spark / PySpark, в том числе те, на которых строятся ежемесячные отчёты примерно для 40 000 мерчантов.
• Аналитика в реальном времени: создавайте механизмы загрузки данных и аналитические структуры в ClickHouse для сценариев с низкой задержкой.
• Ответственность за инженерное качество: самостоятельно реализуйте автоматизированные тесты, интеграционные тесты и проверки качества данных (выделенного QA в команде нет) и участвуйте в код-ревью.
• Поддержка устаревшей платформы: разбирайте проблемы в продакшене и выпускайте точечные исправления на устаревшей платформе Hadoop с файловыми источниками и потоками Kafka (около 10% вашего времени).
• Переиспользуемые паттерны: участвуйте в создании общих инженерных паттернов, которые станут стандартом для новой платформы, с возможным ростом в направлении AI/ML и MLOps.

• Коммерческий опыт в области data engineering, создание продакшен-пайплайнов данных и трансформаций.
• Databricks: практический опыт создания пайплайнов и рабочих нагрузок на Databricks.
• Spark / PySpark: сильные практические навыки разработки и оптимизации нагрузок Spark.
• Python и SQL: уверенные навыки программирования на Python и SQL.
• Мышление в категориях качества: умение отвечать за автоматизированное тестирование и проверку качества данных как часть повседневной поставки.

• Автоматизация тестирования платформ данных: серьёзный опыт создания автоматизированного тестирования для платформ данных.
• Hadoop и стриминг: знание экосистемы Hadoop, Kafka и потоковых данных.
• ClickHouse: опыт работы с ClickHouse для аналитики в реальном времени или с низкой задержкой.
• AI/ML и MLOps: основы AI/ML и MLOps, включая Databricks MLOps.
• Облако и поставка: опыт работы с AWS, Delta Lake, CI/CD и оптимизацией производительности.

• Возможность работать над передовыми проектами

• Работа в команде с высокой мотивацией и преданностью делу

• Конкурентная зарплата

• Гибкий график

• Пакет льгот — медицинская страховка, спорт

• Корпоративные социальные мероприятия

• Возможности профессионального развития

• Хорошо оборудованный офис