Data Engineer Wroclaw, Krakow, Gdansk, Warsaw, Poland

Мы ищем Data Engineer в команду недавно запущенной инициативы по бизнес-отчётности для глобального лидера пищевой индустрии и индустрии напитков с портфелем широко известных потребительских брендов. В этой роли вы будете работать на стыке бизнес-стейкхолдеров и разнородного набора существующих инструментов отчётности: подключать множество источников данных, создавать пайплайны загрузки и трансформации данных в Azure и консолидировать KPI по расходам на рекламу и маркетинг в единый источник достоверных данных.

• Интеграция источников: устанавливать подключения к каждому из существующих инструментов отчётности и источников данных, выбирая подходящий способ загрузки с учётом возможностей каждого источника.
• Разработка пайплайнов: проектировать и создавать пайплайны данных в Azure Data Factory, чтобы надёжно загружать на платформу данные о расходах на рекламу и маркетинг.
• Трансформация данных: обрабатывать, очищать и моделировать данные в Databricks с использованием PySpark и SQL, чтобы получать согласованные и сопоставимые KPI по всем источникам.
• Ответственность за Master-таблицу: консолидировать ключевые KPI в центральную таблицу «Master», которая служит единым источником достоверных данных для отчётности по расходам на маркетинг и рекламу.
• Формирование требований: тесно работать с бизнес-стейкхолдерами, чтобы уточнять и дорабатывать требования и адаптироваться к ним по мере развития проекта.

• Коммерческий опыт работы в роли Data Engineer на платформе Azure.
• Экспертиза в Databricks: практический опыт создания логики обработки данных с использованием PySpark и SQL.
• Azure Data Factory: практический опыт проектирования и оркестрации пайплайнов данных в ADF.
• Знание платформы Azure: общее понимание структуры платформы Azure, её основных сервисов и того, как они связаны друг с другом.
• Развитые软 навыки: уверенная коммуникация с бизнес-стейкхолдерами и комфортная работа в новом проекте, где требования ещё не зафиксированы.
• Проактивный подход: умение задавать правильные вопросы, предлагать решения и наводить порядок в неоднозначных задачах.

• Azure DevOps: опыт создания CI/CD пайплайнов для Azure Data Factory.
• Автоматизация развёртывания Databricks: опыт настройки DevOps-пайплайнов для рабочих нагрузок Databricks.

• Возможность работать над передовыми проектами

• Работа в команде с высокой мотивацией и преданностью делу

• Конкурентная заработная плата

• Гибкий график

• Пакет льгот: медицинская страховка, спорт

• Корпоративные социальные мероприятия

• Возможности профессионального развития

• Хорошо оборудованный офис