Senior Big Data Engineer Malaga, Spain

Мы ищем Senior Big Data Engineer, который сможет самостоятельно и проактивно проектировать, реализовывать и поддерживать масштабируемые конвейеры обработки данных. Вы будете участвовать в работе высокоэффективной команды, отвечающей за инфраструктуру, критически важную для аналитики, моделирования и отчётности о производительности медиа.

• Проектировать и разрабатывать масштабные конвейеры данных и инфраструктуру для обработки больших объёмов наборов данных
• Создавать и поддерживать масштабируемые, готовые к продакшну ETL/ELT‑рабочие процессы с использованием Apache Spark, Scala и SQL
• Работать с распределёнными файловыми системами (HDFS) и оптимизировать производительность обработки данных
• Писать и тестировать переиспользуемый и надёжный код с использованием библиотек функционального программирования, таких как Cats и fs2
• Разрабатывать и тестировать решения в контейнеризованных средах (например, Docker, Kubernetes)
• Сотрудничать с аналитиками, командами платформ и заинтересованными сторонами продукта для поставки решений, основанных на данных
• Брать на себя ответственность за сервисы с минимальным контролем, демонстрируя инициативу и автономность

• Сильный опыт программирования на Scala и работы с распределёнными фреймворками данных, такими как Apache Spark
• Владение SQL и опыт работы с большими наборами данных в средах HDFS
• Практические знания Python для скриптов и задач манипуляции данными
• Практический опыт разработки и тестирования в средах Docker и/или Kubernetes
• Знакомство с Cats, fs2 или другими продвинутыми библиотеками функционального программирования на Scala
• Способность работать автономно в динамичной, быстро меняющейся среде и полностью отвечать за проекты

• Возможность работать над передовыми проектами
• Работа в высокомотивированной и преданной команде
• Конкурентоспособная зарплата
• Гибкий график
• Возможности профессионального развития