Senior Big Data Engineer Lisbon, Portugal

✅ Полностью удаленно из Португалии

As aSenior Big Data Engineer (Scala/Spark), вы будете отвечать за разработку надёжных конвейеров данных, поддержание инфраструктуры и оптимизацию производительности распределённых систем. Вы также получите возможности вносить вклад в DevOps и CI/CD рабочие процессы, тесно сотрудничая с платформенными командами для обеспечения гладкой поставки и развертывания решений Big Data.

Цель проекта — реализовать конвейеры и инфраструктуру для генерации отчётов на основе огромных объёмов собранных данных. Наша команда отвечает за проектирование, кодирование и проверку заданий, написанных на latest version of Scala/Spark, гарантируя, что реализованные алгоритмы возвращают точную статистику, которая будет использоваться нашими заинтересованными сторонами.

Хотя это позиция Big Data Engineer, знания CI/CD и DevOps будут большим плюсом, так как работа с инфраструктурой также будет частью роли.

• Проектировать, разрабатывать и поддерживать масштабируемые конвейеры обработки данных с использованием Apache Spark и Scala
• Обеспечивать точность и эффективность статистических алгоритмов, внедрённых в продакшн
• Сотрудничать с глобальными инженерными командами по распределённой архитектуре данных и её проектированию
• Работать с крупномасштабными распределёнными системами (например, Hadoop, Kafka, Cassandra) для ingest и обработки данных
• Вносить вклад в построение и оптимизацию Data Lakes и решений Data Warehousing
• Поддерживать и улучшать CI/CD рабочие процессы, автоматизацию инфраструктуры и процессы развертывания

• Владение Scala/Spark
• Практический опыт работы с Hadoop
• Фреймворки обработки и вычислений: Kafka, Spark, Dataframe/SQL API
• СУБД: Oracle, Postgres, Teradata, Cassandra
• Реализация Data Lakes, Data Warehousing или аналитических систем считается преимуществом
• Хорошее понимание технологий распределённых вычислений, подходов и шаблонов

• Навыки DevOps/CICD

• Возможность работать над передовыми проектами
• Работа в высокомотивированной и преданной команде
• Конкурентоспособная зарплата
• Гибкий график
• Возможности профессионального развития