Senior Big Data Engineer Lisbon, Portugal

Мы ищем Senior Big Data Engineer, который присоединится к нашей команде в Grid Dynamics. В этой роли вы будете руководить архитектурой, проектированием и внедрением высокопроизводительных конвейеров данных с использованием Scala и Apache Spark. Вы будете тесно сотрудничать со стейкхолдерами, переводя бизнес‑требования в масштабируемые агрегаты больших данных, применяя строгие стандарты программной инженерии ко всей нашей экосистеме данных.

• Проектировать, создавать и поддерживать масштабируемые, надёжные конвейеры Big Data с использованием Scala и Apache Spark для обработки больших объёмов пакетных и потоковых наборов данных.
• Руководить проектированием и внедрением сложных агрегатов больших данных, дата‑марков и эффективных структур данных для поддержки downstream‑аналитики и AI‑приложений.
• Писать чистый, модульный, протестированный и поддерживаемый код на Scala в соответствии с лучшими практиками программной инженерии (CI/CD, code reviews, unit/integration testing).
• Мониторить, настраивать и оптимизировать производительность задач Spark, управление памятью и использование ресурсов кластера для обеспечения высокой пропускной способности и низкой задержки обработки.
• Сотрудничать с кросс‑функциональными командами для сбора технических требований, перевода бизнес‑потребностей в масштабируемые архитектурные решения и определения технического направления конвейеров.

• Доказанный опыт проектирования и эксплуатации корпоративных конвейеров данных с использованием Scala и Apache Spark.
• Сильная база в области компьютерных наук, шаблонов проектирования программного обеспечения, структур данных, алгоритмов и практик тестирования кода.
• Глубокое операционное понимание распределённых вычислительных систем, параллельной обработки и паттернов архитектуры больших данных.
• Твёрдая экспертиза в проектировании схем, оптимизации ETL/ELT, стратегии партиционирования и настройке производительности запросов.

• Практический опыт работы с облачными платформами (AWS предпочтительно, включая такие сервисы, как S3, EMR или Glue).
• Опыт работы со Snowflake для аналитических нагрузок большого масштаба.

• Возможность работать над передовыми проектами
• Работа в высокомотивированной и преданной команде
• Конкурентоспособная зарплата
• Гибкий график
• Возможности профессионального развития