Senior Big Data Engineer (Scala and Spark) Yerevan, Armenia

Мы ищем Senior/Lead Big Data Engineer для присоединения к распределённой команде, работающей над высоко‑влияющим проектом платформы данных для глобального клиента. Цель проекта — проектировать, строить и поддерживать надёжные конвейеры данных и инфраструктуру, которые обеспечивают отчёты, генерируемые из массивных наборов данных.

Вы будете сотрудничать с ведущими инженерами Big Data из Europe и международно, участвуя во всём жизненном цикле задач данных — от проектирования и реализации до верификации и поставки. Команда использует последние версии Scala и Spark, гарантируя точность статистических выводов, потребляемых ключевыми заинтересованными сторонами.

Хотя это в первую очередь роль инженера Big Data, практические знания CI/CD и практик DevOps будут сильным преимуществом, поскольку работа с инфраструктурой является неотъемлемой частью ежедневных обязанностей.

• Проектировать, разрабатывать и оптимизировать конвейеры данных с использованием Scala и Spark
• Создавать и поддерживать инфраструктуру для масштабной обработки данных и отчётности
• Реализовывать и проверять алгоритмы для обеспечения статистической точности для бизнес‑заинтересованных сторон
• Работать с распределёнными вычислительными фреймворками и cloud‑native архитектурами
• Сотрудничать с глобально распределённой инженерной командой над сквозными решениями данных
• Вносить вклад в реализации Data Lake и Data Warehouse
• Поддерживать конвейеры CI/CD и задачи, связанные с инфраструктурой, по мере необходимости

• Глубокое владение Scala
• Практический опыт работы с Spark и Spark Streaming
• Знакомство с Kubernetes, в частности запуск Spark на Kubernetes
• Опыт работы с Hive и/или Apache Iceberg
• Практические знания Apache Airflow для оркестрации рабочих процессов
• Уверенные навыки SQL, включая SparkSQL — оконные функции, сложные сценарии GROUP BY
• Понимание технологий распределённых вычислений, паттернов и лучших практик
• Опыт работы с фреймворками обработки, такими как Kafka и Dataframe/SQL API
• Знакомство с СУБД: Oracle, PostgreSQL, Teradata или Cassandra

• Опыт работы с Apache Flink
• Опыт в CI/CD конвейерах и инструментах DevOps
• Опыт реализации Data Lakes, Data Warehouses или аналитических платформ
• Практический опыт работы с Hadoop
• Знакомство с Claude (Anthropic) или другими инструментами AI/LLM

• Возможность работать над передовыми проектами

• Работа в высокомотивированной и преданной команде

• Конкурентоспособная зарплата

• Гибкий график

• Пакет льгот — медицинская страховка, спорт

• Корпоративные социальные мероприятия

• Возможности профессионального развития

• Хорошо оборудованный офис