Senior Data Engineer (Real-Time Data Processing & Streaming)

Мы ищем опытного Senior Data Engineer, который присоединится к Endava и будет участвовать в проектировании, разработке и поддержке масштабируемых высокопроизводительных решений для обработки данных.

В этой роли вы будете заниматься обработкой данных в реальном времени, потоковыми технологиями и событийно-ориентированными архитектурами, работая со сложными конвейерами данных, которые принимают, преобразуют, обогащают и передают данные от подключённых физических устройств в нижестоящие приложения и системы хранения.

Вы будете тесно сотрудничать с Tech Leads, разработчиками программного обеспечения и кросс-функциональными командами, чтобы создавать надёжные, эффективные и удобные в сопровождении решения для обработки данных в облачно-ориентированной (cloud-native) среде.

• Проектировать, разрабатывать и поддерживать масштабируемые конвейеры обработки данных в реальном и близком к реальному времени.
• Реализовывать решения для потоковой обработки данных с использованием таких технологий, как Apache Kafka, Apache Flink и Apache Spark.
• Разрабатывать и поддерживать сервисы на основе Java и интеграционные компоненты для обработки данных, полученных от физических устройств.
• Реализовывать сложные преобразования данных, маппинги, валидации и обогащения для выполнения бизнес-требований и технических требований.
• Создавать и поддерживать событийно-ориентированные интеграции с помощью Kafka, Kafka Streams, Kafka Connect и протоколов обмена сообщениями, таких как AMQP.
• Обеспечивать надёжную доставку данных нижестоящим потребителям, приложениям и системам хранения.
• Реализовывать и поддерживать коллекции MongoDB, структуры данных и связанные интеграции на уровне приложений в соответствии с архитектурными рекомендациями.
• Разрабатывать, развёртывать и поддерживать облачно-ориентированные (cloud-native) сервисы преимущественно на AWS, используя Kubernetes и управляемые облачные сервисы.
• Участвовать в модернизации и миграции устаревших компонентов обработки данных на потоковые архитектуры на основе Kafka.
• Сотрудничать с технических лидерами и инженерными командами, чтобы превращать архитектурные решения в надёжные реализации, готовые к промышленной эксплуатации.
• Диагностировать и устранять проблемы производительности, надёжности и согласованности данных в распределённых системах обработки данных.
• Вносить вклад в качество кода, автоматизированное тестирование, практики CI/CD и непрерывное улучшение инженерных процессов.

• Серьёзный профессиональный опыт в Data Engineering с акцентом на потоковую обработку данных и распределённые системы.
• Продвинутые навыки программирования на Java (11+), включая опыт работы с фреймворком Spring.
• Практический опыт работы с Apache Kafka, включая Kafka Streams, Kafka Connect и разработку интеграций на основе Kafka.
• Практический опыт работы с фреймворками потоковой и распределённой обработки, такими как Apache Flink, Apache Spark или Spark Streaming.
• Хорошее понимание событийно-ориентированных архитектур, шаблонов асинхронного взаимодействия и систем обмена сообщениями, включая AMQP.
• Опыт проектирования и реализации конвейеров преобразования, обогащения и интеграции данных.
• Опыт разработки и интеграции микросервисов и распределённых приложений.
• Практический опыт работы с облачными сервисами AWS, в частности S3, SQS и EKS.
• Опыт развёртывания и эксплуатации контейнеризированных приложений с использованием Docker и Kubernetes.
• Практические знания MongoDB, включая коллекции, структуры документов и доступ к данным на Java.
• Знакомство с Redis и его использованием в распределённых приложениях.
• Опыт работы с процессами разработки на основе Git и конвейерами CI/CD, предпочтительно с использованием GitLab и GitLab CI/CD.
• Сильные навыки диагностики и решения проблем, в частности в распределённых средах обработки данных с высокой пропускной способностью.
• Умение работать в сотрудничестве с техническими лидерами и кросс-функциональными инженерными командами, при этом беря на себя ответственность за реализацию и поставку результата.

• Опыт работы с Apache Pulsar или Apache Storm, в частности в поддержке устаревших систем или проектах по модернизации.
• Знакомство с сервисами Microsoft Azure и гибридными или мультиоблачными средами.
• Опыт обработки телеметрии, данных IoT или других событийных данных, генерируемых физическими устройствами.
• Знание интеграций на основе SMTP.
• Опыт миграции устаревших решений для обмена сообщениями и потоковой обработки на современные архитектуры на основе Kafka.
• Понимание оптимизации производительности, отказоустойчивости, мониторинга и observability в распределённых потоковых системах.

Узнайте о некоторых глобальных преимуществах, которые помогают нашим сотрудникам становиться лучшей версией себя:

• Финансы: конкурентный пакет заработной платы, программа участия в акциях, бонусы по результатам работы компании, награды за признание ценностей, бонус за рекомендацию;
• Карьерное развитие: карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, внутренние программы развития для управленческого и технического лидерства;
• Возможности для обучения: сложные проекты, ротации, внутренние технологические сообщества, тренинги, сертификации, коучинг, подписки на онлайн-платформы обучения, сессии передачи знаний (pass-it-on), воркшопы, конференции;
• Баланс между работой и личной жизнью: гибридный формат работы и гибкий рабочий график, программа поддержки сотрудников;
• Здоровье: глобальная внутренняя программа благополучия, доступ к приложениям для благополучия;
• Сообщество: глобальные внутренние технологические сообщества, клубы по хобби и группы по интересам, программы инклюзивности и разнообразия, мероприятия и праздники.

В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценным и способным раскрыть свой потенциал. Мы приветствуем отклики от людей с любым бэкграундом, опытом и взглядами, потому что знаем: инклюзивные команды помогают нам предлагать нашим клиентам более умные и инновационные решения. Решения о найме основываются на заслугах, навыках, квалификации и потенциале. Если вам нужны корректировки или поддержка в процессе подбора, пожалуйста, сообщите нам.