Senior Data Engineer

В нашей команде по работе с данными есть экспертиза в инженерии, анализе, архитектуре, моделировании, машинном обучении, искусственном интеллекте и data science. Это направление отвечает за преобразование необработанных данных в практически применимые выводы, создание надёжной инфраструктуры данных, а также за поддержку принятия решений на основе данных и инноваций с помощью продвинутой аналитики и предиктивного моделирования.

Вы будете проектировать, создавать и поддерживать конвейеры данных (data pipelines) на основе medallion-архитектуры, преобразуя операционные данные в надёжные, хорошо структурированные наборы данных для отчётности и анализа.

Роль сочетает практическую разработку, моделирование данных, поддержку продуктивной среды и техническое лидерство. Вы будете тесно работать с командами разработки и данных, product owners и бизнес-стейкхолдерами, чтобы поставлять надёжные продукты данных, отвечающие потребностям отчётности и операционной деятельности.

• Работать с аналитиками и стейкхолдерами, чтобы понять исходные системы, потоки данных, бизнес-процессы и требования к отчётности, уточняя бизнес-правила и ставя под сомнение неясные допущения.
• Проектировать, создавать и поддерживать ETL/ELT-конвейеры в Azure Databricks с использованием Python, PySpark и SQL.
• Реализовывать слои данных bronze, silver и gold, включая загрузку необработанных данных, их очистку, валидацию и подготовку для отчётности.
• Разрабатывать курируемые наборы данных и размерные модели и делать их доступными через Microsoft Fabric для отчётности в Power BI.
• Реализовывать инкрементальную обработку и управлять изменениями схемы, дубликатами, пропущенными значениями и данными, поступающими с опозданием.
• Оказывать техническую поддержку и наставничество, проводить ревью кода и дизайна, а также поддерживать единообразные практики разработки, тестирования и CI/CD.
• Участвовать в обсуждениях продукта и поставки, объясняя технические компромиссы, выявляя зависимости данных и помогая расставлять приоритеты работ исходя из бизнес-ценности и технических ограничений.
• Документировать модели данных, преобразования, lineage, зависимости и операционные процедуры.

• 7+ лет опыта в инженерии данных, включая проектирование, создание, развёртывание и поддержку продуктивных конвейеров данных.
• Уверенное владение Python и SQL, а также сильный практический опыт использования PySpark и Spark SQL в Azure Databricks.
• Опыт работы с Microsoft Fabric, в частности с предоставлением курируемых данных для отчётности через OneLake, lakehouses или warehouses.
• Хорошее понимание хранилищ данных и размерного моделирования, включая гранулярность таблиц, факты, измерения и исторические изменения.
• Опыт оркестрации и мониторинга конвейеров данных.
• Опыт работы с автоматизированным тестированием, валидацией данных, Git и практиками CI/CD.
• Практические знания в области хранилища Azure, управления доступом и безопасной работы с учётными данными.
• Принятие на себя ответственности за технические решения, ревью дизайна и кода, наставничество для других инженеров.
• Умение понимать бизнес-процессы и приоритеты продукта, превращать требования в практичные решения для работы с данными и объяснять, как технические решения влияют на пользователей, отчётность и операционные решения.
• Умение работать самостоятельно, чётко объяснять технические решения и эффективно взаимодействовать на английском языке с бизнес-коллегами и техническими коллегами.

• Опыт работы со Snowflake.
• Опыт поставки решений для работы с данными в корпоративной среде. Знакомство с данными в сфере логистики, транспорта или цепочек поставок будет преимуществом.
• Корпоративное моделирование данных и согласование определений данных между исходными системами.
• Практическое использование инструментов разработки на основе AI.

Узнайте о некоторых глобальных преимуществах, которые помогают нашим сотрудникам раскрыть свой лучший потенциал:

• Финансы: конкурентный пакет заработной платы, программа владения акциями, премии по результатам работы компании, награды за соответствие ценностям, бонус за рекомендацию;
• Карьерное развитие: карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, внутренние программы развития для управленческого и технического лидерства;
• Возможности для обучения: сложные проекты, ротации, внутренние технологические сообщества, тренинги, сертификации, коучинг, подписки на онлайн-платформы для обучения, сессии передачи знаний (pass-it-on), воркшопы, конференции;
• Баланс между работой и личной жизнью: гибридный формат работы и гибкий график, программа помощи сотрудникам;
• Здоровье: глобальная внутренняя программа заботы о благополучии, доступ к приложениям для благополучия;
• Сообщество: глобальные внутренние технологические сообщества, клубы по хобби и группы по интересам, программы инклюзии и разнообразия, мероприятия и праздники.

В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценным и способным раскрыть свой лучший потенциал. Мы рады заявкам от людей с любым опытом, происхождением и взглядами, потому что знаем: инклюзивные команды помогают нам создавать более умные и инновационные решения для наших клиентов. Решения о найме принимаются на основе заслуг, навыков, квалификации и потенциала. Если вам нужны особые условия или поддержка в процессе подбора, пожалуйста, сообщите нам.