Senior Data Engineer

В нашей команде по данным есть экспертиза в инженерии, анализе, архитектуре, моделировании, машинном обучении, искусственном интеллекте и data science. Это направление отвечает за преобразование необработанных данных в практически применимые выводы, создание надёжной инфраструктуры данных, а также за поддержку принятия решений на основе данных и инноваций с помощью продвинутой аналитики и предиктивного моделирования.

Вы будете проектировать, создавать и поддерживать конвейеры данных (data pipelines) с использованием medallion-архитектуры, преобразуя операционные данные в надёжные, хорошо структурированные наборы данных для отчётности и анализа.

Роль сочетает практическую разработку, моделирование данных, поддержку продуктивной среды и техническое лидерство. Вы будете тесно работать с командами разработки и данных, product owners и бизнес-стейкхолдерами, чтобы поставлять надёжные продукты на основе данных, отвечающие потребностям отчётности и операционной деятельности.

• Работать с аналитиками и стейкхолдерами, чтобы разобраться в исходных системах, потоках данных, бизнес-процессах и требованиях к отчётности, уточняя бизнес-правила и ставя под сомнение неясные допущения.
• Проектировать, создавать и поддерживать ETL/ELT-конвейеры в Azure Databricks с использованием Python, PySpark и SQL.
• Реализовывать слои данных bronze, silver и gold, включая загрузку необработанных данных, их очистку, валидацию и подготовку для отчётности.
• Разрабатывать подготовленные наборы данных и размерные модели и делать их доступными через Microsoft Fabric для отчётов в Power BI.
• Реализовывать инкрементальную обработку и управлять изменениями схемы, дубликатами, пропущенными значениями и данными, поступающими с опозданием.
• Оказывать техническую поддержку и наставничество, проводить ревью кода и дизайна, а также поддерживать единообразные практики разработки, тестирования и CI/CD.
• Участвовать в обсуждениях продукта и поставки, объясняя технические компромиссы, выявляя зависимости данных и помогая расставлять приоритеты в работе исходя из бизнес-ценности и технических ограничений.
• Документировать модели данных, преобразования, lineage, зависимости и операционные процедуры.

• 7+ лет опыта в инженерии данных, включая проектирование, создание, развёртывание и поддержку продуктивных конвейеров данных.
• Уверенные навыки Python и SQL, а также сильный практический опыт использования PySpark и Spark SQL в Azure Databricks.
• Опыт работы с Microsoft Fabric, в частности предоставления подготовленных данных для отчётности через OneLake, lakehouses или warehouses.
• Хорошее понимание хранилищ данных и размерного моделирования, включая гранулярность таблиц, факты, измерения и исторические изменения.
• Опыт оркестрации и мониторинга конвейеров данных.
• Опыт работы с автоматизированным тестированием, валидацией данных, Git и практиками CI/CD.
• Практические знания хранилищ Azure, управления доступом и безопасной работы с учётными данными.
• Готовность брать на себя ответственность за технические решения, проводить ревью дизайна и кода и наставлять других инженеров.
• Умение понимать бизнес-процессы и приоритеты продукта, превращать требования в практичные решения для работы с данными и объяснять, как технические решения влияют на пользователей, отчётность и операционные решения.
• Умение работать самостоятельно, чётко объяснять технические решения и эффективно взаимодействовать на английском языке с бизнес-коллегами и техническими коллегами.

• Опыт работы со Snowflake.
• Опыт реализации решений для работы с данными в корпоративной среде. Знакомство с данными в сфере логистики, транспорта или цепочек поставок будет преимуществом.
• Корпоративное моделирование данных и согласование определений данных между исходными системами.
• Практическое использование инструментов разработки на основе AI.

Узнайте о некоторых глобальных преимуществах, которые помогают нашим сотрудникам становиться лучшей версией себя:

• Финансы: конкурентоспособный пакет заработной платы, программа участия в акциях, бонусы по результатам работы компании, награды за признание ценностей, бонус за рекомендацию;
• Развитие карьеры: карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, внутренние программы развития для менеджмента и технического лидерства;
• Возможности для обучения: сложные проекты, ротации, внутренние технические сообщества, тренинги, сертификации, коучинг, подписки на онлайн-платформы обучения, сессии передачи знаний (pass-it-on), воркшопы, конференции;
• Баланс между работой и личной жизнью: гибридный формат работы и гибкий рабочий график, программа поддержки сотрудников;
• Здоровье: глобальная внутренняя программа благополучия, доступ к приложениям для благополучия;
• Сообщество: глобальные внутренние технические сообщества, клубы по увлечениям и группы по интересам, программы инклюзивности и разнообразия, мероприятия и праздники.

В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценным и способным раскрыть свой потенциал. Мы рады заявкам от людей с любым происхождением, опытом и взглядами, потому что знаем: инклюзивные команды помогают нам предлагать нашим клиентам более умные и инновационные решения. Решения о найме основываются на достижениях, навыках, квалификации и потенциале. Если вам нужны адаптации или поддержка в процессе подбора, пожалуйста, сообщите нам об этом.