Senior Data Engineer

Описание вакансии

Наша команда Data обладает опытом в инженерии, аналитике, архитектуре, моделировании, machine learning, искусственном интеллекте и науке о данных. Эта дисциплина отвечает за преобразование необработанных данных в практическую информацию, построение надёжной инфраструктуры данных и обеспечение принятия решений на основе данных, а также за стимулирование инноваций с помощью продвинутой аналитики и предиктивных моделей.

Как Data Engineer в Endava вы будете:

• Работать совместно с учёными и аналитиками данных, чтобы понять потребности в информации и создавать эффективные потоки данных.
• Проектировать решения, внедрять и поддерживать pipelines данных для ingest, обработки и трансформации информации, используя облачные сервисы и другие технологии.
• Создавать и поддерживать решения для хранения данных, включая Azure SQL Database, Azure Data Lake и Azure Blob Storage.
• Создавать и поддерживать процессы ETL (Extract, Transform, Load), используя Azure Data Factory или эквивалентные технологии.
• Реализовывать процедуры валидации и очистки данных для обеспечения их качества, целостности и надёжности.
• Улучшать масштабируемость, эффективность и оптимизацию затрат pipelines данных.
• Мониторить и решать проблемы, связанные с pipelines, гарантируя согласованность и доступность данных.
• Автоматизировать задачи и развёртывать код согласно производственным стандартам, включая модульные тесты, непрерывную интеграцию, контроль версий и другие лучшие практики.

• Владение Python и SQL, опыт работы со скриптовыми языками, ориентированными на обработку данных.
• Опыт работы с реляционными и NoSQL базами данных.
• Знание лучших практик и принципов проектирования данных, включая концепции Medallion, Kimball и Star Schema, а также Data Warehousing и моделирование данных.
• Твёрдое понимание процессов ETL/ELT.
• Опыт с продвинутыми техниками трансформации и оптимизации данных, включая Spark (PySpark/Scala).
• Опыт работы с сервисами Azure, AWS или GCP.
• Владение инструментами Data Build Tool (dbt) и Datadog.
• Опыт работы с инструментами мониторинга и наблюдаемости данных.
• Соответствующий опыт с архитектурами, ориентированными на события (Event-Driven Architecture).
• Хорошее знание и понимание методологий и способов работы Agile.

• Финансы: конкурентный пакет заработной платы, признание, основанное на наших ценностях, и бонус за рекомендации.
• Профессиональное развитие: карьерный коучинг, глобальные профессиональные возможности, нелинейные карьерные траектории и внутренние программы развития для технического и управленческого лидерства.
• Возможности обучения: сложные проекты, ротации, внутренние технологические сообщества, тренинги, сертификации, коучинг, подписки на онлайн‑платформы обучения, сессии обмена знаниями, воркшопы и конференции.
• Баланс между работой и личной жизнью: гибридный формат работы, гибкий график и программа поддержки сотрудников.
• Здоровье и благополучие: глобальная внутренняя программа благополучия и доступ к приложениям для здоровья.
• Сообщество: внутренние технологические сообщества по всему миру, клубы по интересам и хобби, программы инклюзии и разнообразия, мероприятия и праздники.

В Endava мы привержены созданию открытой, инклюзивной и уважительной среды, где каждый чувствует себя в безопасности, ценным и имеет возможность раскрыть свой потенциал. Мы приветствуем заявки от людей всех слоёв общества, опыта и точек зрения — потому что знаем, что инклюзивные команды помогают нам предлагать более умные, инновационные решения для наших клиентов. Решения о найме принимаются на основе заслуг, навыков, квалификаций и потенциала. Если вам нужны корректировки или поддержка в процессе подбора, пожалуйста, дайте нам знать.