Senior Analytics Engineer (Databricks, Spark)

Что вы будете делать

• Проектировать, разрабатывать и поддерживать масштабируемые, готовые к продакшну конвейеры данных, интегрирующие SaaS‑платформы, API, пакетные процессы и корпоративные источники данных.

• Преобразовывать, интегрировать, стандартизировать и моделировать структурированные и полуструктурированные данные из множества разнородных систем.

• Разрабатывать и оптимизировать решения обработки данных с использованием Databricks и Apache Spark для крупномасштабной распределённой обработки данных.

• Проектировать и внедрять надёжные размерные модели данных, включая таблицы Fact, Dimension и Event, в соответствии с современными лучшими практиками Data Engineering и Data Warehouse.

• Создавать надёжные наборы данных, готовые к аналитике, и бизнес‑метрики, которые служат единственным источником правды для аналитических и бизнес‑случаев.

• Разрабатывать инкрементальные, идемпотентные, масштабируемые и поддерживаемые конвейеры данных.

• Оптимизировать нагрузки обработки данных, запросы и производительность конвейеров с упором на масштабируемость и эффективность.

• Внедрять автоматизированные практики контроля качества данных, валидации, тестирования, мониторинга и наблюдаемости.

• Устранять проблемы в продакшн, исследовать коренные причины и внедрять устойчивые решения для повышения надёжности и операционного совершенства.

• Проверять согласованность данных между наследуемыми и современными облачными платформами в рамках миграционных инициатив.

• Тесно сотрудничать с Data Engineers, Software Engineers, командами аналитики, продуктовыми командами и другими кросс‑функциональными заинтересованными сторонами.

• Полностью отвечать за технические решения от проектирования и разработки до развертывания, поддержки в продакшн и непрерывного улучшения.

• Участвовать в CI/CD, ревью кода, автоматическом тестировании и современных практиках разработки программного обеспечения.

• Использовать инструменты разработки с поддержкой ИИ для ускорения написания кода, тестирования, устранения неполадок, документирования и других инженерных задач, применяя при этом надёжный технический суд.

• Выявлять возможности для улучшения автоматизации, надёжности платформы, продуктивности инженеров и качества данных.

• Создавать техническую документацию и способствовать обмену знаниями и их передаче между инженерными командами.

Что вы приносите

• Профессиональный опыт в Data Engineering, Analytics Engineering или смежной области.

• Доказанный опыт построения и эксплуатации готовых к продакшну конвейеров данных.

• Глубокие практические навыки работы с Databricks, включая Workflows, Jobs и Unity Catalog.

• Продвинутый опыт работы с Apache Spark, используя PySpark и/или Scala.

• Опыт обработки и оптимизации крупномасштабных наборов данных, включая наборы, содержащие сотни миллионов записей.

• Продвинутые навыки SQL, включая сложные запросы, трансформации данных и оптимизацию запросов.

• Твёрдое понимание моделирования данных и аналитических структур данных, включая таблицы Fact и Dimension, SCD и гранулярность данных.

• Глубокие знания Delta Lake и/или Apache Iceberg.

• Опыт построения инкрементальных и идемпотентных конвейеров данных.

• Опыт внедрения практик контроля качества данных, валидации, тестирования, мониторинга и наблюдаемости.

• Сильные навыки устранения неполадок и поддержки в продакшн.

• Опыт работы с Git, CI/CD‑конвейерами, автоматическим тестированием, ревью кода и современными практиками разработки программного обеспечения.

• Сильные аналитические и проблемно‑решающие навыки.

• Хорошие коммуникативные навыки и способность ясно объяснять технические концепции и решения.

Приветствуется

• Опыт поддержки облачных миграций и инициатив по модернизации данных, особенно миграций из GCP в AWS.

• Опыт работы с сервисами AWS, включая S3, Glue и Lake Formation.

• Знакомство с Google Cloud Platform (GCP) или другими крупными облачными платформами.

• Опыт работы с современными архитектурами Lakehouse и концепциями Semantic Layer.

• Опыт интеграции REST API и обработки JSON‑данных.

• Знание принципов и практик Data Governance.

• Опыт работы с инструментами Infrastructure as Code (IaC), такими как Terraform.

• Опыт работы с инструментами наблюдаемости и мониторинга данных.

• Опыт работы с конфиденциальными данными HR/People и знакомство с LGPD, GDPR или аналогичными нормативами по защите данных.

• Знакомство с современными инструментами разработки с поддержкой ИИ и соответствующими рабочими процессами.

Уровень английского

Продвинутый уровень владения английским

Тип работы: Гибридный

Локация: São Paulo

Юридическая информация и найм

• Exadel гордится тем, что является работодателем, предоставляющим равные возможности, приверженным инклюзии по признаку меньшинства, гендерной идентичности, сексуальной ориентации, инвалидности, возраста и другим признакам

• Предоставляются разумные приспособления, позволяющие людям с ограниченными возможностями выполнять основные функции

• Обратите внимание: данное описание вакансии не является исчерпывающим. Обязанности и задачи могут изменяться в зависимости от потребностей бизнеса

• Детали компенсации сообщаются кандидатам на ранних этапах процесса подбора.

• Предложение не является обязательным до подписания контракта.

Ваши преимущества в Exadel

Преимущества Exadel зависят от локации и типа контракта. Ваш рекрутер предоставит подробности.

• Международные проекты

• Гибкость работы в офисе, гибридно или удалённо

• Медицинское страхование

• Программа признания достижений

• Непрерывное обучение и возмещение расходов

• Программа благополучия

• Командные мероприятия и локальные бонусы

• Компенсация за спорт

• Бонусы за рекомендации

• Предоставление оборудования высшего уровня

Культура Exadel

Мы руководствуемся доверием, уважением и целью. Мы верим в открытый диалог, творческую свободу и наставничество, которое помогает вам расти, вести и вносить реальный вклад. Наша культура — это место, где идеи ставятся под вопрос, голоса слышны, а ваш вклад имеет значение.