Middle Big Data Engineer (Databricks + Azure); ID 103226

В этой роли вы будете разрабатывать и поддерживать надёжные решения для работы с данными на базе Databricks и Azure. Вы будете работать с пакетными и потоковыми конвейерами обработки данных, поддерживать процессы обработки и оптимизации данных, а также сотрудничать с командой для создания готовых к продуктивному использованию решений.

• разрабатывать и поддерживать пакетные и потоковые ETL‑конвейеры на платформе Databricks Lakehouse;
• создавать и оптимизировать решения для обработки данных с помощью PySpark, Python и SQL;
• работать с кластерами Databricks, SQL Warehouses и Delta Lake;
• поддерживать архитектуры Lakehouse по модели bronze‑silver‑gold;
• применять практики управления данными с помощью Unity Catalog;
• разрабатывать и внедрять решения для работы с данными с использованием CI/CD‑процессов;
• работать с Databricks SQL и BI‑инструментами, в частности Power BI;
• сотрудничать с членами команды и стейкхолдерами для сбора требований и внедрения решений для работы с данными;
• участвовать в решении технических проблем, оптимизации производительности и инициативах по непрерывному совершенствованию.

• более 4 лет профессионального опыта в Data Engineering;
• практический опыт работы с Databricks и Azure;
• уверенные знания PySpark, Python и SQL;
• опыт разработки и поддержки ETL/ELT‑конвейеров обработки данных;
• понимание концепций Delta Lake и архитектуры Lakehouse;
• опыт работы с кластерами Databricks и SQL Warehouses;
• базовые или практические знания Unity Catalog и принципов управления данными;
• понимание практик CI/CD для решений в сфере данных;
• уровень английского языка Upper‑Intermediate или выше;
• развитые навыки коммуникации и сотрудничества;
• опыт работы с сервисами Azure, такими как ADF, Synapse, ADLS, Azure DevOps, Microsoft Fabric, будет преимуществом;
• знание Databricks AI/BI, в частности MLflow, Dashboards, Metric Views или Genie, будет преимуществом.

• опыт работы с сервисами Azure, такими как ADF, Synapse, ADLS, Azure DevOps, Microsoft Fabric, будет преимуществом;
• знание Databricks AI/BI, в частности MLflow, Dashboards, Metric Views или Genie, будет преимуществом.

• Гибкий график: работайте из дома, из офиса или в гибридном формате — так, чтобы сохранять фокус и оставаться на связи с командой.
• Компенсация и преимущества: конкурентная оплата, соответствующая роли, локации и рынку.
• Также — медицинское страхование, оплачиваемый отпуск, поддержка физического и ментального здоровья и возможности для обучения.
• Лидерство с фокусом на людях: вы работаете с лидерами, открытыми к диалогу, которые объясняют контекст и помогают командам двигаться в одном направлении.
• Технологические сообщества: присоединяйтесь к сообществам AI/ML, Cloud, Quantum Computing, IoT и Robotics, а также к проектам, основанным на современных фреймворках и технологиях.

SoftServe — компания равных возможностей. Мы открыты к трудоустройству всех квалифицированных кандидатов и кандидаток, независимо от расы, цвета кожи, вероисповедания, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности и самовыражения, статуса ветерана и других защищённых признаков, в соответствии с действующим законодательством. Станьте частью SoftServe и делайте то, что драйвит!