Senior Big Data Engineer (Databricks + Azure); ID 103214

В этой роли вы будете создавать масштабируемые и эффективные решения для работы с данными на платформе Databricks Lakehouse в Azure‑средах. Вы будете работать с пакетными и потоковыми конвейерами обработки данных, участвовать в инициативах по оптимизации платформы данных и сотрудничать с техническими и бизнес‑стейкхолдерами для создания надёжных, готовых к продуктивному использованию решений на разных этапах жизненного цикла проекта.

• проектировать, разрабатывать и поддерживать масштабируемые пакетные и потоковые ETL‑конвейеры на платформе Databricks Lakehouse;
• создавать и оптимизировать решения для обработки данных с помощью PySpark, Python и SQL;
• настраивать и поддерживать Databricks clusters и SQL Warehouses;
• внедрять и поддерживать практики управления данными с помощью Unity Catalog, включая контроль доступа, отслеживание происхождения данных и обмен данными между рабочими пространствами;
• разрабатывать и внедрять решения для работы с данными с использованием Databricks Asset Bundles и CI/CD‑процессов;
• проектировать и поддерживать архитектуры Lakehouse уровней bronze—silver—gold на базе Delta Lake;
• предоставлять доступ к данным и визуализировать их с помощью Databricks SQL и BI‑инструментов, в частности Power BI;
• сотрудничать с техническими и бизнес‑стейкхолдерами для сбора требований и создания эффективных решений;
• участвовать в архитектурных обсуждениях и способствовать непрерывному совершенствованию подходов и процессов команды;
• поддерживать внедрение и использование современных возможностей Databricks AI/BI, в частности Dashboards, Metric Views, MLflow, Genie и агентов, где это уместно.

• более 5 лет опыта в Data Engineering, включая проектирование моделей данных и масштабируемых ETL‑конвейеров;
• экспертиза в PySpark, Python и SQL, включая оптимизацию производительности;
• практический опыт работы с Databricks, в частности clusters и SQL Warehouses;
• знание практик управления данными в Unity Catalog, включая гранулярный контроль доступа, lineage и обмен данными;
• опыт создания комплексных решений для работы с данными с использованием Databricks Asset Bundles и CI/CD‑практик;
• понимание Delta Lake и концепций Lakehouse‑архитектуры;
• опыт работы с Databricks SQL и BI‑инструментами, в частности Power BI;
• сильные навыки коммуникации и сотрудничества с техническими и бизнес‑стейкхолдерами;
• уровень английского Upper-Intermediate или выше;

• знание инструментов Databricks AI/BI, таких как MLflow, Dashboards, Metric Views, Genie или агенты, будет преимуществом;
• опыт работы с сервисами Azure для данных, такими как ADF, Synapse, ADLS, Azure DevOps или Microsoft Fabric, будет преимуществом.

• Гибкий график: работайте из дома, из офиса или в гибридном формате — так, чтобы сохранять фокус и оставаться на связи с командой.
• Компенсация и льготы: конкурентная оплата, соответствующая роли, локации и рынку.
• Также — медицинское страхование, оплачиваемый отпуск, поддержка физического и ментального здоровья и возможности для обучения.
• Лидерство с фокусом на людях: вы работаете с лидерами, открытыми к диалогу, которые объясняют контекст и помогают командам двигаться в одном направлении.
• Технологические сообщества: присоединяйтесь к сообществам AI/ML, Cloud, Quantum Computing, IoT и Robotics, а также к проектам, основанным на современных фреймворках и технологиях.

SoftServe — компания равных возможностей. Мы открыты к трудоустройству всех квалифицированных кандидатов и кандидаток, независимо от расы, цвета кожи, вероисповедания, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности и самовыражения, статуса ветерана и других защищённых признаков, в соответствии с действующим законодательством. Станьте частью SoftServe и делайте то, что драйвит!