Senior Data Engineer Hyderabad, India

Мы ищем опытного Azure Databricks Data Engineer с сильной практической экспертизой в Azure Cloud, Databricks, Azure Data Factory, Apache Spark, SQL и Python. Идеальный кандидат будет отвечать за разработку, поддержку и сопровождение масштабируемых решений в области data engineering, тесно взаимодействуя с бизнес-подразделениями и техническими командами.

• Проектировать, разрабатывать и поддерживать масштабируемые решения в области data engineering с использованием Azure Cloud, Databricks и Azure Data Factory.
• Разрабатывать, настраивать, планировать и мониторить Databricks Jobs для выполнения бизнес-требований и требований к обработке данных.
• Разрабатывать и поддерживать ноутбуки Databricks на Python/PySpark для загрузки, преобразования, валидации и обработки данных.
• Работать с Databricks Unity Catalog для доступа к данным, их governance, управления разрешениями и данными.
• Проектировать и реализовывать конвейеры данных с помощью Azure Data Factory (ADF).
• Разрабатывать эффективные и оптимизированные SQL-запросы для извлечения, преобразования, валидации и анализа данных.
• Использовать Apache Spark/PySpark для обработки и преобразования больших объёмов данных.
• Разрабатывать решения для автоматизации и обработки данных на Python.
• Мониторить и устранять неполадки в заданиях Databricks, конвейерах ADF, ноутбуках и проблемах с данными в продакшене.
• Выявлять и устранять проблемы с качеством данных, сбоями конвейеров, производительностью и эксплуатацией.
• Оптимизировать задания Spark, SQL-запросы, ноутбуки Databricks и конвейеры данных для повышения производительности и масштабируемости.
• Взаимодействовать с бизнес-стейкхолдерами, data engineers, архитекторами и другими техническими командами, чтобы понимать требования и предоставлять эффективные решения.
• Участвовать в код-ревью и следовать установленным стандартам написания кода, тестирования, документирования и развёртывания.
• Использовать AI-ассистенты для написания кода, такие как GitHub Copilot или аналогичные инструменты, чтобы ускорять разработку, генерировать и проверять код, отлаживать, рефакторить код и повышать продуктивность разработчика.
• Обеспечивать безопасность, надёжность и масштабируемость решений, а также их соответствие лучшим практикам Azure и data engineering.
• Поддерживать развёртывания в продакшене, решение инцидентов и непрерывное улучшение решений в области data engineering.
• Вести техническую документацию по конвейерам данных, заданиям Databricks, ноутбукам и реализованным решениям.

• Практический опыт работы с облаком Azure
• Опыт работы с Databricks (опыт создания jobs, работы с Unity Catalog, поддержки бизнеса через ноутбуки)
• Опыт работы с Azure Data Factory
• Практический опыт работы с SQL
• Опыт работы с Apache Spark
• Практический опыт работы с Python
• Практический опыт работы с AI-ассистентами для написания кода

• Возможность работать над передовыми проектами

• Работа в команде с высокой мотивацией и преданностью делу

• Конкурентная зарплата

• Гибкий график

• Пакет льгот — медицинская страховка, спорт

• Корпоративные мероприятия

• Возможности для профессионального развития

• Хорошо оборудованный офис

Grid Dynamics — работодатель, предоставляющий равные возможности. Мы стремимся создавать инклюзивную среду для всех сотрудников в период работы и для всех кандидатов в процессе подачи заявки.

Все квалифицированные кандидаты будут рассмотрены на должность независимо от возраста, расы, пола, цвета кожи, религии, национального происхождения, сексуальной ориентации, гендерной идентичности, статуса ветерана, инвалидности или любой другой защищённой категории и не будут подвергаться дискриминации по этим признакам. Решение о приёме на работу принимается на основании квалификации, заслуг и бизнес-потребностей.