Data Engineer

Data Engineer

Location- Kochi/Coimbatore/Chennai

Job Overview

Мы ищем сильного Data Engineer – Databricks Migration с более чем 10 лет опыта и практическими навыками работы с Databricks, PySpark и интерпретацией SQL/T-SQL для поддержки программы миграции от наследуемой системы к Databricks. Идеальный кандидат должен большую часть своей карьеры работать в роли Data Engineer, предпочтительно начиная с Oracle, SQL Server/T-SQL, ETL или технологий Data Warehouse и позже переходя к современному облачному Data Engineering. Роль требует способности понимать существующую логику T-SQL и переносить правила трансформации в масштабируемые решения на Databricks и PySpark. Важный критерий отбора: кандидат должен преимущественно и последовательно работать в роли Data Engineer на протяжении всей карьеры. Профили, в основном занимающиеся BI, отчётностью, построением дашбордов, аналитикой или только недавно переключившиеся на Data Engineering, не должны быть в приоритете.

• Анализировать наследуемый склад данных, SQL Server, Oracle, ETL и реализации на основе T-SQL для миграции в Databricks.
• Читать и интерпретировать сложные скрипты T-SQL, хранимые процедуры, функции, представления, соединения, правила трансформации и потоки данных.
• Преобразовывать бизнес‑логику из наследуемых процессов SQL/T-SQL в оптимизированные рабочие процессы Databricks и PySpark.
• Проектировать, разрабатывать и поддерживать масштабируемые конвейеры ETL/ELT в Databricks.
• Поддерживать загрузку, трансформацию, валидацию и согласование корпоративных данных между наследуемыми и современными платформами.
• Сотрудничать с архитекторами, старшими инженерами, бизнес‑аналитиками и командами миграции для понимания требований к сопоставлению источника и цели.
• Выполнять проверки качества данных, модульное тестирование, интеграционное тестирование и исправление дефектов во время выполнения миграции.
• Оптимизировать задачи PySpark, запросы SQL и ноутбуки Databricks для повышения производительности и надёжности.
• Документировать логику миграции, правила трансформации, зависимости и детали технического дизайна.
• Участвовать в ревью кода и соблюдать лучшие практики Data Engineering.

• 5+ лет соответствующего опыта Data Engineering, при этом большинство карьеры прошло в ролях Data Engineering.
• Сильный практический опыт разработки в Databricks.
• Сильный опыт программирования на PySpark для трансформации данных и разработки конвейеров.
• Глубокое понимание SQL/T-SQL, особенно умение читать и интерпретировать существующий код T-SQL.
• Опыт работы с наследуемыми технологиями данных, такими как SQL Server, Oracle, традиционные ETL‑инструменты или платформы Data Warehouse.
• Опыт разработки ETL/ELT, загрузки данных, их трансформации и реализации конвейеров данных.
• Хорошее понимание Data Warehousing, Data Modeling и размерностных концепций.
• Способность мигрировать или переинжинирировать наследуемую логику SQL/ETL в Databricks/PySpark.
• Сильные аналитические, отладочные и проблемно‑решающие навыки.
• Хорошие коммуникативные навыки для работы с техническими и бизнес‑командами.

• Степень бакалавра или магистра в области компьютерных наук, информационных технологий, инженерии или смежных дисциплин.
• Опыт работы с Azure Data Factory или Azure Data Platform.
• Опыт работы с Delta Lake.
• Знакомство с Unity Catalog.
• Опыт работы с Azure Synapse Analytics.
• Знакомство с CI/CD для конвейеров данных.
• Опыт работы в моделях поставки Agile/Scrum.
• Понимание вопросов управления данными, безопасности и прослеживаемости.
• Соответствующие сертификаты в Databricks, Azure Data Engineering или облачных платформах данных будут дополнительным преимуществом.
• Сильный практический опыт Data Engineering на протяжении всей карьеры, а не частичный или недавний переход.
• Исключать профили, в основном являющиеся BI Developers, Power BI Developers, Data Analysts или только с навыками отчётности.

Orion является работодателем, предоставляющим равные возможности, и все квалифицированные соискатели получат рассмотрение их заявок без учёта расы, цвета кожи, вероисповедания, религии, пола, сексуальной ориентации, гендерной идентичности или выражения, беременности, возраста, национального происхождения, статуса гражданства, наличия инвалидности, генетической информации, статуса защищённого ветерана или любого другого признака, защищённого законом.

Candidate Privacy Policy

Orion Systems Integrators, LLC и её дочерние компании и аффилированные лица (совместно «Orion», «мы» или «нас») привержены защите вашей конфиденциальности. Эта Candidate Privacy Policy (orioninc.com) («Уведомление») объясняет:

• Какую информацию мы собираем в процессе подачи заявок и найма и зачем мы её собираем;
• Как мы обрабатываем эту информацию;
• Как получить доступ к этой информации и обновить её.

Ваше использование сервисов Orion регулируется любыми применимыми условиями данного уведомления и нашей общей Политикой конфиденциальности.