Data Science & Engineering Azure Data Enginner Warsaw, Poland

Проект – ваша цель

Присоединяйтесь к масштабной программе миграции данных, которую ведёт международный поставщик программного обеспечения, работающий в регулируемой отрасли с обязательным аудитом. Вы будете работать в небольшой опытной команде delivery вместе с собственными инженерными командами клиента, перенося миллионы записей из устаревшей системы в современную среду Azure. Строгие стандарты сверки данных, реальная ответственность за целостность данных и прямой контакт с техническим руководством клиента.

• Проектировать, создавать и сопровождать ETL-конвейеры, которые переносят данные из устаревших баз данных SQL Server в Azure SQL
• Профилировать и восстанавливать схемы источников методом обратной разработки там, где документация неполная, и документировать восстановленную модель
• Создавать логику валидации и сверки, которая подтверждает полноту и корректность данных перед первоначальной загрузкой и каждой дельта-загрузкой
• Работать с Business Analyst над маппингом данных, правилами трансформации и согласованным словарём данных
• Проводить репетиционные запуски миграции и поддерживать переключение (cutover)
• Следовать управлению изменениями и релизами в соответствии с ITIL для каждого изменения в продакшене
• Диагностировать и устранять инциденты с данными в продакшене, участвовать в анализе первопричин и внедрении постоянных исправлений
• Вести техническую документацию по компонентам миграции и передать её по окончании проекта

• 3+ года опыта выполнения миграции данных или разработки ETL в корпоративных или критически важных системах
• Уверенное знание T-SQL и практический опыт работы с Microsoft SQL Server, включая SSIS
• Практический опыт работы с Azure SQL Database и связанными сервисами данных Azure (Data Factory, Azure DevOps)
• Подтверждаемый опыт валидации и сверки данных: вы можете объяснить, как вы доказали, что миграция выполнена корректно, а не просто что она отработала
• Умение работать с неполной документацией, используя в качестве первого шага исследование схемы и профилирование данных
• Опыт работы с данными в форматах JSON и XML, хранящимися внутри реляционных структур
• Английский на уровне C1 или выше, ежедневное общение с международными заинтересованными сторонами в европейских часовых поясах и поясах APAC
• Готовность пройти проверку биографических данных, включая проверку на наличие судимости

• Сертификат Microsoft, предпочтительно DP-203 Azure Data Engineer Associate
• ITIL Foundation v4 или готовность пройти сертификацию (за наш счёт)
• Опыт работы в регулируемой отрасли с аудитом, например в финансовых услугах, государственном секторе или здравоохранении
• Опыт работы с change data capture и поддержанием синхронизации систем в период параллельной работы
• Знакомство с Databricks, Snowflake или dbt

• Гибкие и удалённые варианты сотрудничества
• Международные проекты с ведущими мировыми клиентами
• Поездки, связанные с международными проектами
• Некорпоративная атмосфера
• Доступ* к языковым курсам
• Доступ* к инициативам по обмену знаниями
• Доступ* к частной медицинской страховке и страхованию жизни
• Доступ* к карте multisport

*Наличие и условия отдельных льгот могут различаться в зависимости от выбранной формы сотрудничества.