Senior Data Quality Engineer, SDET with Databricks and Microsoft Fabric

Проект мигрирует данные и отчётность из наследуемой инфраструктуры на современную платформу, построенную на Databricks и Microsoft Fabric. Инжиниринг качества является центральным элементом проекта. Бизнесу нужна уверенность в том, что мигрированные данные согласованы с источником, что конвейеры работают согласно спецификации, и что отчёты дают согласованные результаты.

• Разрабатывать и внедрять фреймворки тестирования данных и обеспечения качества.
• Создавать автоматическую проверку для конвейеров данных и продуктов данных.
• Отвечать за согласование источника и цели между наследуемыми системами и новой платформой.
• Создавать повторяемые наборы регрессионных тестов, которые работают без присмотра.
• Писать модульные тесты, которые автоматически выполняются в CI/CD, с контрольными точками качества, способными блокировать релиз.
• Обнаруживать и обрабатывать дрейф схемы и неожиданные структурные изменения.
• Проверять отчёты, дашборды и семантические модели, включая определения измерений, поведение фильтров и итоговые суммы.
• Применять методы с поддержкой ИИ для генерации тестов и анализа покрытия, с последующим человеческим обзором.

• 5+ лет опыта в области инжиниринга качества, с существенным недавним опытом тестирования данных или процессов ETL, а не приложений.
• Сильные навыки Python и SQL, используемые для построения автоматизации тестов, а не только их запуска.
• Опыт валидации конвейеров, включая подсчёт строк, контрольные итоги, референтную целостность и проверку бизнес‑правил.
• Опыт согласования источника и цели с использованием заданных допусков.
• Опыт автоматизации тестов в CI/CD, включая контрольные точки, блокирующие релиз.
• Опыт работы с Azure DevOps.
• Опыт работы с SQL Server.
• Владение английским языком на уровне, позволяющем вести прямые беседы с клиентом.

• Опыт работы с Azure Databricks или Microsoft Fabric.
• Опыт работы с фреймворками качества данных, включая Great Expectations, dbt tests, Databricks Expectations, DLT quality rules, Soda или Deequ.
• Опыт разработки фреймворка тестирования с нуля, а не расширения существующего.
• Опыт тестирования семантических моделей и уровней BI.
• Опыт работы в регулируемой среде финансовых услуг.
• Опыт автоматизации тестов приложений наряду с тестированием данных, включая Selenium, C#, SpecFlow или Playwright.