Senior Data Quality Engineer, SDET with Databricks and Microsoft Fabric

Это роль, ориентированная на качество данных, а не на тестирование приложений. Вы будете создавать автоматическую проверку данных для конвейеров и продуктов данных, отвечать за согласование между наследуемыми и целевыми системами, а также внедрять контрольные точки качества в конвейер поставки, чтобы сбой блокировал релиз, а не приводил к отчёту, который никто не читает.

Location: UK remote, including remote London.

Проект мигрирует данные и отчётность из наследуемой инфраструктуры на современную платформу, построенную на Databricks и Microsoft Fabric. Инжиниринг качества является центральным элементом проекта. Бизнесу нужна уверенность в том, что мигрированные данные согласуются с источником, что конвейеры работают согласно спецификации, и что отчёты дают согласованные результаты.

• Разрабатывать и внедрять фреймворки тестирования данных и обеспечения качества.
• Создавать автоматическую проверку данных для конвейеров и продуктов данных.
• Отвечать за согласование источника и цели между наследуемыми системами и новой платформой.
• Создавать повторяемые наборы регрессионных тестов, которые работают без вмешательства.
• Писать модульные тесты, которые автоматически запускаются в CI/CD, с контрольными точками качества, способными блокировать релиз.
• Обнаруживать и обрабатывать дрейф схемы и неожиданные структурные изменения.
• Проверять отчёты, дашборды и семантические модели, включая определения измерений, поведение фильтров и итоговые значения.
• Применять методы, поддерживаемые ИИ, для генерации тестов и анализа покрытия, с последующим человеческим контролем.

• 5+ лет опыта в области инженерии качества, с актуальным опытом тестирования данных или ETL‑процессов, а не приложений.
• Сильные навыки Python и SQL, используемые для построения автоматизации тестов, а не только для их запуска.
• Опыт валидации конвейеров, включая подсчёт строк, контрольные итоги, референтную целостность и проверку бизнес‑правил.
• Опыт согласования источника и цели с использованием заданных допусков.
• Опыт автоматизации тестов в CI/CD, включая контрольные точки, блокирующие релиз.
• Опыт работы с Azure Databricks.
• Опыт работы с Azure DevOps.
• Опыт работы с SQL Server.
• Владение английским языком на уровне, позволяющем вести прямые беседы с клиентом.
• Опыт работы с Microsoft Fabric.
• Опыт работы с Sapiens.
• Опыт работы с фреймворками качества данных, включая Great Expectations, dbt tests, Databricks Expectations, DLT quality rules, Soda или Deequ.
• Опыт разработки фреймворка тестирования с нуля, а не расширения существующего.
• Опыт тестирования семантических моделей и уровней BI.
• Опыт работы в регулируемой среде финансовых услуг.
• Опыт автоматизации тестирования приложений совместно с тестированием данных, включая Selenium, C#, SpecFlow или Playwright.