Senior Data Engineer with Snowflake OpenFlow

Мы ищем Senior Data Engineer для внедрения и валидации change data capture из AWS Aurora PostgreSQL в Snowflake. Вы поможете создавать metadata-driven фреймворки интеграции, поддерживать внедрение схем в архитектуре Medallion и вносить вклад в производительность, надёжность и governance всего потока данных.

• Настраивать и эксплуатировать Snowflake OpenFlow из Aurora PostgreSQL в Snowflake
• Настраивать и устранять неполадки Aurora PostgreSQL для логической репликации
• Разворачивать инфраструктуру с помощью Terraform и AWS IAM с контролем доступа по принципу наименьших привилегий
• Проводить структурированные тесты proof of concept для больших таблиц, высоконагруженной параллельной работы CDC и сценариев восстановления после сбоев
• Документировать результаты тестирования proof of concept и валидационных мероприятий
• Отслеживать состояние репликации с помощью встроенной наблюдаемости Snowflake и Amazon CloudWatch
• Определять с заинтересованными сторонами критерии успеха для валидации репликации и загрузки данных
• Поддерживать настройку управляемой загрузки на стороне Snowflake, включая warehouses, гранты, расписания и проверки сверки данных
• Применять практики безопасности и governance, подходящие для регулируемого финансового контекста и обслуживания участников
• Выполнять обновление схем, DBT и нативных пайплайнов Snowflake с сохранением непрерывности бизнеса и данных
• Выполнять улучшения производительности и затрат
• Следовать согласованным процедурам вывода из эксплуатации для удаления артефактов репликации и доступа

• Практический опыт работы со Snowflake OpenFlow или Apache NiFi
• Серьёзный опыт работы с PostgreSQL или Aurora, включая логическую репликацию, WAL-слоты и контроль доступа
• Опыт работы с Terraform на AWS, включая сети, security groups, IAM и передачу ролей для управляемых сервисов
• Опыт работы с DBT для трансформации данных
• Владение SQL для трансформаций, валидации и сверки данных
• Практическое знание Snowflake, включая warehouses, роли и паттерны загрузки
• Понимание основ CDC и ELT
• Опыт работы с практиками валидации качества данных и сверки
• Сильные коммуникативные навыки для Agile-взаимодействия между командами в распределённых командах
• Опыт работы с GitHub

• Опыт работы с источниками PostgreSQL и приёмниками Snowflake с использованием OpenFlow, NiFi или аналогичных сервисов
• Опыт работы с Python или похожими языками для автоматизации проверок и отчётности
• Опыт работы со Snowflake OpenFlow или аналогичными управляемыми решениями CDC
• Опыт работы с Airflow или аналогичными инструментами для оркестрации в production
• Опыт работы в финансовых услугах или аналогичных регулируемых областях
• Опыт оценки стоимости облачных ресурсов для репликации в больших масштабах
• Опыт работы с Amazon EKS или Kubernetes для мониторинга и решения проблем в среде OpenFlow или NiFi
• Опыт работы с Cursor или Claude
• Опыт разработки на основе спецификаций