Data Engineer with Fivetran, Snowflake and dbt

Мы ищем опытного Data Engineer, который работает руками и обладает глубокой экспертизой в Fivetran, dbt, Snowflake и современных практиках облачной инженерии данных. Кандидат также должен иметь опыт работы с Python и быть знаком с инструментами разработки с поддержкой ИИ, такими как Claude, Cursor или ИИ-ассистенты на базе VS Code.

Работа будет сосредоточена на создании масштабируемых пайплайнов загрузки и трансформации данных, внедрении паттернов контроля качества данных и оркестрации, а также на поддержке корпоративных дата-продуктов, которыми пользуются аналитические и бизнес-команды.

Проект построен вокруг современной облачной платформы данных на основе Fivetran, dbt и Snowflake. Вы поможете обеспечить надежные и масштабируемые потоки данных для корпоративных сценариев, а также будете поддерживать практики разработки, такие как CI/CD, код-ревью и контролируемые деплои.

• Проектировать сквозные пайплайны данных с использованием Fivetran, dbt и Snowflake
• Создавать и поддерживать пайплайны загрузки и трансформации для корпоративных дата-продуктов
• Настраивать коннекторы Fivetran и управлять ими для SaaS-приложений, баз данных, API и файловых источников
• Разрабатывать и поддерживать модели dbt на уровнях staging, intermediate, mart и publish
• Внедрять тесты dbt, проверки актуальности источников (source freshness), инкрементальную обработку, документацию и переиспользуемые макросы
• Разрабатывать оптимизированный SQL для Snowflake и масштабируемые аналитические модели данных
• Поддерживать объекты Snowflake, безопасность и RBAC, stages, data sharing и паттерны загрузки данных
• Внедрять контроль качества данных, сверку, мониторинг и операционные оповещения
• Устранять неполадки в продуктивных пайплайнах и проводить анализ первопричин на уровнях загрузки и трансформации
• Участвовать в разработке на базе Git, CI/CD, код-ревью и деплоях в окружения DEV, QA и PROD
• Взаимодействовать с командами приложений, инфраструктуры, безопасности, аналитики и бизнеса для подключения новых источников данных
• Использовать инструменты разработки с поддержкой ИИ для написания кода, поиска неисправностей, документирования и повышения качества кода

• 5+ лет опыта в Data Engineering или смежных областях
• 2+ года практического опыта работы со Snowflake и dbt
• Опыт внедрения и поддержки пайплайнов Fivetran в продакшене
• Опыт проектирования переиспользуемых паттернов загрузки и трансформации данных
• Уверенное владение SQL, включая сложные соединения (joins), CTE, оконные функции, сверку данных и оптимизацию запросов
• Опыт работы с Git и CI/CD, включая ветвление, pull requests, код-ревью и автоматизированные процессы деплоя
• Практическое знание Python для обработки данных, автоматизации, интеграций с API, обработки файлов, валидации данных и операционных скриптов
• Опыт работы в рамках корпоративных процессов SDLC с окружениями DEV, QA и PROD и процессов управления изменениями
• Сильные навыки поиска и устранения неполадок в продакшене и анализа первопричин
• Уверенное использование Claude, Cursor или VS Code с возможностями разработки с поддержкой ИИ

• Опыт работы с Apache Airflow или AWS MWAA для оркестрации
• Опыт работы с сервисами AWS, включая S3, IAM, Lambda, Secrets Manager и FSx
• Опыт работы с интеграциями Salesforce, Marketo и другими SaaS-интеграциями
• Опыт работы с REST API, а также с загрузкой данных через SFTP или из файлов
• Опыт работы со Snowflake Secure Data Sharing
• Опыт работы со Snowpark или Snowpark Container Services
• Опыт работы с Databricks
• Опыт работы с Terraform или Infrastructure as Code
• Опыт работы с фреймворками качества данных и наблюдаемости (observability)
• Опыт модернизации или миграции устаревших ETL-платформ или платформ интеграции