Senior Data Engineer - Snowflake & Airflow

Мы ищем практичного Senior Data Engineer для проектирования, построения и поддержки современных платформ данных и производственных конвейеров данных с использованием Snowflake, Apache Airflow, Python и AWS. Вы будете работать на всех этапах жизненного цикла инженерии данных — от ingest‑а и моделирования до трансформаций, тестирования, развертывания, мониторинга и поддержки в продакшене. Вы будете сотрудничать с кросс‑функциональными командами, превращая сложные требования к данным в надёжные, масштабируемые и хорошо управляемые решения.

• Проектировать, разрабатывать и поддерживать производственные конвейеры данных с использованием Python, Apache Airflow, Snowflake и Amazon S3
• Проектировать и развивать масштабируемые архитектуры данных, включая уровни Bronze, Silver и Gold
• Разрабатывать модели данных и реализовывать инкрементную загрузку, историзацию, версионирование и переиспользуемые шаблоны трансформаций
• Писать и оптимизировать сложные SQL‑трансформации, представления, хранимые процедуры, динамические таблицы, потоки, задачи и запланированные работы
• Интегрировать данные из реляционных баз данных, API, объектного хранилища и файловых источников
• Внедрять проверки качества данных, валидацию, сверку, прослеживаемость, мониторинг и надёжные процессы обработки ошибок
• Управлять контролем доступа в Snowflake, ролями, разрешениями, сервисными аккаунтами и развертыванием в средах разработки, тестирования и продакшена
• Поддерживать CI/CD‑конвейеры для объектов Snowflake, DAG‑ов Apache Airflow и кода Python с использованием Git и автоматического тестирования
• Мониторить и устранять проблемы в производственных конвейерах, проактивно повышая их надёжность и производительность
• Сотрудничать с командами данных, аналитики, инженерии и другими техническими подразделениями для преобразования бизнес‑ и технических требований в надёжные продукты данных
• Создавать техническую документацию и спецификации в соответствии с установленными стандартами качества и соответствия

• 5+ лет опыта в Data Engineering, включая минимум 3 года работы с производственными платформами данных
• Глубокий практический опыт работы с Snowflake, включая моделирование данных, RBAC и управление доступом, управление Warehouse, профилирование запросов и оптимизацию производительности, хранимые процедуры
• Продвинутый уровень владения SQL, включая сложные JOIN‑ы, CTE, оконные функции, инкрементную обработку и оптимизацию запросов
• Сильные навыки Python для ETL, интеграции с базами данных, автоматизации, обработки ошибок и тестирования
• Опыт работы в продакшене с Apache Airflow, включая разработку DAG‑ов, зависимости, сенсоры, группы задач, повторные попытки, backfill‑ы и операционную поддержку
• Опыт работы с реляционными базами данных, объектным хранилищем, API и файловыми источниками данных
• Хорошее понимание современных архитектур данных, включая медальонную и размерностную модели, медленно меняющиеся измерения, естественные и суррогатные ключи, историзацию
• Опыт работы с Git, pull request‑ами, автоматическим тестированием и CI/CD для конвейеров данных и кода баз данных
• Сильные навыки решения проблем и способность работать самостоятельно в производственной среде
• Snowflake и Apache Airflow являются ключевыми требованиями для этой роли; опыт только с альтернативными хранилищами данных или оркестраторами будет недостаточным

• Опыт работы в регулируемых или валидационных средах
• Понимание в области наук о жизни, здравоохранения, клинических, лабораторных, геномных или биоинформатических данных
• Опыт работы с LIMS или другими системами научных/клинических данных
• Знакомство с OMOP или другими стандартизированными клиническими моделями данных
• Опыт работы с инструментами потребления и визуализации данных, такими как Tableau или Streamlit
• Знакомство с научными или вычислительными рабочими процессами и инструментами, такими как Nextflow или аналогичными платформами оркестрации рабочих процессов
• Сертификация SnowPro
• Опыт работы с AWS Managed Workflows for Apache Airflow (MWAA)

• Конкурентоспособная компенсация
• Удалённая работа
• Гибкий график
• Команда с отличной технической экспертизой