Data Engineer with GCP

Мы ищем Data Engineer с серьёзным опытом работы с Google Cloud Platform для разработки конвейеров данных, построения хранилищ данных и решения задач отчётности. В этой роли вы будете работать с BigQuery, DBT, Cloud Functions и связанными сервисами GCP, создавая масштабируемые и удобные в сопровождении решения для работы с данными.

• Создавать, поддерживать и оптимизировать конвейеры данных с использованием компонентов Google Cloud Platform, таких как BigQuery, DBT и Cloud Functions
• Обеспечивать эффективный и надёжный поток данных из различных источников в хранилища данных и downstream-системы
• Проектировать и внедрять решения для хранилищ данных на BigQuery
• Разрабатывать и вести ETL-процессы для эффективной загрузки, преобразования и хранения данных
• Взаимодействовать с бизнес-стейкхолдерами, чтобы понимать потребности в отчётности и превращать их в практически применимые выводы
• Проектировать и внедрять масштабируемые и эффективные модели данных в BigQuery
• Оптимизировать SQL-запросы и ETL-процессы с точки зрения производительности и экономии затрат
• Автоматизировать задачи обработки данных с помощью Cloud scheduler или любой оркестрации, совместимой с GCP, а также других инструментов автоматизации GCP
• Обеспечивать надёжность, масштабируемость и удобство сопровождения конвейеров данных и BI-процессов
• Внедрять проверки качества данных и мониторинг для обеспечения точности и согласованности данных
• Вносить вклад в практики управления данными (data governance), включая каталогизацию данных и документацию

• Опыт работы с Google Cloud Platform, включая BigQuery, DBT и Cloud Functions
• Проектирование, поддержка и оптимизация конвейеров данных, разработка и ведение ETL-процессов
• Опыт разработки и ведения ETL-процессов
• Опыт работы с хранилищами данных на BigQuery
• Опыт оптимизации SQL-запросов
• Опыт проектирования масштабируемых моделей данных в BigQuery
• Опыт автоматизации работы с данными с помощью Cloud Scheduler и инструментов GCP
• Опыт работы с проверками качества данных и мониторингом
• Опыт работы с практиками управления данными (data governance) и документирования