Senior Data Engineer

Мы ищем Data Engineer, который будет проектировать, разрабатывать и оптимизировать нашу инфраструктуру данных на Databricks. Вы будете разрабатывать масштабируемые конвейеры с использованием BigQuery, Google Cloud Storage, Apache Airflow, dbt, Dataflow и Pub/Sub, обеспечивая высокую доступность и производительность наших процессов ETL/ELT. Вы будете использовать Great Expectations для обеспечения стандартов качества данных. Роль также включает построение среды Data Mart (Data Mach) и внедрение лучших практик CI/CD. Успешный кандидат обладает обширными знаниями облачных решений для данных, сильной экспертизой в ETL/ELT‑фреймворках (включая dbt) и страстью к созданию надёжных, экономически эффективных конвейеров.

• Data Architecture & Strategy – Определять и реализовывать общую архитектуру данных в GCP, включая хранилище данных в BigQuery/Databricks, паттерны data lake в Google Cloud Storage и решения Data Mart (Data Mach). Интегрировать Terraform для Infrastructure as Code с целью эффективного provision и управления облачными ресурсами. Создавать как пакетные, так и потоковые фреймворки обработки данных для обеспечения надёжности, масштабируемости и экономичности.

• Pipeline Development & Orchestration – Проектировать, строить и оптимизировать конвейеры ETL/ELT с использованием Apache Airflow для оркестрации рабочих процессов. Реализовывать трансформации dbt (Data Build Tool) для поддержания версионных моделей данных в BigQuery, обеспечивая согласованность и надёжность всего конвейера данных. Использовать Google Dataflow (на базе Apache Beam) и Pub/Sub для крупномасштабной потоковой/пакетной обработки и загрузки данных. Автоматизировать планирование задач и трансформацию данных для своевременного предоставления аналитики, машинного обучения и отчётности.

• Event-Driven & Microservices Architecture – Внедрять событийно‑ориентированные или асинхронные рабочие процессы данных между микросервисами. Применять Docker и Kubernetes (K8s) для контейнеризации и оркестрации, обеспечивая гибкие и эффективные микросервисные рабочие процессы данных. Реализовывать CI/CD‑конвейеры для упрощённой разработки, тестирования и развертывания компонентов инженерии данных.

• Data Quality, Governance & Security – Обеспечивать стандарты качества данных с помощью Great Expectations или аналогичных фреймворков, определяя и проверяя ожидания для критических наборов данных. Определять и поддерживать управление метаданными, прослеживаемость данных и стандарты аудита для гарантии надёжных наборов данных. Внедрять лучшие практики безопасности, включая шифрование данных в состоянии покоя и при передаче, Identity and Access Management (IAM) и соответствие GDPR или CCPA, где это применимо.

• Scientists & Analytics Enablement – Сотрудничать с командами Data Science, Analytics и Product, чтобы инфраструктура данных поддерживала продвинутую аналитику, включая инициативы машинного обучения. Поддерживать среды Data Mart (Data Mach), ориентированные на конкретные бизнес‑домены, оптимизируя доступ и производительность для ключевых заинтересованных сторон.

1. Experience – 3+ лет профессионального опыта в инженерии данных, минимум 1 год в мобильных данных 2. Technical Expertise with GCP Stack – Доказанный опыт построения и поддержки окружений BigQuery и data lake на базе Google Cloud Storage. – Глубокие знания Apache Airflow для планирования/оркестрации и проектирования ETL/ELT. – Опыт внедрения dbt для трансформаций данных, RabbitMQ для событийно‑ориентированных рабочих процессов и Pub/Sub + Dataflow для потоковых/пакетных конвейеров. – Знакомство с проектированием и внедрением решений Data Mart (Data Mach), а также использование Terraform для IaC. 3. Programming & Containerization – Сильные навыки программирования на Python, Java или Scala, плюс скриптинг для автоматизации. – Опыт работы с Docker и Kubernetes (K8s) для контейнеризации сервисов, связанных с данными. – Практический опыт CI/CD‑конвейеров и DevOps‑инструментов (например, Terraform, Ansible, Jenkins, GitLab CI) для управления инфраструктурой и развертываниями. 4. Data Quality & Governance – Владение Great Expectations (или аналогичными) для определения и обеспечения стандартов качества данных.

– Экспертиза в проектировании систем прослеживаемости данных, управления метаданными и соответствия (GDPR, CCPA). – Глубокое понимание систем OLTP (Online Transaction Processing) и OLAP (Online Analytical Processing). 5. Communication – Отличные коммуникативные навыки для технической и нетехнической аудитории. – Высокий уровень организации, самомотивации и способности решать проблемы.

• Конкурентоспособная компенсация в зависимости от вашего опыта и экспертизы

• Долгосрочное сотрудничество на основе контракта

• Коллаборативная и открытая атмосфера

• Гибкие формы совместной работы