Мы ищем опытного Data Engineer, который будет руководить проектированием, разработкой и оптимизацией сквозных конвейеров данных и облачных решений. Вы будете отвечать за архитектуру масштабируемых систем данных и аналитики, обеспечение целостности данных и внедрение лучших практик и шаблонов программной инженерии.
Key Responsibilities
Data Architecture and Engineering · Разрабатывать и внедрять масштабируемые конвейеры данных для их загрузки, трансформации и хранения. · Проектировать и оптимизировать озера данных и хранилища данных для поддержки аналитики и отчетности. · Создавать надёжные ETL‑процессы для интеграции структурированных и неструктурированных данных из различных источников. · Обеспечивать высокое качество данных с помощью очистки, валидации и техник трансформации.
Cloud and Big Data Solutions · Руководить внедрением фреймворков big data, таких как Hadoop и Spark, для обработки больших наборов данных. · Разрабатывать и оптимизировать решения на облачных платформах, включая AWS S3, Azure Data Lake, Google BigQuery и Snowflake. · Управлять озерами данных для обеспечения эффективного доступа к данным и их обработки в downstream‑приложениях.
Database and Data Warehousing · Проектировать, внедрять и управлять реляционными (SQL) и нереляционными (NoSQL) системами баз данных. · Руководить архитектурой баз данных, включая проектирование схем, оптимизацию запросов и настройку производительности. · Контролировать проектирование и управление хранилищами данных, обеспечивая их надёжность, масштабируемость и безопасность.
Software Development and Automation · Использовать Python и SQL для разработки эффективного, готового к продакшн кода конвейеров данных и интеграций. · Реализовывать автоматизацию скриптов с помощью Bash и PowerShell для оптимизации рабочих процессов. · Применять систему контроля версий (Git) и следовать лучшим практикам оптимизации кода, модульного тестирования и отладки.
Collaboration and Leadership · Выступать в роли технического лидера, предоставляя рекомендации по лучшим практикам. · Сотрудничать с кросс‑функциональными командами (Data Scientists, Software Engineers, Analysts) для достижения бизнес‑целей. · Стимулировать инновации, оценивая и интегрируя новые инструменты, технологии и фреймворки. · Создавать и поддерживать CI/CD‑конвейеры для обеспечения эффективного развертывания и надёжности системы.
Qualifications: Required: · Степень бакалавра или магистра в области Computer Science, Data Engineering или смежных дисциплин. · Более 5 лет опыта работы в качестве Data Engineer с экспертизой в построении масштабных решений для данных. · Владение Python, SQL и скриптовыми языками (Bash, PowerShell). · Глубокое понимание инструментов big data (Hadoop, Spark) и процессов ETL. · Практический опыт работы с облачными платформами (AWS S3, Azure Data Lake, Google BigQuery, Snowflake). · Сильные знания систем баз данных (SQL, NoSQL), проектирования баз данных и оптимизации запросов. · Опыт проектирования и управления хранилищами данных для обеспечения производительности и масштабируемости. · Владение практиками программной инженерии: система контроля версий (Git), CI/CD‑конвейеры и модульное тестирование.
Желательно: · Сильный опыт в архитектуре программного обеспечения, шаблонах проектирования и оптимизации кода. · Экспертиза в построении конвейеров на Python и ETL‑фреймворках. · Опыт работы с Azure Data Services и Databricks. · Отличные навыки решения проблем, аналитические способности и коммуникации. · Опыт работы в agile‑среде и сотрудничества с разными командами.