Middle Data Engineer

Эта роль нужна, чтобы масштабировать и стабилизировать основную инфраструктуру данных, на которой работают наши системы аналитики в реальном времени и принятия решений. Вы поможете нам получать точную бизнес-аналитику без задержек: будете проектировать надёжные пайплайны загрузки данных, строить чистые семантические модели и поддерживать безупречное управление данными (data governance) на всей платформе.

Архитектура и моделирование данных

• Проектировать и внедрять масштабируемые слои трансформации данных, организуя сырые данные в проверенные витрины данных производственного уровня.
• Создавать и оптимизировать модели семантического слоя, обеспечивая единые метрики и определения во всех отчётных системах.
• Устанавливать стандарты моделирования данных, используя оптимальные форматы хранения (Parquet, ORC, AVRO) и движки хранения (PostgreSQL, ClickHouse, Redshift/BigQuery).

Разработка и запуск пайплайнов

• Выпускать и поддерживать сквозные пайплайны загрузки данных, интегрирующие внутренние сервисы и сторонние потоки событий (Kafka, Kinesis, внешние API).
• Автоматизировать тестирование качества и целостности данных, чтобы выявлять сбои пайплайнов и «тихие» изменения схем до того, как они дойдут до downstream-потребителей.
• Настраивать производительность запросов и устранять узкие места пайплайнов, активно управляя индексацией, партиционированием данных и планированием задач.

Операции с платформой и интеграция

• Предоставлять доступ к данным через сервисы, создавая и поддерживая производительные REST API на современных фреймворках (FastAPI, Flask или Aiohttp).
• Обеспечивать детальный контроль доступа на всех слоях данных с помощью RBAC, безопасности на уровне строк (RLS) и маскирования на уровне столбцов.
• Автоматизировать CI/CD-процессы и деплои с использованием Docker, GitLab CI и Terraform в нашей облачной инфраструктуре.

Качество разработки и взаимодействие между командами

• Работать вместе с продакт-менеджерами, разработчиками и аналитиками, чтобы превращать бизнес-логику в поддерживаемые технические требования.
• Участвовать в тщательных ревью кода и архитектуры, соблюдая строгие стандарты тестирования (unit, integration, TDD/BDD).
• Документировать проектные решения систем и схемы каталога данных, делая данные доступными для поиска и самообслуживания во всей организации.

• От 3 лет практического опыта в Data Engineering, Software Engineering или в смежных распределённых системах данных.
• Подтверждённая экспертиза в SQL и базах данных: уверенный практический опыт работы с реляционными базами данных (PostgreSQL) и современными аналитическими/колоночными хранилищами данных (ClickHouse, BigQuery или Redshift).
• Продемонстрированные навыки работы с пайплайнами и распределёнными вычислениями: практический опыт оркестрации распределённых задач (Spark, Trino, Flink) и работы с движками потоковой обработки событий (Kafka, RabbitMQ или Kinesis).
• Прочная база в программной инженерии: умение писать чистый, модульный код на Python для приложений обработки данных, оркестрации пайплайнов и REST API.
• Владение Linux, контейнерами и CI/CD: уверенно пишете Dockerfile, настраиваете CI/CD-пайплайны (GitLab CI, GitHub Actions) и работаете с системой контроля версий Git.
• Дисциплина в вопросах качества данных: непосредственный опыт внедрения автоматизированного тестирования данных, валидации схем и наблюдаемости (observability) пайплайнов.

• Практический опыт работы с Infrastructure as Code (Terraform) и облачными сервисами AWS.
• Практическое знакомство с инструментами управления метаданными (DataHub, OpenMetadata).
• Понимание паттернов отказоустойчивости в распределённых системах (circuit breakers, rate limiting, connection pooling).
• Степень в области Computer Science, Software Engineering или эквивалентный практический опыт.

Benefits Cafeteria — ежегодный бюджет, который вы распределяете на:

• Спорт
• Медицину
• Ментальное здоровье
• Домашний офис
• Языки.

Баланс между работой и личной жизнью и поддержка

• Оплачиваемый отпуск по беременности и родам / отпуск для отцов + ежемесячное пособие на уход за детьми.
• 20+ дней отпуска, неограниченное количество дней больничного, отгулы в экстренных случаях.
• Remote-first + техническая поддержка + компенсация коворкинга.
• Командные мероприятия (онлайн/офлайн/выездные).
• Культура обучения: внутренние курсы + программы развития.