В качестве Senior Data Engineer в команде Data Ingestion and Enrichment вы будете проектировать и владеть слоем данных, который поддерживает аналитику Preply, машинное обучение и продукт. Вы будете тесно сотрудничать с ML Platform, Applied/Data Scientists, Analytics Engineering и продуктовыми командами, чтобы обеспечить готовность функций, наборов данных и конвейеров к продакшн‑использованию, их наблюдаемость и возможность повторного использования в компании. Эта роль сочетает практическую инженерную работу с техническим лидерством.
Создание надёжных основ для ingest‑а и обогащения (Data Lake и Data as a Product): Проектировать, строить и владеть Data Lake Preply. Обеспечить, чтобы каждый набор данных имел чёткое владение, цель, схемы и ожидания качества от первой загрузки до downstream‑потребления аналитикой, продуктом и ML‑командами. Рассматривать доверие, корректность и предсказуемость как первоклассные функции платформы.
Владение сквозными конвейерами ingest‑а (batch & streaming): Разрабатывать и эксплуатировать масштабируемые, надёжные batch и streaming конвейеры ingest‑а, поддерживающие как real‑time, так и аналитические сценарии. Проектировать чёткие слои raw → standardized → consumption с явными обязанностями, lineage и стратегиями удержания. Балансировать производительность, стоимость и надёжность по мере масштабирования платформы.
Качество данных, контракты и ранняя валидация: Определять и внедрять контракты данных между производителями и потребителями, охватывающие схему, свежесть, объём и гарантии качества. Встраивать валидацию, обнаружение аномалий и проверки качества на ранних этапах жизненного цикла ingest‑а, чтобы ловить проблемы до их распространения. Стандартизировать измерение, мониторинг и отображение метрик качества по всей платформе.
Обогащение, моделирование и управление жизненным циклом: Создавать логику обогащения, которая объединяет, стандартизирует и контекстуализирует данные между доменами с использованием общих определений и переиспользуемых шаблонов. Поддерживать историческое отслеживание, точность на конкретный момент времени и версионирование наборов данных, чтобы downstream‑пользователи могли уверенно анализировать изменения и их влияние во времени.
Наблюдаемость, надёжность и операционное совершенство: Оснастить конвейеры ingest‑а сильной наблюдаемостью: метрики свежести, задержки, качества данных и стоимости. Вносить вклад в SLO, оповещения и плейбуки реагирования на инциденты, чтобы сбои данных были видимыми, диагностируемыми и восстанавливаемыми. Помогать переходу платформы от реактивного тушения пожаров к проактивному управлению надёжностью.
Управление и соответствие по‑умолчанию: Применять согласованный контроль доступа, классификацию и защиту конфиденциальности уже на этапе ingest‑а. Обеспечивать, чтобы чувствительные данные по умолчанию маскировались, минимизировались или анонимизировались, а все потоки данных были аудируемыми и прослеживаемыми. Делать управление невидимым для пользователей, но глубоко встроенным в рабочие процессы платформы.
Обеспечение self‑service и стандартизации: Вносить вклад в стандартизированные шаблоны ingest‑а, общие библиотеки и инструменты платформы, позволяющие командам самостоятельно подключать новые источники данных в рамках чётких ограничений. Улучшать обнаруживаемость, документацию и метаданные, чтобы наборы данных было легко находить, понимать и доверять им без зависимости от tribal knowledge.
Кросс‑командное сотрудничество и владение: Тесно работать с Product, Backend, Analytics и ML‑партнёрами, согласовывая требования к ingest‑у, компромиссы и приоритеты. Поощрять совместное владение качеством данных и стандартами платформы, способствовать культуре, где команды быстро движутся вместе под общими контрактами данных и принципами.