Как Senior Data Engineer в команде Data Ingestion and Enrichment, вы будете проектировать и владеть слоем данных, который поддерживает аналитику Preply, машинное обучение и продукт. Вы будете тесно сотрудничать с ML Platform, Applied/Data Scientists, Analytics Engineering и продуктовыми командами, чтобы обеспечить готовность функций, наборов данных и конвейеров к продакшн‑использованию, их наблюдаемость и повторное использование по всей компании. Эта роль сочетает практическую инженерию с техническим лидерством.
Создавать надёжные основы для ingest‑а и обогащения (Data Lake и Data as a Product): Проектировать, строить и владеть Data Lake Preply. Обеспечить, чтобы каждый набор данных имел чёткое владение, цель, схемы и ожидания качества от первой загрузки до downstream‑потребления аналитикой, продуктом и ML‑командами. Рассматривать доверие, корректность и предсказуемость как первоклассные свойства платформы.
Владеть сквозными конвейерами ingest‑а (batch & streaming): Разрабатывать и эксплуатировать масштабируемые, надёжные batch и streaming конвейеры ingest‑а, поддерживающие как реальное‑время, так и аналитические сценарии. Проектировать чёткие слои raw → standardized → consumption с явными обязанностями, линией происхождения и стратегиями удержания. Балансировать производительность, стоимость и надёжность по мере роста платформы.
Качество данных, контракты и ранняя валидация: Определять и внедрять контракты данных между производителями и потребителями, охватывающие схему, актуальность, объём и гарантии качества. Встраивать валидацию, обнаружение аномалий и проверки качества на ранних этапах жизненного цикла ingest‑а, чтобы ловить проблемы до их распространения. Стандартизировать измерение, мониторинг и отображение метрик качества по всей платформе.
Обогащение, моделирование и управление жизненным циклом: Создавать логику обогащения, которая объединяет, стандартизирует и контекстуализирует данные из разных доменов с использованием общих определений и переиспользуемых шаблонов. Поддерживать историческое отслеживание, точность на конкретный момент и версионирование наборов данных, чтобы downstream‑пользователи могли уверенно анализировать изменения и их влияние во времени.
Наблюдаемость, надёжность и операционное совершенство: Оснастить конвейеры ingest‑а сильной наблюдаемостью: метрики актуальности, задержки, качества данных и стоимости. Вносить вклад в SLO, оповещения и сценарии реагирования на инциденты, чтобы сбои данных были видимыми, диагностируемыми и восстанавливаемыми. Помогать переходу платформы от реактивного тушения пожаров к проактивному управлению надёжностью.
Управление и соответствие по‑умолчанию: Применять согласованный контроль доступа, классификацию и защиту конфиденциальности уже на этапе ingest‑а. Обеспечивать, чтобы чувствительные данные по умолчанию маскировались, минимизировались или анонимизировались, а все потоки данных были аудируемыми и прослеживаемыми. Делать управление невидимым для пользователей, но глубоко встроенным в рабочие процессы платформы.
Обеспечение self‑service и стандартизации: Вносить вклад в стандартизированные шаблоны ingest‑а, общие библиотеки и инструменты платформы, позволяющие командам самостоятельно подключать новые источники данных в рамках чётких ограничений. Улучшать обнаруживаемость, документацию и метаданные, чтобы наборы данных было легко находить, понимать и доверять им без зависимости от «племенных» знаний.
Кросс‑командное сотрудничество и владение: Тесно работать с Product, Backend, Analytics и ML партнёрами, согласовывая требования к ingest‑у, компромиссы и приоритеты. Продвигать совместное владение качеством данных и стандартами платформы, способствовать культуре, где команды быстро движутся вместе под общими контрактами и принципами данных.