Как Data Engineer в команде Data Ingestion and Enrichment, вы будете строить и вносить вклад в слой данных, который поддерживает аналитику Preply, машинное обучение и продукт. Вы будете тесно сотрудничать с ML Platform, Applied/Data Scientists, Analytics Engineering и продуктовыми командами, чтобы обеспечить готовность функций, наборов данных и конвейеров к продакшн‑использованию, их наблюдаемость и повторное использование в команде.
Вносить вклад в надёжные основы ingest‑а и обогащения (Data Lake и Data as a Product): Создавать и поддерживать компоненты Data Lake Preply. Обеспечивать наличие у каждого набора данных чёткой ответственности, цели, схем и ожиданий качества от первой ingest‑а до downstream‑потребления аналитикой, продуктом и ML‑командами. Рассматривать доверие, корректность и предсказуемость как первоклассные свойства платформы.
Разрабатывать сквозные конвейеры ingest‑а (batch & streaming): Создавать и эксплуатировать надёжные batch и streaming конвейеры ingest‑а, поддерживающие как реальное‑время, так и аналитические сценарии. Участвовать в определении чётких слоёв raw → standardized → consumption с явными обязанностями, lineage и стратегиями удержания. Балансировать производительность, стоимость и надёжность по мере масштабирования платформы.
Качество данных, контракты и ранняя валидация: Внедрять контракты данных между производителями и потребителями, охватывающие схему, актуальность, объём и гарантии качества. Встраивать валидацию, обнаружение аномалий и проверки качества на ранних этапах жизненного цикла ingest‑а, чтобы выявлять проблемы до их распространения. Применять стандартизированные метрики качества.
Обогащение, моделирование и управление жизненным циклом: Создавать логику обогащения, которая объединяет, стандартизирует и контекстуализирует данные из разных доменов с использованием общих определений и переиспользуемых шаблонов. Поддерживать историческое отслеживание, точность на конкретный момент времени и версионирование наборов данных, чтобы downstream‑пользователи могли уверенно анализировать изменения и их влияние во времени.
Наблюдаемость, надёжность и операционное совершенство: Оснастить конвейеры ingest‑а сильной наблюдаемостью: метрики актуальности, задержки, качества данных и стоимости. Вносить вклад в SLO, оповещения и сценарии реагирования на инциденты, чтобы сбои данных были видимыми, диагностируемыми и восстанавливаемыми. Помогать переходу платформы от реактивного тушения пожаров к проактивному управлению надёжностью.
Управление и соответствие по‑умолчанию: Применять согласованный контроль доступа, классификацию и защиту конфиденциальности уже на этапе ingest‑а. Обеспечивать правильное маскирование, минимизацию или анонимизацию чувствительных данных по умолчанию, а также аудит и трассируемость всех потоков данных, за которые вы отвечаете.
Обеспечение self‑service и стандартизации: Вносить вклад в стандартизированные шаблоны ingest‑а, общие библиотеки и инструменты платформы, позволяющие командам самостоятельно подключать новые источники данных. Улучшать обнаруживаемость, документацию и метаданные, чтобы наборы данных, за которые вы отвечаете, было легко найти и доверять им без зависимости от «племенных» знаний.
Кросс‑командное сотрудничество и ответственность: Тесно работать с Product, Backend, Analytics и ML‑партнёрами для согласования требований к ingest‑у и компромиссов. Строить прочные рабочие отношения между командами. Наставлять младших членов команды и активно способствовать культуре общих стандартов качества данных и контрактов.
- Открытая, совместная, динамичная и разнообразная культура;
- Щедрый ежемесячный бонус на занятия на Preply.com, бюджет на обучение и развитие, а также время для собственного развития.
- Конкурентный финансовый пакет с долей в компании, отпускным пособием и медицинской страховкой;
- Доступ к бесплатным платформам поддержки психического здоровья;
- Возможность раскрыть потенциал учащихся и репетиторов через изучение и преподавание языков в 175 странах (и продолжаем расширяться!).
Preply привержена созданию инклюзивной среды, где люди разных происхождений могут процветать. Мы рассматриваем все заявки на работу без учёта расы, цвета кожи, религии, гендерной идентичности или выражения, сексуальной ориентации, национального происхождения, инвалидности, возраста или статуса ветерана.