В Preply команда Data ingestion and enrichment предоставляет единую, надёжную и масштабируемую основу данных. Команда гарантирует, что все аналитические, машинно‑обучающие и продуктовые функции построены на унифицированных, управляемых и готовых к продакшну данных в Lake House Preply, включая извлечение, нормализацию и генерацию структурированных данных из неструктурированных активов Preply, формируя прочный «датовый ров» для AI‑ориентированных продуктов.
Как Senior Data Engineer в команде Data Ingestion and Enrichment, вы будете проектировать и владеть слоем данных, который поддерживает как аналитику Preply, машинное обучение, так и продукт. Вы будете тесно сотрудничать с ML Platform, Applied/Data Scientists, Analytics Engineering и продуктовыми командами, чтобы обеспечить готовность функций, наборов данных и конвейеров к продакшну, их наблюдаемость и повторное использование по всей компании. Эта роль сочетает практическую инженерию с техническим лидерством.
Создавать надёжные основы для ingestion & enrichment (Data Lake и Data as a Product): Проектировать, строить и владеть Data Lake Preply. Обеспечивать, чтобы каждый набор данных имел чёткое владение, цель, схемы и ожидания качества от первой загрузки до downstream‑потребления аналитикой, продуктом и ML‑командами. Рассматривать доверие, корректность и предсказуемость как первоклассные функции платформы.
Владеть сквозными конвейерами ingestion (batch & streaming): Разрабатывать и эксплуатировать масштабируемые, надёжные batch и streaming конвейеры ingestion, поддерживающие как реальное‑время, так и аналитические сценарии. Проектировать чёткие слои raw → standardized → consumption с явными обязанностями, lineage и стратегиями удержания. Балансировать производительность, стоимость и надёжность по мере масштабирования платформы.
Качество данных, контракты & ранняя валидация: Определять и внедрять контракты данных между производителями и потребителями, охватывающие схему, актуальность, объём и гарантии качества. Встраивать валидацию, обнаружение аномалий и проверки качества на ранних этапах lifecycle ingestion, чтобы ловить проблемы до их распространения. Стандартизировать измерение, мониторинг и отображение метрик качества по всей платформе.
Обогащение, моделирование & управление жизненным циклом: Создавать логику обогащения, которая объединяет, стандартизирует и контекстуализирует данные across domains с использованием общих определений и переиспользуемых шаблонов. Поддерживать историческое отслеживание, точность на конкретный момент времени и версионирование наборов данных, чтобы downstream‑пользователи могли уверенно анализировать изменения и их влияние во времени.
Наблюдаемость, надёжность & операционное совершенство: Инструментировать конвейеры ingestion с сильной наблюдаемостью: метрики актуальности, задержки, качества данных и стоимости. Вносить вклад в SLO, оповещения и playbooks реагирования на инциденты, чтобы сбои данных были видимыми, диагностируемыми и восстанавливаемыми. Помогать переходу платформы от реактивного тушения пожаров к проактивному управлению надёжностью.
Управление и соответствие по дизайну: Применять согласованный контроль доступа, классификацию и защиты конфиденциальности на этапе ingestion. Обеспечивать, чтобы чувствительные данные по умолчанию были правильно замаскированы, минимизированы или анонимизированы, а все потоки данных были аудируемыми и прослеживаемыми. Делать управление невидимым для пользователей, но глубоко встроенным в рабочие процессы платформы.
Обеспечение self‑service & стандартизации: Вносить вклад в стандартизированные шаблоны ingestion, общие библиотеки и инструменты платформы, позволяющие командам самостоятельно подключать новые источники данных в рамках чётких guardrails. Улучшать discoverability, документацию и метаданные, чтобы наборы данных было легко находить, понимать и доверять им без зависимости от tribal knowledge.
Кросс‑командное сотрудничество & владение: Тесно работать с Product, Backend, Analytics и ML партнёрами для согласования требований к ingestion, компромиссов и приоритетов. Продвигать совместное владение качеством данных и стандартами платформы, помогать формировать культуру, где команды быстро движутся вместе под общими контрактами данных и принципами.
- Открытая, совместная, динамичная и разнообразная культура;
- Щедрый ежемесячный бонус на занятия на Preply.com, бюджет на обучение и развитие, а также время для собственного развития.
- Конкурентный финансовый пакет с долей в компании, отпускным пособием и медицинской страховкой;
- Доступ к бесплатным платформам поддержки психического здоровья;
- Возможность раскрыть потенциал учащихся и репетиторов через изучение и преподавание языков в 175 странах (и продолжается!).
Preply.com привержена созданию инклюзивной среды, где люди разных происхождений могут процветать. Мы считаем, что наличие разных мнений и точек зрения является ключевым ингредиентом нашего успеха как мультикультурной Ed‑Tech компании. Это значит, что Preply будет рассматривать все заявки на работу без учёта расы, цвета кожи, религии, гендерной идентичности или выражения, сексуальной ориентации, национального происхождения, инвалидности, возраста или статуса ветерана.