Data Engineer

В роли Data Engineer in the Data Ingestion and Enrichment team вы будете создавать и развивать слой данных, который поддерживает аналитику, машинное обучение и продукт Preply. Вы будете тесно сотрудничать с ML Platform, Applied/Data Scientists, Analytics Engineering и командами Product, чтобы гарантировать, что функции, наборы данных и конвейеры готовы к продакшн‑использованию, наблюдаемы и могут повторно использоваться внутри команды.

• Создавать и поддерживать компоненты data lake Preply. Обеспечивать, чтобы каждый набор данных имел чёткое владение, назначение, схемы и ожидания качества от первой загрузки до downstream‑потребления аналитикой, продуктом и командами ML. Рассматривать доверие, корректность и предсказуемость как первоклассные свойства платформы.
• Создавать и эксплуатировать надёжные пакетные и потоковые конвейеры ingest, поддерживающие как real‑time, так и аналитические сценарии. Участвовать в определении чётких слоёв raw → standardized → consumption с явными обязанностями, lineage и стратегиями удержания. Балансировать производительность, стоимость и надёжность по мере масштабирования платформы.
• Внедрять data contracts между производителями и потребителями, охватывающие схему, актуальность, объём и гарантии качества. Встраивать валидацию, обнаружение аномалий и проверки качества на ранних этапах жизненного цикла ingest, чтобы выявлять проблемы до их распространения. Применять стандартизированные метрики качества.
• Разрабатывать логику enrichment, которая объединяет, стандартизирует и придаёт контекст данным из разных доменов с использованием общих определений и переиспользуемых шаблонов. Поддерживать историческое отслеживание, точность на конкретный момент и версионирование наборов данных, чтобы downstream‑пользователи могли уверенно анализировать изменения и их влияние во времени.
• Инструментировать конвейеры ingest с высокой наблюдаемостью: актуальность, задержка, качество данных и метрики стоимости. Участвовать в формировании SLOs, оповещений и сценариев реагирования на инциденты, чтобы сбои данных были видимыми, диагностируемыми и восстанавливаемыми. Помогать переходу платформы от реактивного тушения пожаров к проактивному управлению надёжностью.
• Применять единый контроль доступа, классификацию и меры защиты конфиденциальности на этапе ingest. Обеспечивать, чтобы чувствительные данные по умолчанию корректно маскировались, минимизировались или анонимизировались, а все управляемые вами потоки данных были аудируемыми и отслеживаемыми.
• Участвовать в создании стандартизированных шаблонов ingest, общих библиотек и инструментов платформы, позволяющих командам самостоятельно подключать новые источники данных. Улучшать обнаруживаемость, документацию и метаданные, чтобы наборы данных, которыми вы владеете, было легко находить и доверять им без опоры на «племенные» знания.
• Тесно сотрудничать с партнёрами из Product, Backend, Analytics и ML для согласования требований к ingest и компромиссов. Строить прочные рабочие отношения между командами. Наставлять младших членов команды и активно способствовать культуре общих стандартов качества данных и data contracts.

• Практический опыт создания компонентов крупных, высокомасштабных приложений (например, data pipelines, хорошо структурированных API, эффективных алгоритмов).
• Солидный опыт работы в командах platform или data engineering (или аналогичных) с умением доставлять результаты в многостейкхолдерной среде.
• Знакомство с облачными платформами (AWS/GCP или аналогичными) и современными практиками DevOps.
• Практический опыт проектирования и реализации конвейеров обработки данных в реальном времени и пакетных, используя современные фреймворки, такие как Spark, Flink, Spark Streaming, Kafka, Debezium и др.
• Опыт работы с инструментами оркестрации, такими как Airflow, dbt или аналогичными.
• Исключительные навыки решения проблем в сочетании с проактивным, инновационным мышлением, ориентированным на постоянное улучшение.
• Сильные навыки коммуникации и кросс‑функционального взаимодействия (уровень английского B2+).

• Открытая, совместная, динамичная и разнообразная культура;
• Щедрый ежемесячный грант на занятия на Preply.com, бюджет на обучение и развитие, а также свободное время для вашего саморазвития.
• Не в Барселоне? Мы предлагаем привлекательный пакет релокации, чтобы присоединиться к нам в Preply Barcelona Hub
• Конкурентный финансовый пакет с долей в компании, отпускным пособием и медицинской страховкой;
• Доступ к бесплатным платформам поддержки психического здоровья;
• Доступ к партнёрским центрам здоровья и спортзалам Gympass по всей Испании для продвижения и поддержки благополучия и физического здоровья;
• Возможность раскрыть потенциал учащихся и репетиторов через изучение и преподавание языков в 175 странах (и число растёт!).