Data Engineer

В роли Data Engineer в команде Data Ingestion and Enrichment вы будете строить и поддерживать слой данных, который питает аналитику Preply, машинное обучение и продукт. Вы будете тесно сотрудничать с ML Platform, Applied/Data Scientists, Analytics Engineering и продуктовыми командами, чтобы обеспечить готовность функций, наборов данных и конвейеров к продакшн‑использованию, их наблюдаемость и повторное использование внутри команды.

• Строить и поддерживать компоненты data lake Preply. Обеспечивать наличие у каждого набора данных чёткой ответственности, цели, схем и ожиданий качества от первой загрузки до downstream‑потребления аналитикой, продуктом и ML‑командами. Рассматривать доверие, корректность и предсказуемость как первоклассные свойства платформы.
• Создавать и эксплуатировать надёжные batch и streaming конвейеры загрузки, поддерживающие как real‑time, так и аналитические сценарии. Участвовать в определении чётких слоёв raw → standardized → consumption с явными обязанностями, lineage и стратегиями удержания. Балансировать производительность, стоимость и надёжность по мере масштабирования платформы.
• Реализовывать data contracts между производителями и потребителями, охватывающие схему, актуальность, объём и гарантии качества. Встраивать валидацию, обнаружение аномалий и проверки качества на ранних этапах загрузки, чтобы проблемы не распространялись. Применять стандартизированные метрики качества.
• Разрабатывать логику обогащения, объединяющую, стандартизирующую и контекстуализирующую данные из разных доменов с использованием общих определений и переиспользуемых шаблонов. Поддерживать историческое отслеживание, точность на конкретный момент и версионирование наборов данных, чтобы downstream‑пользователи могли уверенно анализировать изменения и их влияние во времени.
• Инструментировать конвейеры загрузки с сильной наблюдаемостью: актуальность, задержка, качество данных и метрики стоимости. Участвовать в формировании SLO, оповещений и плейбуков реагирования на инциденты, чтобы сбои данных были видимыми, диагностируемыми и восстанавливаемыми. Помогать переходу платформы от реактивного тушения пожаров к проактивному управлению надёжностью.
• Применять согласованный контроль доступа, классификацию и меры защиты конфиденциальности уже на этапе загрузки. Обеспечивать маскирование, минимизацию или анонимизацию чувствительных данных по умолчанию, а также аудит и трассируемость всех ваших потоков данных.
• Вносить вклад в стандартизированные шаблоны загрузки, общие библиотеки и инструменты платформы, позволяющие командам самостоятельно подключать новые источники данных. Улучшать обнаруживаемость, документацию и метаданные, чтобы наборы данных, которыми вы владеете, было легко найти и доверять им без опоры на tribal knowledge.
• Тесно сотрудничать с Product, Backend, Analytics и ML‑партнёрами для согласования требований к загрузке и компромиссов. Строить прочные рабочие отношения между командами. Наставлять младших членов команды и активно способствовать культуре общих стандартов качества данных и data contracts.

• Практический опыт построения компонентов крупных, высокомасштабных приложений (например, data pipelines, хорошо структурированных APIs, эффективных алгоритмов).
• Солидный опыт работы в платформах или командах data engineering (или эквивалентный) с умением доставлять результаты в многостейкхолдерной среде.
• Знакомство с облачными платформами (AWS/GCP или эквивалент) и современными практиками DevOps.
• Практический опыт проектирования и реализации конвейеров обработки данных в реальном времени и batch с использованием современных фреймворков, таких как Spark, Flink, Spark Streaming, Kafka, Debezium и др.
• Опыт работы с инструментами оркестрации, такими как Airflow, dbt или аналогичными.
• Исключительные навыки решения проблем в сочетании с проактивным, инновационным мышлением, ориентированным на постоянное улучшение.
• Сильные навыки коммуникации и кросс‑функционального сотрудничества (уровень английского B2+).

• Открытая, совместная, динамичная и разнообразная культура;
• Щедрый ежемесячный бонус на занятия на Preply.com, бюджет на обучение и развитие, а также время для саморазвития;
• Конкурентный финансовый пакет с долей в компании, отпускным пособием и медицинской страховкой;
• Доступ к бесплатным платформам поддержки психического здоровья;
• Возможность раскрыть потенциал учащихся и репетиторов через изучение и преподавание языков в 175 странах (и продолжаем расширяться!).

Preply.com привержена созданию инклюзивной среды, где люди разных происхождений могут процветать. Мы считаем, что наличие разных мнений и точек зрения — ключевой ингредиент нашего успеха как мультикультурной Ed‑Tech компании. Это значит, что Preply будет рассматривать все заявки на работу без учёта расы, цвета кожи, религии, гендерной идентичности или выражения, сексуальной ориентации, национального происхождения, инвалидности, возраста или статуса ветерана.