Member of Technical Staff (Software Engineer, Data Platform)

Команда Data Platform владеет полным жизненным циклом данных в Perplexity, от ingest‑а до обработки, хранения и предоставления, обеспечивая функции продукта, аналитику, эксперименты, AI‑нагрузки и озеро данных компании.

Команда определяет архитектуру пакетных и потоковых систем, стек оркестрации и наблюдаемости, а также платформу самообслуживания данных, тщательно комбинируя такие платформы, как Databricks и Snowflake, с open‑source‑технологиями, включая Spark, Kafka, Flink, Airflow, Dagster, dbt, Iceberg, Delta Lake и ClickHouse.

В этой senior/staff роли вы будете формировать архитектуру, устанавливать стандарты и определять долгосрочное техническое направление экосистемы данных Perplexity.

• Разрабатывать и эксплуатировать масштабные пакетные и потоковые конвейеры данных, которые напрямую поддерживают функции продукта Perplexity, рабочие процессы обучения и оценки AI, аналитику и эксперименты.
• Создавать событийно‑ориентированные и потоковые системы (Kafka, Kinesis, PubSub или аналогичные) для реального времени ingest‑а, трансформации и доставки, а также использовать пакетные фреймворки для обратных загрузок, агрегаций и офлайн‑вычислений.
• Возглавлять архитектуру оркестрации данных с использованием инструментов, таких как Airflow или Dagster, отвечая за планирование, управление зависимостями, повторные попытки, SLA и сквозную наблюдаемость критических потоков данных.
• Устанавливать и обеспечивать гарантии корректности, актуальности, происхождения и восстановляемости данных, проектируя системы, способные справляться с быстрым ростом масштаба, частичными сбоями и изменяющимися схемами без нарушения AI‑нагрузок или пользовательского опыта продукта.
• Создавать платформы самообслуживания данных, позволяющие инженерам, дата‑учёным и аналитикам безопасно находить данные, определять контракты и создавать и эксплуатировать собственные конвейеры с минимальными трениями.
• Повышать опыт разработчиков за счёт лучших абстракций, предопределённых путей и стандартов моделирования данных, тестирования, валидации и развертывания, рассматривая платформу данных как продукт, используемый множеством команд.
• Вести архитектурные решения в области хранения, вычислений, оркестрации и API данных, тесно сотрудничая с инженерией продукта и дата‑наукой для согласования экосистемы данных с дорожной картой Perplexity.
• Наставлять инженеров, проводить ревью дизайнов и повышать технический уровень инфраструктуры данных через продуманные отзывы, документацию и практическое сотрудничество.

• 5+ лет (Senior) или 8+ лет (Staff) опыта в разработке программного обеспечения.
• Сильный опыт построения систем инфраструктуры данных в продакшене.
• Практический опыт работы с пакетной и/или потоковой обработкой данных в масштабе.
• Глубокое знакомство с системами оркестрации данных (Airflow, Dagster или аналогичными).
• Владение Python и как минимум одним дополнительным бекенд‑языком (Go, TypeScript и др.).
• Сильное системное мышление относительно надёжности, задержки, стоимости и компромиссов сложности.
• Опыт поддержки рабочих процессов ML/AI, конвейеров обучения или систем оценки.
• Знакомство с инструментами качества данных, их происхождения, наблюдаемости и управления.
• Предыдущая ответственность за внутренние платформы, используемые множеством команд.

Если вас вдохновляет эта роль, мы приглашаем вас подать заявку, даже если ваш опыт не полностью соответствует всем перечисленным требованиям.