Member of Technical Staff (Data Scientist, Evals)

В этой роли вы будете создавать специализированные evals для повышения качества ответов в Perplexity, охватывая ответы LLM, основанные на поиске, и другие сценарии, популярные среди наших пользователей.

• Разрабатывать и поддерживать автоматизированные конвейеры оценки для измерения качества ответов в продуктах Perplexity, обеспечивая высокие стандарты точности и полезности
• Разрабатывать наборы оценок и методы, специально предназначенные для измерения влияния вызовов инструментов (особенно получения результатов веб‑поиска) на качество окончательного ответа
• Разрабатывать решения на основе VLM для программной оценки того, как окончательные ответы визуально отображаются на разных платформах и устройствах
• Постоянно просматривать публичные бенчмарки и академические оценки на предмет их применимости к продукту Perplexity, адаптируя и внедряя их в наши регулярные измерения производительности
• Работать в небольшой, высокоэффективной команде, где ваши метрики оценки напрямую влияют на изменения продукта, тесно сотрудничая с техническим руководством для измерения и улучшения качества ответов

• Кандидат наук (PhD) или магистр (MS) в технической области или эквивалентный опыт
• Опыт работы от 4 лет в области data science или машинного обучения
• Глубокое владение Python и SQL (ожидается написание кода промышленного уровня)
• Опыт работы с современным облачным стеком данных, в частности AWS и Databricks
• Умение работать с агентными рабочими процессами кодирования и использовать инструменты разработки с поддержкой ИИ для более быстрого итеративного процесса

• Опыт работы от 1 года с LLM в масштабах, в частности с настройками LLM-as-a-judge
• Предыдущий опыт работы над веб‑продуктами, ориентированными на клиентов, или потребительскими приложениями с реальным масштабным пользовательским трафиком
• Сильный исследовательский бэкграунд, опыт применения исследовательских методов к реальным задачам ML
• Опыт определения метрик оценки (например, фактическая согласованность, уровень галлюцинаций, точность извлечения) и создания наборов данных ground truth