Member of Technical Staff (Software Engineer, Enterprise Agent Evals & Efficiency)

О роли

Команда Enterprise Agent Evals & Efficiency делает агентов Perplexity лучше в выполнении реальной работы с корпоративными коннекторами, инструментами и данными. Наша цель — помочь агентам выбирать правильные инструменты, использовать правильный контекст и надёжно выполнять сложные рабочие процессы, затрачивая меньше времени и вычислительных ресурсов. Эта команда отвечает за весь цикл улучшений: определяет, как выглядит успешно выполненная работа, создаёт оценки (evals), которые её измеряют, выясняет, где агенты терпят неудачу, и выпускает изменения, улучшающие результаты.

Это практическая инженерная роль с полной ответственностью от начала до конца: от создания реалистичных корпоративных сред для оценки до выпуска улучшений в agent harness, инструментах и навыках (skills). Вы будете создавать сложные сценарии, охватывающие связанные системы, данные и разрешения, использовать их, чтобы определять, где агенты испытывают трудности, и улучшать инструменты, которые вызывают агенты, навыки, которым они следуют, контекст, который они получают, и модели, которые они используют. Работая вместе с командами AI Research, Connectors и Platform, вы будете превращать результаты экспериментов в измеримый рост успешности выполнения задач, снижение задержки и стоимости одной успешно выполненной задачи. Цель не просто измерять агентов, а сделать так, чтобы больше корпоративной работы можно было надёжно и практично автоматизировать.

• Создавайте реалистичные корпоративные среды для оценки, охватывающие связанные приложения, репрезентативные наборы данных, роли пользователей и разрешения, со сложными многошаговыми рабочими процессами и воспроизводимым состоянием системы.
• Отвечайте за инфраструктуру оценки, наборы задач и автоматические грейдеры, которые измеряют, насколько хорошо агенты выполняют корпоративную работу, откалиброванные по человеческой оценке и основанные на сквозных результатах.
• Анализируйте траектории агентов и сбои в продакшене, определяйте первопричины и выпускайте улучшения в agent harness, инструментах и навыках (skills), которые измеримо повышают успешность выполнения задач и надёжность.
• Разрабатывайте переиспользуемые навыки (skills) и улучшайте описания инструментов, схемы и обработку результатов, чтобы агенты могли выбирать правильные инструменты, корректно выполнять рабочие процессы и восстанавливаться после ошибок с меньшим числом лишних вызовов.
• Создавайте и оценивайте стратегии выбора моделей и маршрутизации, которые подбирают для каждой задачи подходящую модель и уровень усилий, балансируя качество, задержку, надёжность и стоимость.
• Повышайте эффективность агентов с помощью управления контекстом, загрузки навыков (skills), кэширования и стратегий выполнения, которые сокращают напрасно потраченные токены и стоимость одной успешно выполненной задачи без ущерба для качества и безопасности.
• Создавайте регрессионные барьеры (regression gates) и сигналы готовности к запуску для изменений в моделях, коннекторах, инструментах, навыках (skills) и harness, а также проверяйте, что улучшения по результатам оценки приводят к лучшим результатам в продакшене.

• 5+ лет опыта в разработке программного обеспечения или в инженерии машинного обучения, а также подтверждённый опыт ответственности за сложные продакшен-системы от проектирования до развёртывания и эксплуатации.
• Сильные навыки проектирования систем, включая создание надёжной, масштабируемой инфраструктуры для экспериментов, оценки или приложений с интенсивной работой с данными.
• Отличное владение backend-языком, таким как Python, Go или Rust, и умение эффективно работать в многоязычном продакшен-стеке.
• Практический опыт создания, оценки или улучшения приложений и агентов на основе LLM, включая использование инструментов и многошаговые рабочие процессы.
• Глубокая экспертиза как минимум в одной из следующих областей: инфраструктура оценки, проектирование бенчмарков и автоматическая оценка.
• Agent harnesses, интерфейсы инструментов и переиспользуемые навыки (skills) для сложных рабочих процессов.
• Реалистичные тестовые среды или симуляции, охватывающие несколько систем, наборов данных, разрешений и рабочих процессов с состоянием.
• Выбор моделей, маршрутизация и эффективность инференса, включая управление контекстом и кэширование.
• Сильное экспериментальное и статистическое мышление, включая выбор репрезентативных задач, определение значимых критериев успеха, диагностику сбоев и отличие реальных улучшений от шума.
• Здравое техническое суждение при балансировании качества задач, задержки, надёжности и стоимости, а также подтверждённый опыт превращения результатов оценки в выпущенные улучшения.
• Подтверждённый опыт руководства неоднозначными межкомандными инициативами от архитектуры до внедрения в продакшен, определения технического направления и повышения инженерного качества через наставничество.

Если эта роль вас заинтересовала, мы призываем вас откликнуться, даже если вы соответствуете не всем квалификационным требованиям. Мы ценим продемонстрированное влияние, глубокую ответственность и инициативу превращать неопределённость в результаты.