Research Engineer (Evals)

Мы ищем research engineer для создания и поддержки нашего внутреннего набора бенчмарков, охватывающих контент с одним и несколькими ходами и агентные ограничения. Research engineer также будет работать с командой над проектами, изучающими поведение агентов в реальном мире.

• Владеть и поддерживать наш внутренний набор бенчмарков, охватывающий ограничения контента с одним и несколькими ходами и агентную безопасность.
• Создавать бенчмарки, различающие конкретные возможности модели.
• Работать с продуктовой командой над созданием evals, покрывающих основную функциональность наших флагманских моделей.
• Создавать бенчмарки для новых функций, выходящих из исследовательской команды.
• Адаптировать и расширять evals для новых вертикалей и меняющихся продуктовых данных.
• Работать над исследовательскими проектами, изучающими и количественно оценивающими реалистичные агентные и LLM‑ошибки в дикой природе.

• Имеете опыт создания LLM‑бенчмарка с нуля, который различал конкретные возможности модели (т.е. давал измеримую, обоснованную разницу в способностях, а не просто оценку).
• Имеете опыт создания синтетических данных для пост‑тренировочных текстовых или мультимодальных моделей.
• Способны воспроизвести опубликованный результат бенчмарка и определить, где оригинальная методология хрупка или вводит в заблуждение.
• Пишете Python, на котором могут строить другие. Весь наш стек написан на Python; нам нужен человек, который выпускал и поддерживал продакшн‑код и умеет превращать сложные задачи в чистые абстракции, расширяемые другими.
• Умеете писать эффективные настройки инференса LLM, включая разумную оркестрацию параллельных вызовов, повторные попытки, обработку ограничений скорости.
• Являетесь продвинутым пользователем ИИ — свободно работаете с передовыми моделями и кодирующими агентами каждый день.

• Опыт автоматизированного red‑teaming
• Работали с различными агентными каркасами и воспроизводили публичные результаты бенчмарков на них
• Глубокие знания существующих бенчмарков reward‑model / monitoring / safety
• Одна или несколько опубликованных статей в области evals / safety‑evaluation

• Конкурентоспособная компенсация, включая equity
• Гибкий отпуск
• Офис в центральном Лондоне/Париже с гибридным форматом работы
• Поддержка переезда в Париж, доступная после испытательного срока
• Премиальная частная медицинская страховка
• Поддержка психического здоровья, включая покрытие терапии по необходимости
• Обед и ужин покрываются, когда вы работаете из офиса
• Поддержка обучения и развития: курсы, конференции и возможности роста навыков
• Всё необходимое оборудование, подписки, инструменты и сервисы
• Командные выездные мероприятия два раза в год: недавно мы были в Альпах, Сен‑Тропе и Марбелье