WorkListВойтиОформить подписку
Все вакансии
PA

Member of Technical Staff (Search Quality Analyst)

висит 2 мес.
Perplexity AI · AI-поиск с chat-выдачей
Откликнуться на сайте компании ↗
Опубликована давно; 02.11 она ещё висела у компании.

О вакансии

Откуда можно работать
Гибрид: Belgrade, Сербия
из текста вакансии
Занятость
Full-time
из текста вакансии
Английский
требования разнятся: C1–C2
по другим вакансиям компании
Уровень
Lead
указан работодателем
Деньги
≈ $5,6–6,4 тыс/мес · оценка Worklist
по родственным ролям в стране, данные за август 2026. Это ориентир порядка величины, а не вилка этой роли · Как считаем
Даты
Опубликована 02.09 · видим у компании с 02.09 · у компании видели 02.11
дата публикации от работодателя
Почему в каталоге:Основана выходцами из Восточной Европы, Кавказа и Центральной АзииПодробнее о компании →

Описание переведено машинно с английского.

Суть роли

Эта роль гибридная в Белграде, Лондоне или Берлине.

Что предстоит делать

  • Находить и диагностировать проблемы качества в нашем поисковом конвейере
  • Разрабатывать метрики с нуля для отслеживания и измерения качества поиска
  • Создавать наборы данных для обучения моделей, включая конвейеры разметки LLM-as-a-judge
  • Улучшать качество сниппетов поиска и алгоритмы выбора страниц для индексации
  • Проектировать и анализировать A/B‑эксперименты для подтверждения улучшений

Требования

  • 4+ лет опыта работы аналитиком данных или в смежной роли
  • Сильные навыки программирования — ожидается написание кода production‑grade на уровне middle‑backend engineer
  • Владение SQL и Python
  • Подтверждённый практический опыт как минимум в одном из следующих направлений:
  • Разработка метрик с нуля (а не только анализ существующих A/B‑экспериментов)
  • Создание конвейеров разметки с использованием LLM-as-a-judge
  • Обучение ML‑моделей, которые были выведены в продакшн с измеримыми улучшениями метрик
  • Проектирование оценок с известной истинной разметкой (например, SimpleQA, BrowseComp) или достижение значимых улучшений таких оценок

Будет плюсом

  • Опыт работы над продуктами, связанными с поиском
  • Знания статистики и проектирования A/B‑экспериментов
  • Опыт работы с Apache Spark или Databricks

Навыки

SQLPythonApache SparkDatabricksA/B experimentsmetrics designlabeling pipelinesLLM-as-a-judgedata pipelines

Подходите ли вы под эту вакансию

Сверка вакансии с резюме доступна тем, кто вошел. Войти