Senior Data Scientist — AI Evaluation & Quality | Internal AI Agents (Remote in Europe)

Ваша миссия: разработать методологию оценки, построить золотые бенчмарки и установить контрольные точки качества для наших внутренних AI‑агентов с нуля — работая напрямую с владельцами процессов и экспертами домена, без старшего владельца качества, на которого можно было бы опереться.

• Владеть и расширять наши офлайн/онлайн наборы оценки по ~20 внутренним процессам AI‑агентов — наборы данных (возможности + регрессия), рубрики LLM‑as‑a‑judge и детерминированные проверки.
• Устанавливать контрольные точки качества перед запуском: применять пороги pass/fail в конвейерах CI/CD до того, как изменения подсказок, контекста или инструментов агента попадут в продакшн.
• Работать напрямую с экспертами домена для маркировки кейсов и разрешения разногласий аннотаторов — исправлять критерии определения, а не усреднять разногласия.
• Создавать тестовые наборы данных, полученные из реального пользовательского и операционного трафика (тикеты, внутренние чаты, запросы коллег), а не из синтетических граничных случаев.
• Укреплять статистическую методологию: учитывать дрейф судей, смещение verbosity, недетерминизм и измерять истинные изменения метрик против шума.
• Переводить числовые показатели качества в операционные решения: проводить еженедельные синхронизации с владельцами процессов для определения чётких компромиссов между качеством, стоимостью и задержкой.

• 5+ лет опыта в Data Science / Product Analytics / Applied AI, с постоянным владением метриками на уровне продукта.
• Опыт работы с LLM в продакшн: за последние 1–2 года вы разрабатывали, выпускали или оценивали системы на основе LLM (RAG, многошаговое использование инструментов, агенты) как основную профессиональную задачу.
• Автономное владение качеством: подтверждённый опыт создания методологии оценки или аналитики для полного продукта или сквозного процесса (что строить и что НЕ строить).
• Свободное владение Python и SQL: способность писать чистые конвейеры данных, оценочные harnesses и модели трансформаций dbt напрямую.
• Статистическая строгость: прикладные знания выборки, гипотезного тестирования, анализа дисперсии и доверительных интервалов для шумных метрик.

• AI‑ассистент в кодировании (Claude Code, Cursor или Codex) — ваш основной ежедневный инструмент для написания кода на Python, SQL и скриптов оценки.
• Вы можете продемонстрировать конкретные рабочие задачи за последний месяц, где инструменты AI‑кодинга ускорили вашу инженерную и аналитическую работу.

Что вы получите взамен

Make a genuine impact on the product Присоединяйтесь к нашему восходящему пути и растите вместе с нами. Мы предоставляем ресурсы и возможности для непрерывного личного и профессионального развития, позволяя вам оказывать реальное влияние на наш развивающийся продукт.

Work in the EU Отправляйтесь в это захватывающее путешествие с нами и наслаждайтесь гибкостью путешествий и удалённой или гибридной работы по всей Европе.

Become a stock options holder Разблокируйте в себе предпринимательский дух и согласуйте свои стремления с нашими через программу Stock Options. Эта захватывающая возможность доступна каждому члену команды, от младших сотрудников до наших основателей.

Receive unwavering support and care Finom поддерживает вас на каждом этапе, воплощая нашу приверженность вашему благополучию и успеху, отражённую в нашей современной, дружелюбной и экологически сознательной корпоративной культуре. Мы предоставляем постоянную поддержку и заботу, чтобы ваш опыт в Finom был успешным и удовлетворяющим.

Work & Swim program Погрузитесь в нашу эксклюзивную программу Work & Swim. Проведите один месяц в комфортной корпоративной квартире на очаровательном Кипре. Это идеальная возможность достичь идеального баланса между работой и личной жизнью, наслаждаясь захватывающими видами Средиземного моря.

Заявление о равных возможностях В Finom мы являемся работодателем, предоставляющим равные возможности, и ценим разнообразие в нашей компании. Мы приветствуем разнообразие и приглашаем к подаче заявок людей из всех слоёв общества. Мы не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, возраста, семейного положения, статуса инвалидности или других законодательно защищённых характеристик.