Senior AI Product Analyst - Automation team

Команда тесно работает с Product, Engineering, MedOps и клиническими специалистами. Мы нанимаем Product Analyst, который будет полностью отвечать за аналитику команды по мере роста нашей автоматизированной зоны охвата.

Роль

Вы будете Product Analyst команды — по всему, что мы выпускаем, как по классическим продуктовым функциям, так и по функциям на базе AI. Вы будете превращать поведение наших систем в продакшене в данные, на основе которых команда сможет действовать: какие части работают, где они незаметно дают сбои и что исправлять дальше. Работа сочетает продуктовую аналитику, оценку AI и операционный анализ.

• Отвечать за весь стек продуктовой аналитики для функций, которые выпускает команда: исследование и оценка масштаба, дизайн и анализ экспериментов, анализ воронок и внедрения, оценка влияния после релиза — как для функций на базе AI, так и для обычных продуктовых функций.
• Анализировать поведение AI- и автоматизированных процессов в продакшене в клинических и операционных пользовательских сценариях.
• Исследовать галлюцинации, незаметные сбои и ухудшение качества в результатах, сгенерированных AI.
• Работать напрямую с логами, транскриптами, сгенерированными артефактами и операционными данными, чтобы находить закономерности, которые не видны на дашбордах.
• Разрабатывать оценки качества AI — как автоматические, так и с участием человека — и замыкать цикл на изменения промптов и продукта.
• Создавать мониторинг и дашборды для состояния AI и автоматизации, а также операционных метрик, в которые они агрегируются.
• Измерять влияние инициатив по автоматизации на бизнес и операции и выявлять риски, которые они приносят.
• Тесно сотрудничать с Product, Engineering, Clinical, MedOps и Legal, чтобы поддерживать быстрые решения в условиях неопределённости.

• 5+ лет опыта в Product Analytics/Operational Analytics/Data Analytics или на аналитических ролях в сложных продакшен-системах.
• Понимание систем AI, ML и LLM.
• Практический опыт оценки результатов LLM или AI — итерации промптов, eval-фреймворки и пайплайны проверки человеком будут серьёзным плюсом.
• Эффективная, структурированная письменная и устная коммуникация — умение превращать анализ в чёткие записки, готовые для принятия решений, на основе которых могут действовать не аналитики.
• Комфортная работа в неопределённой, быстро меняющейся среде, где эталонные данные (ground truth) часто приходится создавать самостоятельно.
• Сильный опыт в продуктовой / операционной аналитике, уверенное владение метриками от начала до конца, умение писать код на SQL и Python для работы с «грязными» данными из продакшена.
• Свободный русский; уровень английского B2 или выше,
• Возможность работать в часы, пересекающиеся с CET, в формате B2B.

• Опыт оценки результатов LLM или AI-систем.
• Предыдущий опыт в Data Science или Machine Learning.

• Среда с высоким влиянием: возможность влиять на то, как AI используется в реальном взаимодействии с пациентами.
• Рост и компенсация: конкурентная компенсация и понятные возможности роста.
• Remote-first: полностью удалённая работа, долгосрочное сотрудничество в формате B2B.
• Здоровье и благополучие: медицинская страховка после испытательного срока, а также компенсация расходов на спорт и wellness.
• Развитие карьеры: карьерный рост, включая персонализированные уроки английского через Preply.
• Отпуск и отдых: 19 рабочих дней отпуска в год, 4 дополнительных wellness-дня и оплачиваемый больничный в течение первых 5 рабочих дней.
• Культура: внимательные подарки к важным событиям в жизни.

MEDvidi — работодатель, предоставляющий равные возможности. Мы ценим разнообразие и стремимся создавать инклюзивную среду для всех сотрудников и подрядчиков. Все квалифицированные кандидаты будут рассмотрены независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности, национального происхождения, инвалидности или статуса ветерана.