Senior AI Product Analyst - Voice AI Agents

По мере того как эти агенты становятся более автономными и справляются со всё более сложными взаимодействиями, понимание того, как они ведут себя в продакшене, становится важной продуктовой и бизнес-задачей.

Мы ищем AI Product Analyst, который поможет нам оценивать, отслеживать и улучшать системы Voice AI, работающие в больших масштабах. Вы будете работать на стыке Product, Engineering, Operations и AI, помогая команде понять, как ИИ ведёт себя в реальном мире, где он создаёт ценность, где даёт сбои и что нужно улучшить в первую очередь.

• Анализировать поведение Voice AI Agents и разговорных ИИ-процессов в продакшене.
• Исследовать галлюцинации, несоответствия, скрытые сбои и ухудшение качества в диалогах с использованием ИИ.
• Работать напрямую с транскриптами звонков, логами, сгенерированными ответами и операционными наборами данных, чтобы выявлять закономерности и практически применимые выводы.
• Разрабатывать фреймворки оценки для измерения качества, надёжности и бизнес-эффекта ИИ.
• Создавать системы мониторинга и дашборды для наглядного отслеживания эффективности ИИ.
• Измерять влияние ИИ-систем на операционную эффективность, бизнес-результаты и опыт пациентов.
• Выявлять сдвиги в качестве, аномалии и новые виды сбоев в продакшен-среде.
• Тесно сотрудничать с командами Product, Engineering, QA и Operations по инициативам в области ИИ.
• Поддерживать быстрое принятие решений в быстро меняющейся и неоднозначной среде.

• Более 5 лет опыта в Product Analytics, Data Analytics, Operational Analytics или на аналитических ролях в сложных продакшен-системах.
• Уверенное владение SQL.
• Python для аналитических исследований и работы с крупными текстовыми наборами данных.
• Опыт работы с ML-пайплайнами или продуктами на базе ИИ.
• Понимание ограничений LLM, галлюцинаций, сложностей оценки, чувствительности к промптам и видов сбоев ИИ.
• Опыт создания систем мониторинга, аналитических фреймворков или операционных дашбордов.
• Развитые коммуникативные навыки и умение превращать результаты анализа в продуктовые решения.
• Умение эффективно работать в неоднозначной и быстро меняющейся среде.
• Свободный русский; английский на уровне B2 или выше.
• Возможность работать в часы, пересекающиеся с CET.

• Опыт работы с разговорным ИИ или ИИ-агентами.
• Опыт оценки ответов LLM.
• Опыт работы с метриками качества ИИ и методологиями оценки.
• Опыт итераций промптов и работы с фреймворками оценки ИИ.

• Среда с высоким влиянием: возможность влиять на то, как ИИ используется в реальном взаимодействии с пациентами.
• Рост и компенсация: конкурентное вознаграждение и понятные возможности роста.
• Remote-first: полностью удалённая работа, долгосрочное сотрудничество по B2B.
• Здоровье и благополучие: медицинская страховка после испытательного срока, а также компенсация расходов на спорт и wellness.
• Развитие карьеры: карьерный рост, включая персонализированные уроки английского через Preply.
• Отпуск: 19 рабочих дней отпуска в год, 4 дополнительных wellness-дня и оплачиваемый больничный за первые 5 рабочих дней.
• Культура: внимательные подарки к важным событиям в жизни.

MEDvidi — работодатель, предоставляющий равные возможности. Мы ценим разнообразие и стремимся создавать инклюзивную среду для всех сотрудников и подрядчиков. Все подходящие кандидаты будут рассмотрены независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности, национального происхождения, инвалидности или статуса ветерана.