Head of Central Quality and Project Enablement

Руководитель качества и обеспечения проектов, Data Services

Location: San Francisco or Austin, TX Reports to: Head of Data Services Compensation: $140,000 - $180,000

О роли

Каждое взаимодействие Data Services успешно или неуспешно в зависимости от двух факторов: понимает ли команда, выполняющая работу, спецификацию, и можем ли мы доказать, что результат ей соответствует. Эта роль отвечает за оба аспекта.

Как Руководитель качества и обеспечения проектов, вы будете брать каждую спецификацию клиента и превращать её в материалы, которые делают аннотаторов и экспертов продуктивными. Затем вы разработаете конвейер качества и методологию выборки, проверяющие работу перед её поставкой. Когда качество падает, вы отследите причину — будь то пробел в спецификации, обучение или процесс рецензирования, — и исправите её.

Что вы будете владеть

Обеспечение проектов

• Превращать документы спецификаций клиента в готовые к проекту пакеты: руководства для аннотаторов, деревья решений, библиотеки краевых случаев с проработанными примерами и пошаговые вводные.
• Создавать квалификационные тесты и наборы золотого стандарта, подтверждающие, что аннотаторы понимают спецификацию перед началом производственной работы.
• Проводить пилотные и калибровочные раунды при запуске проекта, чтобы выявить неоднозначности спецификации на раннем этапе. Решать эти неоднозначности совместно с клиентом и руководителем доставки перед масштабированием.
• Поддерживать версионирование руководств в течение всего проекта. Выпускать обновления по мере появления новых краевых случаев и подтверждать, что команда усвоила изменения.

Проектирование конвейера качества

• Разрабатывать план качества для каждого проекта. Выбирать структуру рецензирования (золотые задачи, перекрытие/консенсус, многоступенчатый обзор, экспертное решение) в зависимости от типа задачи, риска и бюджета.
• Устанавливать методологию выборки. Определять размер выборки для достижения целевых уровней уверенности, стратифицировать по классам и сложности, а также корректировать частоту рецензий для каждого аннотатора на основе его производительности.
• Выбирать подходящие метрики для каждой задачи, такие как точность по золотому стандарту, меры согласия вроде κ или α, или ошибки по классам. Устанавливать пороги приемки, соответствующие степени субъективности задачи.
• Настраивать эти рабочие процессы в нашей платформе разметки и превращать работающие решения в переиспользуемые руководства качества по типу задачи.

Контроль качества доставки

• Необходимо окончательное подтверждение качества. Ни одна поставка не может быть отправлена без соответствия согласованным критериям приемки.
• Мониторить качество на протяжении всего проекта. Выявлять отклонения заранее, проводить анализ причин дефектов и внедрять корректирующие действия для отдельных сотрудников и для руководств.
• Формировать чёткий отчёт о качестве для каждой поставки, показывающий методологию, результаты и известные ограничения.

Что вы принесёте

• 6+ лет в обеспечении качества или операциях качества для разметки данных, человеческих данных или данных обучения/оценки ML, включая опыт руководства функцией или командой качества
• Доказанная способность переводить сложные или неоднозначные спецификации в руководства и обучение, обеспечивающие согласованные результаты
• Сильные прикладные статистические навыки для QA: дизайн выборки, доверительные интервалы и метрики согласия, а также умение объяснять свои выборы клиенту
• Практический опыт настройки процессов рецензирования и QA в платформе аннотации
• Владение Claude Code для анализа качества
• Чёткое письменное общение. Ваши руководства и отчёты о качестве являются продуктом.

Nice to have: Опыт работы с LLM, RLHF или проектами данных предпочтений; опыт работы с экспертными или специализированными рабочими силами; образование в области instructional design; знакомство с Label Studio; опыт QA с поддержкой модели.

Compensation: $140,000 - $180,000