Machine Learning Engineer

Мы ищем Machine Learning Engineer, который станет одним из основателей направления в нашей команде в Порту и построит фундамент оценки для ИИ-продуктивности нового поколения в Superhuman, в частности для нашей платформы агентов, где несколько ИИ-агентов совместно решают сложные задачи пользователей. Вы будете отвечать за то, как мы определяем, измеряем и улучшаем качество. Вы создадите датасеты для оценки, инфраструктуру вокруг них и метрики, которые показывают, действительно ли наши модели и агенты становятся лучше для пользователей.

Это роль с высокой степенью автономии и большим влиянием в базовой команде, которая быстро проходит путь от идеи до продакшена. По мере того как совместные рабочие пространства Superhuman Docs развиваются, чтобы пользователи могли решать с помощью агентов сколь угодно сложные задачи, именно строгие измерения позволят нам выпускать продукт уверенно.

• В этой роли вы будете:Создавать качественные датасеты для оценки: проектировать, находить и отбирать эталонные наборы, размеченные данные и синтетические данные для поведения агентов, ранжирования поиска и проактивных подсказок. Определять руководства по аннотированию, управлять процессами разметки и следить за тем, чтобы датасеты были репрезентативными, версионированными и надёжными.
• Создавать инфраструктуру для оценки: разрабатывать масштабируемые, воспроизводимые пайплайны для офлайн-оценок, регрессионного тестирования и бенчмаркинга моделей, промптов и конфигураций агентов. Сделать так, чтобы любая команда могла легко запускать оценки и доверять результатам.
• Измерять и улучшать качество: определять метрики, отражающие реальную ценность для пользователей, — от классических ML-метрик (precision/recall, NDCG, калибровка) до подходов LLM-as-judge и оценки людьми. Проверять, что автоматические метрики коррелируют с результатами для пользователей, и использовать итоги для принятия решений по моделям и продукту.
• Отвечать за классические ML-системы: разрабатывать и внедрять ML-модели для ключевых функций продукта, включая ранжирование поиска и проактивные подсказки, предугадывающие потребности пользователей, с оценкой, встроенной с первого дня.
• Поддерживать платформу агентов: сотрудничать с командой, которая создаёт оркестрацию, маршрутизацию и планирование, чтобы определять критерии успеха и контрольные точки качества для мультиагентных рабочих процессов.
• Замкнуть цикл с продакшеном: связывать офлайн-оценки с онлайн-экспериментами и сигналами из реального мира, чтобы мы рано выявляли регрессии и учились на том, что пользователи действительно испытывают.
• Быстро выпускать результат: быстро переходить от идеи к результату, без бюрократии и бесконечных согласований, на платформе, которой пользуются миллионы людей.

• Более 5 лет опыта работы в индустрии в роли machine learning engineer или applied research scientist.
• Прочная база в классическом ML и NLP, включая планирование экспериментов, статистику и проектирование метрик, а также практическое знание современных подходов к LLM.
• Практический опыт создания датасетов для оценки, а также инструментов и инфраструктуры для запуска оценок в масштабе (пайплайны данных, процессы разметки, бенчмарк-фреймворки).
• Опыт использования результатов оценки для измерения и улучшения качества модели или продукта — будь то ранжирование, классификация или системы на основе LLM.
• Уверенное владение Python и навыки инженерии данных, опыт работы с воспроизводимыми ML-пайплайнами промышленного уровня.
• Искренняя забота об опыте конечного пользователя и стремление обеспечивать высокое качество.
• Умение работать самостоятельно с минимальным руководством, управлять приоритетами в нескольких проектах и эффективно взаимодействовать с кросс-функциональными командами в динамичной среде, ориентированной на результат.

• Будет плюсом: опыт работы с LLM-as-judge, оценкой агентов или рабочих процессов, либо с системами поиска/ранжирования; степень MS/PhD в области Computer Science или смежной области.

• Профессиональный рост: мы считаем, что автономия и доверие — ключ к тому, чтобы члены команды делали свою лучшую, самую инновационную работу так, чтобы она соответствовала их интересам, талантам и благополучию
• Связанная команда: Superhuman создаёт продукт, который помогает людям быть на связи, и мы применяем этот подход к собственной команде. Наша модель remote-first и гибридный формат способствуют высокосотрудничающей культуре, основанной на наших ценностях. Мы по-разному работаем над тем, чтобы члены команды чувствовали свою принадлежность. В том числе это наши группы ресурсов для сотрудников — Superhuman Circles, которые способствуют общению людей с общей идентичностью, включая сотрудников BIPOC и LGBTQIA+, женщин и родителей. Мы также отмечаем наших коллег и их достижения с помощью глобальных, локальных и командных программ.
• Широкий пакет льгот для кандидатов, находящихся в Португалии: Superhuman предлагает всем членам команды конкурентную оплату, а также пакет льгот, включающий заботу о жизни (в том числе заботу о психическом здоровье и страховые льготы) и достаточный, чётко определённый оплачиваемый отпуск. Мы также предлагаем поддержку в организации домашнего офиса, выплаты на wellness и уход за питомцами, возможности для обучения и развития и многое другое.
• Поддержка релокации: Superhuman оказывает поддержку при релокации, чтобы ваш переезд в Берлин прошёл без сложностей. В пакет входят помощь с визой, услуги в новом месте, которые помогут вам и вашей семье комфортно обустроиться, и бонус на релокацию для покрытия дополнительных расходов, например временного жилья.

В Superhuman мы ценим наши различия и призываем откликаться всех, особенно тех, чья идентичность традиционно недостаточно представлена в технологических компаниях. Superhuman — работодатель равных возможностей. Мы не допускаем дискриминации по признаку расы или этнического происхождения, религии или убеждений, цвета кожи, гендерного самовыражения или идентичности, сексуальной ориентации, сексуальной идентичности, национального происхождения, гражданства, возраста, семейного положения, статуса ветерана, инвалидности, уголовного преследования, приговора по уголовному делу или любой другой характеристики, защищённой законом.