Senior Applied Scientist, Efficient LLM Inference & Model Optimization

Роль

Nebius Token Factory ищет учёных, способных превратить узкие места вывода передовых LLM и VLM в исследовательские вопросы, проводить строгие эксперименты и переводить полученные результаты в производственные возможности. Вы будете отвечать за целевые исследовательские и оптимизационные проекты, писать качественный код и создавать прототипы, публикации и технические артефакты, на которых смогут строить инженеры.

Ваши исследования охватят квантизацию, дистилляцию, спекулятивную декодировку, оптимизацию KV‑cache и совместную оптимизацию модели/рантайма, а также движки вывода и распределённые архитектуры вывода. Вы будете изучать взаимодействие этих подходов, оценивать их компромиссы по качеству модели, задержке, пропускной способности, объёму памяти и стоимости за токен, а также работать с инженерными командами над внедрением перспективных результатов в продакшн.

Ваши обязанности:

• Руководить исследовательскими проектами в области эффективного вывода LLM и VLM, от гипотез и экспериментов до абляций, прототипов и передачи в продакшн.

• Разрабатывать и оценивать методы, включающие квантизацию, обучение с учётом квантизации (QAT), дистилляцию, спекулятивную декодировку, повторное использование KV‑cache, сжатие KV‑cache, вывод с длинным контекстом, маршрутизацию MoE и совместную оптимизацию модели/рантайма.

• Создавать прототипы с использованием PyTorch, Triton, инструментов, близких к CUDA, или фреймворков обслуживания вывода, и сотрудничать с MLE и инженерами платформы для превращения их в производственные компоненты.

• Исследовать стратегии маршрутизации запросов LLM и планирования, включая балансировку нагрузки с учётом кэша и дисагрегацию prefill‑decode (PDD). Оценивать, как очереди, передача KV‑cache, размещение воркеров и распределение ресурсов prefill/decode влияют на задержку, пропускную способность и стоимость обслуживания.

• Изучать многонодовый вывод для плотных и mixture‑of‑experts моделей, включая широкий параллелизм экспертов (WideEP). Анализировать размещение экспертов, дисбаланс нагрузки и компромиссы вычислений/коммуникаций, используя результаты для выбора архитектур модели и системы.

• Разрабатывать строгие оценки, охватывающие качество, задержку, пропускную способность, численную стабильность, объём памяти, хвостовую задержку и стоимость за токен. Сравнивать архитектуры обслуживания при одинаковых нагрузках и бюджете GPU.

• Сотрудничать с MLE, командами разработки GPU‑ядер, бэкенд‑инфраструктуры, продуктом и клиентами для выбора исследовательских приоритетов с измеримым производственным воздействием.

• Делать результаты доступными через внутренние отчёты, технические блоги, статьи и открытые артефакты, а также наставлять инженеров и учёных в дизайне экспериментов, научной строгости и компромиссов модели/системы.

Обязательные требования:

• Степень PhD в области компьютерных наук, машинного обучения, систем ML, компьютерных систем, архитектуры компьютеров, электротехники, прикладной математики или смежных дисциплин.

• Сильный список публикаций или эквивалентные исследовательские артефакты в областях ML, систем ML, эффективного вывода, сжатия моделей, квантизации, дистилляции, систем обслуживания или смежных тем.

• Отличные навыки программирования на Python и в PyTorch, позволяющие превращать идеи в эксперименты и работающие прототипы.

• Глубокие знания LLM, VLM, вывода трансформеров, алгоритмов декодирования, сжатия моделей, квантизации и компромиссов при обслуживании в продакшн.

• Сильные навыки экспериментального дизайна, включающие абляции, базовые линии, метрики, статистическое обоснование и анализ отказов.

• Отличные письменные и устные коммуникативные навыки.

Желательные навыки:

• Первичные авторские публикации на конференциях NeurIPS, ICML, ICLR, MLSys, ACL, EMNLP, ASPLOS, OSDI, SOSP, ISCA или HPCA.

• Опыт развертывания ML‑моделей или оптимизаций вывода в продакшн.

• Опыт работы с vLLM, SGLang, TensorRT‑LLM, NVIDIA Dynamo, FlashAttention, FlashInfer, Triton, CUDA или внутренними компонентами PyTorch.

• Опыт применения post‑training, SFT, DPO, RLHF, RLAIF, оптимизации предпочтений или генерации синтетических данных для улучшения качества или эффективности вывода.

• Открытые исследовательские артефакты, широко используемые бенчмарки, технические блоги или приглашённые доклады, демонстрирующие вклад в эффективные AI‑системы.

• Исследовательский или практический опыт в одной или нескольких областях распределённой архитектуры систем вывода, таких как маршрутизация запросов LLM, PDD, многонодовое обслуживание или параллелизм экспертов MoE, включая WideEP.

Ключевые льготы для сотрудников в США:

• Медицинская страховка: 100 % покрытие компанией медицинских, стоматологических и офтальмологических расходов для сотрудников и их семей.

• План 401(k): До 4 % матчинга от компании с мгновенным вестингом.

• Декретный отпуск: 20 недель с оплатой для основных опекунов, 12 недель для второстепенных опекунов.

• Возмещение расходов на удалённую работу: До $85 в месяц на мобильную связь и интернет.

• Страхование от инвалидности и жизни: Компания покрывает страхование краткосрочной, долгосрочной инвалидности и жизни.

Прозрачность оплаты

Мы предлагаем конкурентоспособные компенсационные и льготные пакеты. Конкретный размер компенсации будет определён на основе факторов, связанных с работой, включая опыт, навыки, квалификацию, уровень, на котором будет нанят кандидат, и географическое расположение, в соответствии с применимым законодательством.

Диапазон базовой компенсации

$195,200—$262,200 USD

Льготы и привилегии:

• Конкурентоспособная оплата
• Возможности карьерного роста и обучения
• Гибкость и автономия
• Сотрудничественная и инновационная культура
• Возможность работать над значимыми AI‑проектами
• Международная среда и талантливые команды

Заявление о равных возможностях:

Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь право работать в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство как условие найма.

Если вам нужны приспособления в процессе подачи заявки, пожалуйста, дайте нам знать.