Senior Applied Scientist, Efficient LLM Inference & Model Optimization

Роль

Nebius Token Factory ищет учёных, способных превратить узкие места инференса передовых LLM и VLM в исследовательские вопросы, проводить строгие эксперименты и переводить полученные результаты в производственные возможности. Вы будете отвечать за целевые исследовательские и оптимизационные проекты, писать качественный код и создавать прототипы, публикации и технические артефакты, на которых смогут строить инженеры.

Ваши исследования охватят квантизацию, дистилляцию, спекулятивную декодировку, оптимизацию KV‑cache и совместную оптимизацию модели/рантайма, а также движки инференса и распределённые архитектуры инференса. Вы будете изучать взаимодействие этих подходов, оценивать их компромиссы по качеству модели, задержке, пропускной способности, объёму памяти и стоимости за токен, а также работать с инженерными командами над внедрением перспективных результатов в продакшн.

• Руководить исследовательскими проектами по эффективному инференсу LLM и VLM, от гипотез и экспериментов до абляций, прототипов и передачи в продакшн.

• Разрабатывать и оценивать методы, включающие квантизацию, обучение с учётом квантизации (QAT), дистилляцию, спекулятивную декодировку, повторное использование KV‑cache, сжатие KV‑cache, инференс с длинным контекстом, маршрутизацию MoE и совместную оптимизацию модели/рантайма.

• Создавать прототипы с использованием PyTorch, Triton, инструментов, связанных с CUDA, или фреймворков для сервинга инференса, и сотрудничать с MLE и инженерами платформы для превращения их в производственные компоненты.

• Исследовать стратегии маршрутизации и планирования запросов LLM, включая балансировку нагрузки с учётом кэша и дисагрегацию prefill‑decode (PDD). Оценивать, как очереди, передача KV‑cache, размещение воркеров и распределение ресурсов prefill/decode влияют на задержку, пропускную способность и стоимость сервиса.

• Изучать мульти‑узловой инференс для плотных и mixture‑of‑experts моделей, включая широкую параллелизацию экспертов (WideEP). Анализировать размещение экспертов, дисбаланс нагрузки и компромиссы вычислений/коммуникаций, используя результаты для выбора архитектуры модели и системы.

• Проводить строгие оценки, охватывающие качество, задержку, пропускную способность, численную стабильность, объём памяти, хвостовую задержку и стоимость за токен. Сравнивать архитектуры сервиса при одинаковых нагрузках и бюджете GPU.

• Сотрудничать с MLE, командами разработки GPU‑ядер, бэкенд‑инфраструктуры, продуктом и клиентами для выбора исследовательских приоритетов с измеримым производственным воздействием.

• Делать результаты доступными через внутренние отчёты, технические блоги, статьи и открытые артефакты, а также наставлять инженеров и учёных в области экспериментального дизайна, научной строгости и компромиссов модели/системы.

• Кандидат наук в области компьютерных наук, машинного обучения, систем ML, компьютерных систем, архитектуры компьютеров, электротехники, прикладной математики или смежной дисциплины.

• Сильный список публикаций или эквивалентные исследовательские артефакты в областях ML, систем ML, эффективного инференса, сжатия моделей, квантизации, дистилляции, систем сервинга или смежных тем.

• Отличные навыки программирования на Python и в PyTorch, с умением превращать идеи в эксперименты и работающие прототипы.

• Глубокие знания LLM, VLM, инференса трансформеров, алгоритмов декодирования, сжатия моделей, квантизации и компромиссов при обслуживании в продакшн.

• Сильные навыки экспериментального дизайна, включающие абляции, базовые линии, метрики, статистическое обоснование и анализ отказов.

• Отличные навыки письменной и устной коммуникации.

• Публикации в качестве первого автора на конференциях NeurIPS, ICML, ICLR, MLSys, ACL, EMNLP, ASPLOS, OSDI, SOSP, ISCA или HPCA.

• Опыт развертывания ML‑моделей или оптимизаций инференса в продакшн.

• Опыт работы с vLLM, SGLang, TensorRT‑LLM, NVIDIA Dynamo, FlashAttention, FlashInfer, Triton, CUDA или внутренними компонентами PyTorch.

• Опыт применения пост‑тренировочных методов, SFT, DPO, RLHF, RLAIF, оптимизации предпочтений или генерации синтетических данных для улучшения качества или эффективности инференса.

• Открытые исследовательские артефакты, широко используемые бенчмарки, технические блоги или приглашённые доклады, демонстрирующие вклад в эффективные AI‑системы.

• Исследовательский или практический опыт в одной или нескольких областях распределённой архитектуры систем инференса, таких как маршрутизация запросов LLM, PDD, мульти‑узловый сервис или параллелизм экспертов MoE, включая WideEP.

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и автономия

• Коллаборативная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

• Быстрое развитие — Смелое мышление — Постоянный рост — Значимый вклад — Доверие и реальная автономия — Возможность формировать будущее AI

• Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, а также любых других характеристик, защищённых применимым законодательством.

• Кандидаты должны иметь право работать в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство как условие найма.

• Если вам нужны специальные условия в процессе подачи заявки, пожалуйста, дайте нам знать.