Senior Applied Scientist, Efficient LLM Inference & Model Optimization

Nebius Token Factory ищет учёных, способных превратить узкие места вывода передовых LLM и VLM в исследовательские вопросы, проводить строгие эксперименты и переводить полученные результаты в производственные возможности. Вы будете отвечать за целевые исследовательские и оптимизационные проекты, писать качественный код и создавать прототипы, публикации и технические артефакты, на которых смогут строить инженеры.

Ваши исследования охватят квантизацию, дистилляцию, спекулятивную декодировку, оптимизацию KV‑cache и совместную оптимизацию модели/рантайма, а также движки вывода и распределённые архитектуры вывода. Вы будете изучать взаимодействие этих подходов, оценивать их компромиссы по качеству модели, задержке, пропускной способности, объёму памяти и стоимости за токен, а также работать с инженерными командами над внедрением перспективных результатов в продакшн.

• Руководить исследовательскими проектами по эффективному выводу LLM и VLM, от гипотез и экспериментов до абляций, прототипов и передачи в продакшн.

• Разрабатывать и оценивать методы, охватывающие квантизацию, обучение с учётом квантизации (QAT), дистилляцию, спекулятивную декодировку, повторное использование KV‑cache, сжатие KV‑cache, вывод с длинным контекстом, маршрутизацию MoE и совместную оптимизацию модели/рантайма.

• Создавать прототипы с использованием PyTorch, Triton, инструментов, связанных с CUDA, или фреймворков обслуживания вывода, и сотрудничать с MLE и инженерами платформы для превращения их в производственные компоненты.

• Исследовать стратегии маршрутизации и планирования запросов LLM, включая балансировку нагрузки с учётом кэша и разъединение предзаполнения‑декодирования (PDD). Оценивать, как очереди, передача KV‑cache, размещение воркеров и распределение ресурсов предзаполнения/декодирования влияют на задержку, пропускную способность и стоимость обслуживания.

• Исследовать многонодовый вывод для плотных и моделей смеси экспертов, включая широкую параллельность экспертов (WideEP). Изучать размещение экспертов, дисбаланс нагрузки и компромиссы вычислений/коммуникаций, используя полученные данные для выбора архитектур модели и системы.

• Разрабатывать строгие оценки, охватывающие качество, задержку, пропускную способность, численную стабильность, объём памяти, хвостовую задержку и стоимость за токен. Сравнивать архитектуры обслуживания при одинаковых условиях нагрузки и бюджете GPU.

• Сотрудничать с MLE, командами разработки GPU‑ядер, бэкенд‑инфраструктуры, продуктом и клиентами для выбора исследовательских приоритетов с измеримым производственным воздействием.

• Делать результаты доступными через внутренние отчёты, технические блоги, статьи и открытые артефакты, а также наставлять инженеров и учёных в дизайне экспериментов, научной строгости и компромиссов модели/системы.

• Кандидат с учёной степенью PhD в области компьютерных наук, машинного обучения, систем ML, компьютерных систем, архитектуры компьютеров, электротехники, прикладной математики или смежных дисциплин.

• Сильный список публикаций или эквивалентные исследовательские артефакты в областях ML, систем ML, эффективного вывода, сжатия моделей, квантизации, дистилляции, систем обслуживания или смежных тем.

• Отличные навыки программирования на Python и в PyTorch, позволяющие превращать идеи в эксперименты и работающие прототипы.

• Глубокие знания LLM, VLM, вывода трансформеров, алгоритмов декодирования, сжатия моделей, квантизации и компромиссов при обслуживании в продакшн.

• Сильные навыки экспериментального дизайна, включающие абляции, базовые линии, метрики, статистическое обоснование и анализ отказов.

• Отличные письменные и устные коммуникативные навыки.

• Публикации в качестве первого автора на конференциях NeurIPS, ICML, ICLR, MLSys, ACL, EMNLP, ASPLOS, OSDI, SOSP, ISCA или HPCA.

• Опыт развертывания ML‑моделей или оптимизаций вывода в продакшн.

• Опыт работы с vLLM, SGLang, TensorRT-LLM, NVIDIA Dynamo, FlashAttention, FlashInfer, Triton, CUDA или внутренними компонентами PyTorch.

• Опыт применения пост‑тренировочной доработки, SFT, DPO, RLHF, RLAIF, оптимизации предпочтений или генерации синтетических данных для улучшения качества или эффективности вывода.

• Открытые исследовательские артефакты, широко используемые бенчмарки, технические блоги или приглашённые доклады, демонстрирующие вклад в эффективные AI‑системы.

• Исследовательский или практический опыт в одной или нескольких областях распределённой архитектуры систем вывода, таких как маршрутизация запросов LLM, PDD, многонодовое обслуживание или параллелизм экспертов MoE, включая WideEP.

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и автономия

• Коллаборативная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

• Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам нужны специальные условия во время процесса подачи заявки, пожалуйста, дайте нам знать.