Senior Applied Scientist, Efficient LLM Inference & Model Optimization

Nebius Token Factory ищет учёных, способных превратить узкие места инференса LLM и VLM в исследовательские вопросы, проводить строгие эксперименты и переводить полученные результаты в производственные возможности. Вы будете отвечать за целевые исследовательские и оптимизационные проекты, писать качественный код и создавать прототипы, публикации и технические артефакты, на которых смогут строить инженеры.

Ваши исследования охватят квантизацию, дистилляцию, спекулятивную декодировку, оптимизацию KV‑cache и совместную оптимизацию модели/рантайма, а также движки инференса и распределённые архитектуры инференса. Вы будете изучать взаимодействие этих подходов, оценивать их компромиссы по качеству модели, задержке, пропускной способности, объёму памяти и стоимости за токен, а также работать с инженерными командами над внедрением перспективных результатов в продакшн.

• Руководить исследовательскими проектами в области эффективного инференса LLM и VLM, от гипотез и экспериментов до абляций, прототипов и передачи в продакшн.

• Разрабатывать и оценивать методы, включающие квантизацию, обучение с учётом квантизации (QAT), дистилляцию, спекулятивную декодировку, повторное использование KV‑cache, сжатие KV‑cache, инференс с длинным контекстом, маршрутизацию MoE и совместную оптимизацию модели/рантайма.

• Создавать прототипы с использованием PyTorch, Triton, инструментов, связанных с CUDA, или фреймворков инференс‑сервинга, и сотрудничать с MLE и инженерами платформы для превращения их в производственные компоненты.

• Исследовать стратегии маршрутизации и планирования запросов LLM, включая балансировку нагрузки с учётом кэша и дисагрегацию prefill‑decode (PDD). Оценивать, как очереди, передача KV‑cache, размещение воркеров и распределение ресурсов prefill/decode влияют на задержку, пропускную способность и стоимость обслуживания.

• Исследовать многонодовый инференс для плотных и mixture‑of‑experts моделей, включая широкий параллелизм экспертов (WideEP). Изучать размещение экспертов, дисбаланс нагрузки и компромиссы вычислений/коммуникаций, используя полученные данные для выбора архитектуры модели и системы.

• Разрабатывать строгие оценки, охватывающие качество, задержку, пропускную способность, численную стабильность, объём памяти, хвостовую задержку и стоимость за токен. Сравнивать архитектуры сервинга при одинаковых нагрузках и бюджете GPU.

• Сотрудничать с MLE, командами разработки GPU‑ядер, бек‑энд инфраструктуры, продуктом и клиентами для выбора исследовательских приоритетов с измеримым производственным воздействием.

• Делать результаты доступными через внутренние отчёты, технические блоги, статьи и открытые артефакты, а также наставлять инженеров и учёных в дизайне экспериментов, научной строгости и компромиссах модели/системы.

• Степень PhD в области компьютерных наук, машинного обучения, систем ML, компьютерных систем, архитектуры компьютеров, электротехники, прикладной математики или смежных дисциплин.

• Сильный список публикаций или эквивалентные исследовательские артефакты в ML, системах ML, эффективном инференсе, сжатии моделей, квантизации, дистилляции, системах сервинга или смежных областях.

• Отличные навыки реализации на Python и PyTorch, способность превращать идеи в эксперименты и работающие прототипы.

• Глубокие знания LLM, VLM, инференса трансформеров, алгоритмов декодирования, сжатия моделей, квантизации и компромиссов продакшн‑сервинга.

• Сильные навыки экспериментального дизайна, включающие абляции, базовые линии, метрики, статистическое обоснование и анализ отказов.

• Отличные письменные и устные коммуникативные навыки.

• Публикации в качестве первого автора на конференциях NeurIPS, ICML, ICLR, MLSys, ACL, EMNLP, ASPLOS, OSDI, SOSP, ISCA или HPCA.

• Опыт развертывания ML‑моделей или оптимизаций инференса в продакшн.

• Опыт работы с vLLM, SGLang, TensorRT‑LLM, NVIDIA Dynamo, FlashAttention, FlashInfer, Triton, CUDA или внутренними механизмами PyTorch.

• Опыт применения пост‑тренировочной доработки, SFT, DPO, RLHF, RLAIF, оптимизации предпочтений или генерации синтетических данных для улучшения качества или эффективности инференса.

• Открытые исследовательские артефакты, широко используемые бенчмарки, технические блоги или приглашённые доклады, демонстрирующие вклад в эффективные AI‑системы.

• Исследовательский или практический опыт в одной или нескольких областях распределённой архитектуры систем инференса, таких как маршрутизация запросов LLM, PDD, многонодовый сервисинг или параллелизм экспертов MoE, включая WideEP.

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и автономия

• Коллаборативная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

• Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь право работать в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство как условие найма.

Если вам нужны специальные условия во время процесса подачи заявки, пожалуйста, дайте нам знать.