Senior Machine Learning Engineer, LLM Inference Optimization

Роль

В качестве Senior Machine Learning Engineer в команде Applied AI в Nebius Token Factory вы будете отвечать за оптимизацию моделей и конечных точек от артефактов модели до развертывания в продакшн. Ваша работа охватит внутреннее устройство модели, квантизацию и сжатие модели, спекулятивную декодировку, оптимизацию KV‑кеша, движки вывода, архитектуру сервинга и бенчмаркинг для улучшения задержки, пропускной способности, эффективности памяти, использования GPU и стоимости за токен при сохранении качества и надёжности.

Вы будете сотрудничать с инженерами ядра и платформы для исследования проблем сервинга, сравнения конфигураций и устранения регрессий производительности и качества. Вы будете оценивать оптимизации на уровне модели и движка совместно с распределёнными решениями вывода, включая маршрутизацию запросов, планирование, координацию предзаполнения/декодирования и многонодовое выполнение на GPU. Ваши улучшения будут проверяться воспроизводимыми бенчмарк‑тестами и безопасными продакшн‑развёртываниями в реальных нагрузках.

Ваши обязанности

• Вести проекты оптимизации для конкретных семейств моделей, клиентских конечных точек или бекендов сервинга.

• Сравнивать движки вывода и рекомендовать конфигурации сервинга, подходящие для отдельных рабочих нагрузок.

• Диагностировать регрессии качества модели и производительности во время продакшн‑развёртываний.

• Улучшать задержку, пропускную способность, эффективность памяти, использование GPU, качество и стоимость за токен для конечных точек LLM и VLM.

• Развёртывать, настраивать, бенчмаркить и расширять движки такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.

• Разрабатывать рабочие процессы сжатия моделей в продакшн, охватывающие квантизацию, обучение с учётом квантизации, дистилляцию, обслуживание в низкоразрядном режиме и восстановление точности.

• Реализовывать или интегрировать спекулятивную декодировку, подходы с черновой моделью, оптимизацию KV‑кеша, кэширование префиксов, кусочное предзаполнение, непрерывную пакетную обработку и раздельный сервис предзаполнения/декодирования. Для раздельного предзаполнения‑декодирования (PDD) оценивать передачу KV‑кеша, размещение воркеров и балансировку нагрузки, чтобы определить, какие рабочие нагрузки выигрывают от такой архитектуры.

• Проектировать и улучшать маршрутизаторы запросов LLM и политики планирования, балансирующие использование воркеров, очереди, характеристики запросов и локальность KV‑кеша, при соблюдении целей по задержке и надёжности.

• Масштабировать вывод dense и mixture‑of‑experts моделей на нескольких GPU‑узлах. Выбирать и настраивать тензорный, конвейерный, дата‑ и экспертный параллелизм, включая широкий экспертный параллелизм (WideEP), с учётом топологии оборудования, балансировки нагрузки экспертов и накладных расходов на коммуникацию.

• Создавать воспроизводимые наборы бенчмарков, измеряющие TTFT, TPOT, токены в секунду на GPU, p95/p99 задержку, память GPU, надёжность и стоимость за токен. Проверять архитектурные решения под репрезентативным трафиком и при фиксированных бюджетах GPU.

• Сотрудничать с инженерами ядра GPU и платформы для выявления узких мест в коде модели, ядрах, рантайме, планировщике, шлюзе и кластере.

• Подготавливать проектные документы, отчёты о производительности, планы развёртывания и технические объяснения для клиентов.

Обязательные требования

• Сильные инженерные навыки в Python и PyTorch.

• Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительного вывода трансформеров.

• Практические знания хотя бы одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.

• Глубокое понимание узких мест вывода трансформеров, связанных с KV‑кешем, вниманием, пропускной способностью памяти, пакетированием, параллелизмом и обслуживанием длинных контекстов.

• Умение количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, использованием ресурсов и стоимостью.

• Опыт проектирования или оптимизации распределённой архитектуры системы вывода, с практической работой в одной или нескольких областях, таких как маршрутизация запросов, распределённое планирование, PDD, многонодовый вывод или экспертный параллелизм.

• Сильные навыки коммуникации и сотрудничества с командами исследований, ядра, инфраструктуры, продукта и клиентов.

Приветствуется

• Опыт работы с обучением с учётом квантизации, пост‑тренировочной квантизацией, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ или SmoothQuant.

• Опыт дистилляции, спекулятивной декодировки, EAGLE, Medusa, предсказания нескольких токенов или схожих методов ускорения вывода.

• Опыт поддержки агентных нагрузок, включающих вызов инструментов, структурированные выводы, потоковые API, высокую конкуренцию и многошаговую оркестрацию.

• Знакомство с CUDA или Triton; роль не требует, чтобы инженерия ядра была основной специализацией кандидата.

• Вклад в открытые проекты, такие как vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.

• Опыт реализации маршрутизации запросов с учётом кеша, PDD или WideEP, включая диагностику коммуникационных узких мест и дисбаланса нагрузки.

• Знакомство с библиотеками коммуникаций GPU и межсоединениями, такими как NCCL, NVLink, InfiniBand или RoCE.

Плюсы и привилегии:

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и автономия

• Сотрудничественная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

Каково работать в Nebius:

Быстрый темп — Смелое мышление — Постоянный рост — Значимый вклад — Доверие и реальная автономия — Возможность формировать будущее AI

Заявление о равных возможностях:

Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь право работать в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам нужны условия для участия в процессе подачи заявки, пожалуйста, дайте нам знать.