Senior Machine Learning Engineer, LLM Inference Optimization

Как Senior Machine Learning Engineer в команде Applied AI в Nebius Token Factory, вы будете отвечать за оптимизацию моделей и конечных точек от артефактов модели до развертывания в продакшн. Ваша работа охватит внутреннее устройство модели, квантизацию и сжатие модели, спекулятивную декодировку, оптимизацию KV‑cache, движки вывода, архитектуру сервинга и бенчмаркинг для улучшения задержки, пропускной способности, эффективности памяти, использования GPU и стоимости за токен при сохранении качества и надёжности модели.

Вы будете сотрудничать с инженерами ядра и платформы для исследования проблем сервинга, сравнения конфигураций и устранения регрессий производительности и качества. Вы оцените оптимизации на уровне модели и движка совместно с распределёнными решениями вывода, включая маршрутизацию запросов, планирование, координацию предзаполнения/декодирования и многонодовое выполнение на GPU. Ваши улучшения будут проверяться воспроизводимыми бенчмарк‑тестами и безопасными развертываниями в продакшн под реальными нагрузками.

• Вести проекты оптимизации для конкретных семейств моделей, клиентских конечных точек или бекендов сервинга.
• Сравнивать движки вывода и рекомендовать практические конфигурации сервинга, подходящие под отдельные нагрузки.
• Диагностировать регрессии качества модели и производительности во время развертываний в продакшн.
• Улучшать задержку, пропускную способность, эффективность памяти, использование GPU, качество и стоимость за токен для конечных точек LLM и VLM.
• Развёртывать, настраивать, бенчмарить и расширять движки вывода, такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.
• Разрабатывать рабочие процессы сжатия моделей в продакшн, охватывающие квантизацию, обучение с учётом квантизации, дистилляцию, обслуживание в низкоразрядных режимах и восстановление точности.
• Реализовывать или интегрировать спекулятивную декодировку, подходы с черновой моделью, оптимизацию KV‑cache, кэширование префиксов, кусочное предзаполнение, непрерывный батчинг и раздельный сервис предзаполнения/декодирования. Для раздельного предзаполнения/декодирования (PDD) оценивать передачу KV‑cache, размещение воркеров и балансировку нагрузки, чтобы определить, какие нагрузки выигрывают от такой архитектуры.
• Проектировать и улучшать маршрутизаторы запросов LLM и политики планирования, которые балансируют использование воркеров, очередь, характеристики запросов и локальность KV‑cache, одновременно удовлетворяя целям по задержке и надёжности.
• Масштабировать плотный и mixture‑of‑experts вывод на нескольких GPU‑узлах. Выбирать и настраивать тензорный, конвейерный, дата‑ и экспертный параллелизм — включая широкий экспертный параллелизм (WideEP) — с учётом топологии оборудования, балансировки нагрузки экспертов и накладных расходов на коммуникацию.
• Создавать воспроизводимые наборы бенчмарков, измеряющие TTFT, TPOT, токены в секунду на GPU, p95/p99 задержку, память GPU, надёжность и стоимость за токен. Валидировать выбор архитектуры под репрезентативный трафик и фиксированные бюджеты GPU.
• Сотрудничать с инженерами ядра GPU и платформы для трассировки узких мест в коде модели, ядрах, рантайме, планировщике, шлюзе и уровнях кластера.
• Подготавливать проектные документы, отчёты о производительности, планы развертываний и технические объяснения для клиентов.

• Сильные инженерные навыки в Python и PyTorch.
• Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительного вывода трансформеров.
• Практические знания хотя бы одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.
• Глубокое понимание узких мест вывода трансформеров, связанных с KV‑cache, вниманием, пропускной способностью памяти, батчингом, параллелизмом и обслуживанием длинного контекста.
• Умение количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, использованием и стоимостью.
• Опыт проектирования или оптимизации распределённой архитектуры системы вывода, с практической работой в одной или нескольких областях, таких как маршрутизация запросов, распределённое планирование, PDD, многонодовый вывод или экспертный параллелизм.
• Сильные коммуникативные навыки и навыки сотрудничества с командами исследований, ядра, инфраструктуры, продукта и клиентов.

• Опыт обучения с учётом квантизации, пост‑тренировочной квантизации, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant.
• Опыт дистилляции, спекулятивной декодировки, EAGLE, Medusa, предсказания нескольких токенов или связанных методов ускорения вывода.
• Опыт поддержки агентных нагрузок, включающих вызов инструментов, структурированные выводы, потоковые API, высокую конкуренцию и многошаговую оркестрацию.
• Знакомство с CUDA или Triton; роль не требует, чтобы инженерия ядра была основной специализацией кандидата.
• Вклад в open‑source проекты, такие как vLLM, SGLang, TensorRT‑LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.
• Опыт реализации маршрутизации запросов с учётом кэша, PDD или WideEP, включая диагностику узких мест коммуникации и дисбаланса нагрузки.
• Знакомство с библиотеками коммуникации GPU и межсоединениями, такими как NCCL, NVLink, Infiniband или RoCE.

• Медицинская страховка: 100 % покрытие медицинских, стоматологических и офтальмологических расходов компанией для сотрудников и их семей.
• План 401(k): до 4 % матчинга компанией с мгновенным вестингом.
• Декретный отпуск: 20 недель оплачиваемого отпуска для основных опекунов, 12 недель для второстепенных опекунов.
• Возмещение расходов на удалённую работу: до $85 в месяц на мобильную связь и интернет.
• Страхование от инвалидности и жизни: компания покрывает краткосрочное, долгосрочное и страхование жизни.

Мы предлагаем конкурентоспособные компенсационные и льготные пакеты. Фактическая компенсация будет определяться на основе факторов, связанных с работой, включая опыт, навыки, квалификации, уровень, на котором будет нанят кандидат, и географическое расположение, в соответствии с применимым законодательством.

Диапазон базовой компенсации

$195,200—$262,200 USD

• Конкурентоспособная компенсация
• Возможности карьерного роста и обучения
• Гибкость и автономия
• Сотрудничественная и инновационная культура
• Возможность работать над значимыми AI‑проектами
• Международная среда и талантливые команды

Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, предков, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить доказательство права на трудоустройство в качестве условия найма.

Если вам нужны условия для участия в процессе подачи заявки, пожалуйста, дайте нам знать.