Senior Machine Learning Engineer, LLM Inference Optimization

Как Senior Machine Learning Engineer в команде Applied AI в Nebius Token Factory, вы будете отвечать за оптимизацию моделей и конечных точек от артефактов модели до развертывания в продакшн. Ваша работа охватит внутренние части модели, квантизацию и сжатие модели, спекулятивную декодировку, оптимизацию KV‑cache, движки вывода, архитектуру сервинга и бенчмаркинг для улучшения задержки, пропускной способности, эффективности памяти, utilisation GPU и стоимости за токен при сохранении качества и надёжности.

Вы будете сотрудничать с инженерами ядра и платформы для исследования проблем сервинга, сравнения конфигураций и устранения регрессий производительности и качества. Вы оцените оптимизации на уровне модели и движка совместно с распределёнными дизайнами вывода, включая маршрутизацию запросов, планирование, координацию prefill/decode и многонодовое выполнение на GPU. Ваши улучшения будут проверяться воспроизводимыми бенчмарками и безопасными продакшн‑развёртываниями в реальных нагрузках.

• Вести проекты оптимизации для конкретных семейств моделей, клиентских конечных точек или бекендов сервинга.

• Сравнивать inference engines и рекомендовать конфигурации сервинга, подходящие для отдельных рабочих нагрузок.

• Диагностировать регрессии качества модели и производительности во время продакшн‑развёртываний.

• Улучшать задержку, пропускную способность, эффективность памяти, utilisation GPU, качество и стоимость за токен для конечных точек LLM и VLM.

• Развёртывать, настраивать, бенчмаркить и расширять движки такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.

• Разрабатывать рабочие процессы сжатия моделей в продакшн, охватывающие квантизацию, quantization‑aware training, дистилляцию, low‑bit сервинг и восстановление точности.

• Реализовывать или интегрировать спекулятивную декодировку, подходы draft‑model, оптимизацию KV‑cache, кэширование префиксов, chunked prefill, непрерывный батчинг и раздельный prefill/decode сервинг. Для раздельного prefill‑decode (PDD) оценивать передачу KV‑cache, размещение воркеров и балансировку ресурсов, чтобы определить, какие нагрузки выигрывают от такой архитектуры.

• Проектировать и улучшать роутеры запросов LLM и политики планирования, балансирующие utilisation воркеров, очередь, характеристики запросов и локальность KV‑cache, при соблюдении целей по задержке и надёжности.

• Масштабировать dense и mixture‑of‑experts вывод на нескольких GPU‑нодах. Выбирать и настраивать тензорный, pipeline, data и expert параллелизм, включая wide expert parallelism (WideEP), учитывая топологию оборудования, баланс нагрузки экспертов и накладные расходы на коммуникацию.

• Создавать воспроизводимые бенчмарк‑хранилища, измеряющие TTFT, TPOT, токены в секунду на GPU, p95/p99 задержку, память GPU, надёжность и стоимость за токен. Валидировать архитектурные решения под репрезентативным трафиком и фиксированными бюджетами GPU.

• Сотрудничать с инженерами ядра GPU и платформы для трассировки узких мест в коде модели, ядрах, рантайме, планировщике, шлюзе и кластере.

• Подготавливать проектные документы, отчёты о производительности, планы развёртывания и технические объяснения для клиентов.

• Сильные инженерные навыки в Python и PyTorch.

• Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительного вывода трансформеров.

• Практические знания как минимум одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.

• Глубокое понимание узких мест вывода трансформеров, связанных с KV‑cache, attention, пропускной способностью памяти, батчингом, параллелизмом и обслуживанием длинных контекстов.

• Умение количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, utilisation и стоимостью.

• Опыт проектирования или оптимизации распределённой архитектуры систем вывода, с практической работой в одной или нескольких областях, таких как маршрутизация запросов, распределённое планирование, PDD, многонодовый вывод или expert параллелизм.

• Сильные навыки коммуникации и сотрудничества с командами исследований, ядра, инфраструктуры, продукта и клиентов.

• Опыт работы с quantization‑aware training, post‑training quantization, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ или SmoothQuant.

• Опыт с дистилляцией, спекулятивной декодировкой, EAGLE, Medusa, предсказанием нескольких токенов или схожими методами ускорения вывода.

• Опыт поддержки агентных нагрузок, включающих вызов инструментов, структурированные выводы, потоковые API, высокую конкуренцию и многошаговую оркестрацию.

• Знакомство с CUDA или Triton; роль не требует, чтобы инженерия ядра была основной специализацией кандидата.

• Вклад в open‑source проекты, такие как vLLM, SGLang, TensorRT‑LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.

• Опыт реализации маршрутизации запросов с учётом кэша, PDD или WideEP, включая диагностику узких мест коммуникации и дисбаланса нагрузки.

• Знакомство с библиотеками коммуникации GPU и межсоединениями, такими как NCCL, NVLink, InfiniBand или RoCE.

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и владение задачами

• Коллаборативная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

• Быстрое развитие — смелое мышление — постоянный рост — значимый вклад — доверие и реальное владение — возможность формировать будущее AI

• Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам нужны условия доступа в процессе подачи заявки, пожалуйста, дайте нам знать.