Senior Machine Learning Engineer, LLM Inference Optimization

Как Senior Machine Learning Engineer в команде Applied AI в Nebius Token Factory, вы будете отвечать за оптимизацию моделей и конечных точек от артефактов модели до их развертывания в продакшн. Ваша работа охватит внутреннее устройство модели, квантизацию и сжатие модели, спекулятивную декодировку, оптимизацию KV‑cache, движки вывода, архитектуру сервинга и бенчмаркинг для улучшения задержки, пропускной способности, эффективности памяти, использования GPU и стоимости за токен при сохранении качества и надёжности.

Вы будете сотрудничать с инженерами ядра и платформы для исследования проблем сервинга, сравнения конфигураций и устранения регрессий производительности и качества. Вы оцените оптимизации на уровне модели и движка совместно с распределёнными решениями вывода, включая маршрутизацию запросов, планирование, координацию предзаполнения/декодирования и многонодовое выполнение на GPU. Ваши улучшения будут проверяться воспроизводимыми бенчмарк‑тестами и безопасными продакшн‑развёртываниями в реальных нагрузках.

• Вести проекты оптимизации для конкретных семейств моделей, клиентских конечных точек или бекендов сервинга.

• Сравнивать движки вывода и рекомендовать конфигурации сервинга, подходящие для отдельных нагрузок.

• Диагностировать регрессии качества модели и производительности во время продакшн‑развёртываний.

• Улучшать задержку, пропускную способность, эффективность памяти, использование GPU, качество и стоимость за токен для конечных точек LLM и VLM.

• Развёртывать, настраивать, бенчмаркить и расширять движки такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.

• Разрабатывать рабочие процессы сжатия моделей в продакшн, охватывающие квантизацию, обучение с учётом квантизации, дистилляцию, обслуживание в низко‑битном режиме и восстановление точности.

• Реализовывать или интегрировать спекулятивную декодировку, подходы с черновой моделью, оптимизацию KV‑cache, кэширование префиксов, кусочное предзаполнение, непрерывный батчинг и раздельный сервис предзаполнения/декодирования. Для раздельного предзаполнения‑декодирования (PDD) оценивать передачу KV‑cache, размещение воркеров и балансировку ёмкости, чтобы определить, какие нагрузки выигрывают от такой архитектуры.

• Проектировать и улучшать маршрутизаторы запросов LLM и политики планирования, балансирующие использование воркеров, очереди, характеристики запросов и локальность KV‑cache, при соблюдении целей по задержке и надёжности.

• Масштабировать вывод dense и mixture‑of‑experts моделей на нескольких GPU‑узлах. Выбирать и настраивать тензорный, конвейерный, дата‑ и экспертный параллелизм, включая широкий экспертный параллелизм (WideEP), с учётом топологии оборудования, балансировки нагрузки экспертов и накладных расходов на коммуникацию.

• Создавать воспроизводимые наборы бенчмарков, измеряющие TTFT, TPOT, токены в секунду на GPU, p95/p99 задержку, память GPU, надёжность и стоимость за токен. Валидировать архитектурные решения под репрезентативным трафиком и при фиксированных бюджетах GPU.

• Сотрудничать с инженерами ядра GPU и платформы для трассировки узких мест в коде модели, ядрах, рантайме, планировщике, шлюзе и кластере.

• Подготавливать проектные документы, отчёты о производительности, планы развёртывания и технические объяснения для клиентов.

• Сильные инженерные навыки в Python и PyTorch.

• Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительного вывода трансформеров.

• Практические знания хотя бы одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.

• Глубокое понимание узких мест вывода трансформеров, связанных с KV‑cache, вниманием, пропускной способностью памяти, батчингом, параллелизмом и обслуживанием длинных контекстов.

• Умение количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, использованием ресурсов и стоимостью.

• Опыт проектирования или оптимизации распределённой архитектуры системы вывода, с практической работой в одной или нескольких областях, таких как маршрутизация запросов, распределённое планирование, PDD, многонодовый вывод или экспертный параллелизм.

• Сильные навыки коммуникации и сотрудничества с командами исследований, ядра, инфраструктуры, продукта и клиентов.

• Опыт работы с обучением с учётом квантизации, пост‑тренировочной квантизацией, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ или SmoothQuant.

• Опыт дистилляции, спекулятивной декодировки, EAGLE, Medusa, предсказания нескольких токенов или схожих методов ускорения вывода.

• Опыт поддержки агентных нагрузок, включающих вызов инструментов, структурированные выводы, потоковые API, высокую конкуренцию и многошаговую оркестрацию.

• Знакомство с CUDA или Triton; роль не требует, чтобы инженерия ядра была основной специализацией кандидата.

• Вклад в open‑source проекты, такие как vLLM, SGLang, TensorRT‑LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.

• Опыт реализации маршрутизации запросов с учётом кэша, PDD или WideEP, включая диагностику коммуникационных узких мест и дисбаланса нагрузки.

• Знакомство с библиотеками коммуникаций GPU и межсоединениями, такими как NCCL, NVLink, InfiniBand или RoCE.

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и автономия

• Коллаборативная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

• Быстрый темп — смелое мышление — постоянный рост — значимый вклад — доверие и реальная автономия — возможность формировать будущее AI

• Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

• Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство как условие найма.

• Если вам нужны специальные условия во время процесса подачи заявки, пожалуйста, дайте нам знать.