Staff Machine Learning Engineer, LLM Inference Optimization

Краткое описание роли

Nebius Token Factory создаёт production-инференс для open-source моделей, моделей клиентов и моделей, оптимизированных внутри компании. В рамках этой роли вы будете отвечать за путь от артефакта модели до быстрого, надёжного и экономичного эндпоинта. Работа находится на стыке внутреннего устройства моделей, движков инференса, архитектуры сервинга, бенчмаркинга и production-развёртывания.

• Отвечать за одно из платформенных направлений оптимизации, например: quantization, speculative decoding, оптимизация KV-cache, выбор движка или сервинг с длинным контекстом.

• Создавать переиспользуемые фреймворки для оценки, бенчмаркинга и раскатки для нескольких семейств моделей.

• Давать техническое направление MLE, Applied Scientists, инженерам по GPU-ядрам и инфраструктурным инженерам по общим целям в области производительности.

• Оптимизировать эндпоинты LLM и VLM по задержке, пропускной способности, эффективности использования памяти, загрузке GPU, качеству и стоимости за токен.

• Развёртывать, настраивать, тестировать и расширять движки инференса, такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo или аналогичные системы.

• Создавать и выводить в production процессы сжатия моделей, включая quantization, quantization-aware training, distillation, low-bit сервинг и восстановление точности.

• Реализовывать или интегрировать speculative decoding, подходы с draft-моделями, оптимизацию KV-cache, prefix caching, chunked prefill, continuous batching и disaggregated prefill/decode сервинг.

• Создавать воспроизводимые бенчмарк-системы для TTFT, TPOT, токенов в секунду на GPU, задержки p95/p99, памяти GPU, надёжности и стоимости за токен.

• Работать вместе с инженерами по GPU-ядрам и платформенными инженерами над поиском узких мест на уровнях кода модели, ядер, рантайма, планировщика, шлюза и кластера.

• Писать понятные дизайн-документы, отчёты о производительности, планы раскатки и технические объяснения для клиентов.

• Сильные инженерные навыки в Python и PyTorch.

• Практический опыт развёртывания или оптимизации систем инференса LLM, VLM или высокопроизводительных transformer-моделей.

• Практическое знание как минимум одного современного стека инференса, например vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентных внутренних систем.

• Глубокое понимание узких мест инференса transformer-моделей, включая KV cache, attention, пропускную способность памяти, батчинг, параллелизм и сервинг с длинным контекстом.

• Умение количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, загрузкой и стоимостью.

• Сильные коммуникативные навыки и умение сотрудничать с командами research, kernel, инфраструктуры, продукта и работы с клиентами.

• Опыт работы с quantization-aware training, post-training quantization, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant или смежными техниками.

• Опыт работы с distillation, speculative decoding, EAGLE, Medusa, multi-token prediction или другими методами ускорения инференса.

• Опыт работы с agentic-нагрузками, включая tool calling, structured outputs, streaming API, высокую конкурентность и многошаговую оркестрацию.

• Знакомство с CUDA или Triton, даже если роль не является преимущественно ролью kernel-инженера.

• Вклад в open-source проекты vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe или смежные проекты.

Преимущества и бонусы:

• Конкурентная компенсация

• Карьерный рост и возможности для обучения

• Гибкость и самостоятельность

• Культура сотрудничества и инноваций

• Возможность работать над значимыми AI-проектами

• Международная среда и талантливые команды

Каково работать в Nebius:

Высокий темп - Смелое мышление - Постоянный рост - Значимое влияние - Доверие и реальная ответственность - Возможность формировать будущее AI

Заявление о равных возможностях:

Nebius — работодатель, обеспечивающий равные возможности. Мы стремимся поддерживать инклюзивную и разнообразную рабочую среду и обеспечивать равные возможности трудоустройства во всех аспектах занятости. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, родословной, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или её выражения, а также по любому другому признаку, защищённому применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и от них потребуется предоставить подтверждение права на трудоустройство как условие найма.