ML Engineer, Inference and Serving

Мы ищем опытного ML Engineer, который поможет создавать, развёртывать и оптимизировать системы машинного обучения в продакшене. В этой роли вы будете сосредоточены на обслуживании моделей, производительности инференса и масштабируемом развертывании больших языковых моделей, тесно сотрудничая с командами платформы и инфраструктуры для поставки надёжных и эффективных AI‑решений.

• Проектировать, развёртывать и оптимизировать системы инференса больших языковых моделей (LLM) для продакшен‑окружений.

• Оценивать, проводить бенчмарки и улучшать производительность сервиса по метрикам задержки, пропускной способности, использованию памяти и экономической эффективности.

• Реализовывать и оптимизировать решения для обслуживания моделей с использованием фреймворков таких как vLLM, TensorRT-LLM, SGLang, Triton Inference Server или аналогичных технологий.

• Разрабатывать и поддерживать рабочие процессы конвертации, развертывания и оценки моделей на всём стеке инференса.

• Применять и валидировать техники квантизации для повышения производительности при сохранении качества модели.

• Профилировать нагрузки GPU, выявлять узкие места и добиваться улучшений производительности с помощью отраслевых инструментов наблюдаемости и профилирования.

• Сотрудничать с командами Platform, Infrastructure и Product Engineering для развёртывания и эксплуатации масштабируемых AI‑сервисов.

• Вносить вклад в архитектурные решения, связанные с распределённым инференсом, обслуживанием моделей, стратегиями кэширования и использованием ресурсов.

• Повышать надёжность, мониторинг и операционную эффективность продакшен‑систем инференса.

• Оставаться в курсе новых достижений в обслуживании LLM, оптимизации инференса и технологиях AI‑инфраструктуры, а также помогать оценивать их внедрение.

• 3+ лет опыта в ML‑инженерии, сосредоточенном на развертывании моделей и инференсе, а не в основном на обучении моделей или разработке LLM на уровне приложений.

• Ответственность за продакшен‑эксплуатацию как минимум двух из vLLM, SGLang или TensorRT-LLM под реальным трафиком, включая опыт диагностики и решения проблем конфигурации и производительности.

• Глубокое понимание внутренних механизмов инференса LLM, включая attention, KV‑cache, prefill vs decode, режимы, ограниченные пропускной способностью памяти vs вычислительные, непрерывное батчирование и chunked prefill.

• Практический опыт спекулятивного декодирования в продакшене, включая подходы EAGLE-3, ngram, suffix или draft‑model, а также калибровку глубины драфта и коэффициента принятия в зависимости от конкуренции.

• Опыт обслуживания моделей Mixture-of-Experts (MoE), включая expert parallelism, attention data parallelism и их взаимодействие с tensor parallelism и ёмкостью KV.

• Опыт применения и валидации квантизации на продакшен‑моделях с использованием хотя бы одного из FP8, INT8, AWQ, GPTQ или MXFP4, включая измерение влияния на точность в дополнение к улучшениям пропускной способности.

• Понимание соответствия OpenAI chat‑completions на уровне движка, включая шаблоны чатов, парсеры вызовов инструментов и рассуждений, семантику стриминга, блоки использования и поведение отмены.

• Глубокое понимание методологии бенчмаркинга, включая TTFT, ITL, goodput, закрытый vs открытый цикл и пользователь‑центрированную нагрузку, с практическим опытом использования AIPerf, GenAI‑Perf или аналогичных инструментов.

• Опыт создания или эксплуатации инфраструктуры оценки точности и качества, такой как lm‑eval или аналогичной, для валидации квантизированных или спекулятивных вариантов против базовой линии.

• Опыт диагностики производительности GPU с помощью Nsight Systems, DCGM, nvidia‑smi и метрик движка, с возможностью исследовать и объяснять регрессии пропускной способности на основе данных наблюдаемости.

• Сильные навыки Python и практические знания PyTorch, форматов моделей Hugging Face, токенизаторов и шаблонов чатов.

• Глубокое понимание характеристик GPU‑аппаратуры, включая пропускную способность HBM vs вычисления, топологию NVLink и тензорные ядра, с практическим опытом работы с H100, L40S, классом B200 или аналогичными GPU.

• Опыт KV‑aware routing со стороны модели, включая llm‑d, Gateway API Inference Extension (InferencePool/EPP) или NVIDIA Dynamo disaggregated serving.

• Опыт эксплуатации кэширования префиксов, включая подходы block‑hash vs prefix‑tree и изоляцию в многопользовательской среде.

• Опыт обслуживания моделей embedding и reranking, включая пакеты из нескольких моделей с использованием Triton.

• Практический опыт работы с Triton Inference Server.

• Опыт многонодного tensor parallelism, включая настройку NCCL, RDMA, InfiniBand и GPUDirect.

• Практические знания Kubernetes и Helm, достаточные для чтения, отладки и изменения сгенерированных развертываний.

• Опыт обслуживания LoRA multi‑adapter.

• Опыт работы с процессами экспорта и компиляции моделей, включая ONNX и TensorRT.