Senior ML Engineer (Token Factory)

Роль

Token Factory — часть Nebius Cloud, одного из крупнейших в мире GPU‑облаков, работающего с десятками тысяч GPU. Мы создаём высокопроизводительную платформу инференса и дообучения, предназначенную для вывода фундаментальных моделей на предельные возможности аппаратного обеспечения. Наша миссия — максимизировать пропускную способность, минимизировать задержку и оптимизировать стоимость‑за‑токен на десятках тысяч GPU.

Некоторые направления, над которыми мы сейчас работаем, и в которых вы можете принять участие:

• Оптимизация инференса: выявление узких мест инференса LLM для ускорения в продакшн. Выжать максимальную производительность для широкого спектра архитектур LLM в масштабе (например, GPT‑OSS, Kimi K2.5, DeepSeek V3.1/V3.2, GLM‑5).

• Поддержка движков инференса: реализовать новые архитектуры спекулятивного декодирования, оптимизировать компоненты различных дизайнов LLM (dense/MoE, autoregressive/parallel) и внести вклад в открытые движки инференса.

• Обучение и инференс с низкой точностью: разработать и вывести в продакшн конвейеры обучения и инференса с низкой точностью (FP8, NVFP4/MXFP4) с измеримыми улучшениями пропускной способности и экономичности.

Мы ожидаем от вас:

• Глубокое понимание теоретических основ машинного обучения и архитектуры трансформеров.

• Опыт профилирования GPU‑нагрузок с использованием Nsight, PyTorch profiler или аналогичных инструментов.

• Понимание иерархии памяти GPU и компромиссов между вычислениями и памятью.

• Знакомство с ключевыми идеями в области LLM, такими как MHA, RoPE, KV‑cache, Flash Attention и квантизация.

• Понимание аспектов производительности при обучении больших нейронных сетей (стратегии шардинга, пользовательские ядра, особенности аппаратного обеспечения и т.д.).

• Сильные навыки программной инженерии (мы в основном используем Python).

• Глубокий опыт работы с современными фреймворками глубокого обучения.

• Владение современными подходами к разработке программного обеспечения, включая CI/CD, системы контроля версий и модульное тестирование.

• Сильные коммуникативные и лидерские способности.

Будет плюсом:

• Опыт работы с открытыми движками инференса (vLLM, SGLang, TensorRT-LLM), включая вклад в их развитие.

• Опыт работы с языками ядра или DSL, такими как Triton, Cute, CUTLASS, CUDA.

• Наличие успешных проектов по созданию и поставке продуктов (не обязательно связанных с ML) в динамичной стартап‑подобной среде.

• Сильные инженерные навыки, включая опыт разработки крупных распределённых систем или высоконагруженных веб‑сервисов.

• Открытые проекты, демонстрирующие ваш инженерный талант.

• Отличное владение английским языком, а также превосходные навыки письма, формулировки мыслей и коммуникации.

Плюшки и привилегии:

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и автономия

• Коллаборативная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

Каково работать в Nebius:

Быстрое развитие — Смелое мышление — Постоянный рост — Значимое влияние — Доверие и реальная ответственность — Возможность формировать будущее AI

Заявление о равных возможностях:

Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, а также по любому другому признаку, защищённому применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам нужны условия для участия в процессе подачи заявки, пожалуйста, дайте нам знать.