Senior Machine Learning Engineer, Model Training and Reinforcement Learning

Роль

Nebius Token Factory разрабатывает возможности AI‑обучения и пост‑обучения моделей для улучшения передовых моделей. Эта роль отвечает за инфраструктуру, которая делает возможными, надёжными, воспроизводимыми и эффективными крупномасштабные обучения и эксперименты RL. Работа находится на стыке распределённых систем, производительности GPU, фреймворков обучения моделей, RL‑конвейеров и инженерии продакшн.

Senior Machine Learning Engineer отвечает за значительные задачи ML от начала до конца. Он может превратить неопределённую цель в конкретные эксперименты, реализовать и отладить рецепты обучения и RL, построить поддерживающие данные и системы, а также достичь измеримых улучшений качества модели, пропускной способности экспериментов и надёжности. Он глубоко погружён в практику и может самостоятельно отлаживать как сбои поведения модели, так и сбои распределённого обучения.

Ваши обязанности:

• Проектировать и проводить эксперименты по обучению моделей и пост‑обучению, включая SFT, продолженное предобучение, оптимизацию предпочтений (DPO/IPO/KTO) и методы RL, такие как RLHF/RLAIF, PPO и GRPO.

• Создавать функции вознаграждения, модели‑судьи, верификаторы, среды задач и наборы оценок для рассуждений, программирования, использования инструментов и агентных рабочих процессов.

• Генерировать синтетические данные и конвейеры данных, включая обучение учитель‑ученик, самопроигрыш, отбор отклонений, фильтрацию и оценку качества.

• Анализировать сбои поведения модели и превращать их в целевые улучшения данных, вознаграждения или алгоритма.

• Создавать и поддерживать распределённую инфраструктуру обучения и RL, используя фреймворки такие как Megatron‑LM, DeepSpeed, PyTorch FSDP/DTensor, Ray, verl, slime, AReaL или OpenRLHF.

• Реализовывать и отлаживать стратегии параллелизма (тензорный, конвейерный, последовательный/контекстный, экспертный и параллелизм данных) и создавать надёжные компоненты развертывания, обслуживания вознаграждений, контрольных точек и оркестрации экспериментов.

• Профилировать и улучшать использование GPU, потребление памяти, эффективность коммуникаций, пропускную способность обучения и производительность инференса/обслуживания.

• Разрабатывать строгие оценки и абляции для возможностей, следования инструкциям, рассуждений, использования инструментов, безопасности и риска регрессии.

• Писать чёткие планы экспериментов, проектные документы, отчёты о бенчмарках и руководства, а также сотрудничать с исследовательскими и платформенными командами.

Обязательные требования:

• Сильные навыки разработки на Python и PyTorch, с возможностью быстро переходить от идеи к эксперименту к работающей системе.

• Практический опыт в как минимум двух из следующих областей: обучение моделей, пост‑обучение/RL, прикладное моделирование, конвейеры данных или крупномасштабные ML‑системы.

• Умение разрабатывать строгие эксперименты с базовыми линиями, абляциями, метриками и анализом сбоев.

• Практическое понимание поведения современных LLM, настройки инструкций, оптимизации предпочтений и проблем оценки.

• Практическое понимание узких мест обучения трансформеров, нагрузки на память, накладных расходов коммуникаций и контрольных точек.

• Способность количественно оценивать качество модели, пропускную способность, использование ресурсов, надёжность, стоимость и скорость исследований.

• Сильные коммуникативные навыки и способность сотрудничать с исследователями, инженерами и руководством.

Желательные навыки:

• Опыт в пост‑обучении LLM, RL, агентах, моделировании вознаграждений, синтетических данных или оценке моделей.

• Опыт работы с RL‑фреймворками или конвейерами, такими как verl, slime, AReaL, OpenRLHF, TRL или кастомными системами PPO/GRPO/RLHF.

• Опыт работы с Megatron‑LM, DeepSpeed, PyTorch FSDP/DTensor, Ray, Slurm или Kubernetes на крупных GPU‑кластерах.

• Знакомство с NCCL, CUDA, Triton, Nsight, InfiniBand/RDMA и кластерами H100/H200/B200, а также с обслуживанием моделей и оптимизацией инференса.

• Публикации, вклад в open‑source или производственное влияние в области пост‑обучения LLM, RL, рассуждений, моделей программирования, синтетических данных, распределённого обучения или оценки.

• Опыт разработки сред для агентов, задач использования инструментов или вознаграждений на основе верификаторов.

Ключевые льготы для сотрудников в США:

• Медицинская страховка: 100 % покрытие компанией медицинских, стоматологических и офтальмологических расходов для сотрудников и их семей.

• План 401(k): до 4 % матчинга от компании с мгновенным вестингом.

• Декретный отпуск: 20 недель оплачиваемого отпуска для основных опекунов, 12 недель для второстепенных опекунов.

• Возмещение расходов на удалённую работу: до $85 в месяц на мобильную связь и интернет.

• Страхование от инвалидности и жизни: компания покрывает краткосрочное, долгосрочное и страхование жизни.

Прозрачность оплаты

Мы предлагаем конкурентоспособные компенсационные пакеты. Фактическая компенсация будет определяться на основе факторов, связанных с работой, включая опыт, навыки, квалификации, уровень, на котором нанимается кандидат, и географическое расположение, в соответствии с применимым законодательством.

Диапазон базовой компенсации

$195,200—$262,200 USD

Льготы и привилегии:

• Конкурентоспособная оплата
• Возможности карьерного роста и обучения
• Гибкость и автономия
• Сотрудничество и инновационная культура
• Возможность работать над значимыми AI‑проектами
• Международная среда и талантливые команды

Каково работать в Nebius:

Быстрый темп — Смелое мышление — Постоянный рост — Значимое влияние — Доверие и реальная ответственность — Возможность формировать будущее AI

Заявление о равных возможностях:

Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и предоставлению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, предков, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить доказательство права на трудоустройство в качестве условия найма.

Если вам нужны условия доступа в процессе подачи заявки, пожалуйста, дайте нам знать.