Senior Software Developer: Models Team (Token Factory)

Команда Models отвечает за интеграцию передовых (SOTA) open‑source моделей в Nebius TokenFactory, включая модели такие как DeepSeek V4 Pro, GLM 5.1, Kimi K2.6 и Minimax M2.7. Основное внимание команды уделяется эффективному и надёжному обслуживанию крупномасштабных AI‑моделей в продакшн.

• Маршрутизация с учётом кэша
• Развёртывание с учётом NUMA
• Выгрузка KV‑cache
• Дисагрегированные архитектуры обслуживания
• Автоскейлинг с быстрым загрузкой моделей через InfiniBand / RoCE
• Поддержка и расширение форков ведущих фреймворков инференса, таких как vLLM и TRT‑LLM
• Создание фреймворков тестирования производительности, качества и дымовых тестов
• Оптимизация гиперпараметров конфигураций инференс‑фреймворков
• Разработка систем обнаружения бессмыслицы
• Создание автоматизированных конвейеров развертывания обновлений инференс‑фреймворков
• Реализация средств диагностики и наблюдаемости
• Создание систем воспроизведения трафика
• Автоматизация поиска оптимальных конфигураций безсерверного развертывания

• Опыт обслуживания LLM в продакшн
• Сильные навыки программирования на Python и/или Go
• Опыт проектирования и эксплуатации высокомасштабируемых, высокодоступных распределённых сервисов

• Вклад в open‑source проекты vLLM, SGLang, TRT‑LLM или экосистему NVIDIA
• Глубокое понимание управления KV‑cache, спекулятивного декодирования и квантизации
• Опыт работы с фреймворками оценки LLM
• Практический опыт бенчмаркинга производительности и её оптимизации
• Глубокое понимание Kubernetes
• Знакомство с распределёнными архитектурами обслуживания и автоскейлингом
• Знание InfiniBand, RoCE или высокопроизводительных сетей

• Конкурентоспособная компенсация
• Возможности карьерного роста и обучения
• Гибкость и автономия
• Сотрудничественная и инновационная культура
• Возможность работать над значимыми AI‑проектами
• Международная среда и талантливые команды
• Быстрое развитие — Смелое мышление — Постоянный рост — Значимое влияние — Доверие и реальная автономия — Возможность формировать будущее AI
• Заявление о равных возможностях: Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и обеспечению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.
• Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.
• Если вам нужны приспособления в процессе подачи заявки, пожалуйста, дайте нам знать.