Member of Technical Staff (AI Inference Engineer)

Что вы будете делать

Примеры реальной работы, которую выполняет команда:

• Поддержка новых моделей. Поддержка трансформерных моделей для поиска, генерации текста и мультимодальных моделей в нашей инфраструктуре вывода, от загрузки весов, планирования запросов и управления KV‑кешем до поддержки в API Gateway.
• Миграция GPU‑ядер в CuTe DSL. Перенос наших внутренних CUDA‑ядер в CuTe DSL от NVIDIA, чтобы они работали на GB200 сегодня и были переносимы на стойки Vera Rubin завтра.
• Rust‑нативный runtime обслуживания. Разработка нашего внутреннего сервера вывода на Rust для устранения всех проблем Python и выдерживания быстро растущего трафика.
• Оптимизация производительности. Профилирование и устранение узких мест от входящего сетевого трафика через непрерывное пакетирование и чередование GPU‑ядер.
• Надёжность и наблюдаемость. Создание дашбордов, оповещений и автоматического восстановления, чтобы мы ловили регрессии раньше пользователей. Реагирование на инциденты в продакшене и обучение на их основе.

Кого мы ищем

• Глубокий опыт программирования GPU и работы над производительностью (CUDA, Triton, CUTLASS или аналогичные). Любой другой опыт системного программирования будет плюсом.
• Вы понимаете современные архитектуры LLM и способны надёжно внедрять их в продакшн‑среду.
• Вы создавали и эксплуатировали распределённые системы в продакшене под реальной нагрузкой — желательно критически важные по производительности.
• Умение работать с разными языками и уровнями: Rust для runtime обслуживания, Python для кода моделей, CUDA/CuTeDSL для ядер.
• Вы берёте проблемы в свои руки от начала до конца. Вы можете прочитать исследовательскую статью в понедельник, написать ядро в среду и отладить инцидент в продакшене в пятницу.
• Самоорганизованность. Вы хорошо работаете в быстро меняющихся условиях, где путь вперёд не прописан.

Квалификации

• 3+ лет профессионального опыта разработки программного обеспечения с значимыми задачами в области ML‑вывода или высокопроизводительных систем.
• Знакомство хотя бы с одним фреймворком глубокого обучения (PyTorch, JAX, TensorFlow).
• Понимание архитектур GPU (иерархия памяти, планирование warp, тензорные ядра).
• Понимание распространённых архитектур LLM и техник оптимизации вывода (например, квантизация, спекулятивное декодирование, разъединение prefill‑decode).

Будет плюсом, если вы знакомы с

• Компиляторами ML и внутренними механизмами фреймворков: внутренности PyTorch, torch.compile, пользовательские операторы.
• Распределённой коммуникацией GPU: NCCL, NVLink, InfiniBand, библиотеки RDMA, параллелизм модели/тензора.
• Низкоточечной инференцией: квантизация INT8/FP8/FP4, обслуживание в смешанной точности.
• Инструментами профилирования и отладки: Nsight Compute/Systems, CUDA‑GDB, анализ PTX/SASS.
• Оркестрацией контейнеров: Kubernetes, планирование GPU, автоскейлинг нагрузок инференса.