Member of Technical Staff (AI Inference Engineer)

Мы ищем AI Inference Engineer для присоединения к нашей растущей команде.

• Поддержка новых моделей. Поддержка трансформерных моделей поиска, генерации текста и мультимодальных моделей в нашей инфраструктуре вывода, от загрузки весов, планирования запросов и управления KV‑кешем до поддержки в API Gateway.
• Миграция GPU‑ядер в CuTe DSL. Перенести наши собственные CUDA‑ядра в NVIDIA CuTe DSL, чтобы они работали на GB200 уже сегодня и были переносимы на стойки Vera Rubin завтра.
• Rust‑нативный runtime обслуживания. Разрабатывать наш внутренний сервер вывода на Rust, чтобы решить все проблемы Python и справиться с быстро растущим трафиком.
• Оптимизация производительности. Профилировать и устранять узкие места от входящего сетевого трафика через непрерывное пакетирование и чередование GPU‑ядер.
• Надёжность и наблюдаемость. Создавать дашборды, оповещения и автоматическое исправление, чтобы мы обнаруживали регрессии раньше пользователей. Реагировать на инциденты в продакшене и извлекать из них уроки.

• Глубокий опыт программирования GPU и работы над производительностью (CUDA, Triton, CUTLASS или аналогичные). Любой другой глубокий опыт системного программирования будет плюсом.
• Вы понимаете современные архитектуры LLM и способны надёжно внедрять их в продакшн‑окружение.
• Вы создавали и эксплуатировали распределённые системы в продакшене под реальной нагрузкой — желательно критически важные по производительности.
• Умение работать с разными языками и уровнями: Rust для runtime обслуживания, Python для кода моделей, CUDA/CuteDSL для ядер.
• Вы берёте проблему в свои руки от начала до конца. Вы можете прочитать исследовательскую статью в понедельник, написать ядро в среду и отладить инцидент в продакшене в пятницу.
• Самоорганизованность. Вы хорошо работаете в быстро меняющихся условиях, где путь вперёд не прописан заранее.

• Компиляторы ML и внутренности фреймворков: внутренности PyTorch, torch.compile, пользовательские операторы.
• Распределённая коммуникация GPU: NCCL, NVLink, InfiniBand, библиотеки RDMA, параллелизм модели/тензора.
• Низкоточечный вывод: квантизация INT8/FP8/FP4, смешанная точность обслуживания.
• Инструменты профилирования и отладки: Nsight Compute/Systems, CUDA‑GDB, анализ PTX/SASS.
• Оркестрация контейнеров: Kubernetes, планирование GPU, автоскейлинг нагрузок вывода.

Конечные суммы предложений определяются множеством факторов, включая опыт и экспертизу.

Equity: В дополнение к базовой зарплате, доля в компании может быть частью общего пакета компенсации.