Python Inference Engineer

В настоящее время мы ищем Python Inference Engineer для команды Edge Cloud&AI.

• Создавать и улучшать слой вывода (inference) платформы Gcore Inference.
• Интегрировать и эксплуатировать фреймворки вывода, такие как vLLM, SGLang, NVIDIA Dynamo и TensorRT-LLM.
• Выводить в продакшн новые языковые и мультимодальные модели.
• Улучшать задержку вывода, пропускную способность, использование памяти, загрузку GPU и эффективность затрат.
• Отлаживать проблемы производительности и надёжности в коде моделей, фреймворках вывода, выполнении на GPU, сетевых соединениях и Kubernetes.
• Сотрудничать с командами платформ, инфраструктуры, продукта и клиентского обслуживания, чтобы превратить улучшения вывода в надёжные функции продукта.
• При необходимости вносить улучшения в открытые проекты вывода.

• Более 5 лет опыта написания надёжного, хорошо протестированного производственного кода.
• Сильные навыки Python и опыт проектирования производственных систем.
• Практический опыт работы с PyTorch и развертывания моделей машинного обучения.
• Опыт работы с Linux, Docker и Kubernetes.
• Опыт в как минимум одной из областей: распределённые системы, вычисления на GPU, среды выполнения ML, оптимизация моделей или планирование кластера.
• Умение отлаживать сложные проблемы в программном обеспечении, инфраструктуре и аппаратуре.
• Сильное чувство опыта разработчика: вы думаете о том, как системы используются, а не только о том, как они работают.
• Искренний интерес к инженерии вывода. Прямой опыт с движками вывода не обязателен, но вы должны быть мотивированы учиться.
• Хорошие навыки коммуникации и совместной работы.

• Опыт работы с vLLM, SGLang, NVIDIA Dynamo, TensorRT-LLM или аналогичным фреймворком вывода.
• Опыт запуска GPU‑нагрузок в продакшн.
• Знание техник вывода, таких как квантизация, непрерывное пакетирование, спекулятивное декодирование, кэширование префиксов, фрагментированное предварительное заполнение или обслуживание LoRA.
• Опыт работы с CUDA, Triton, TensorRT или другими инструментами программирования GPU.
• Опыт профилирования и улучшения задержки модели, пропускной способности, использования памяти или загрузки GPU.
• Опыт распределённого вывода, систем с несколькими GPU, планирования или автоскейлинга.
• Вклад в открытые проекты ML, вывода или инфраструктуры.

• Конкурентоспособная компенсация
• Гибкий график работы и гибридные или удалённые варианты, в зависимости от вашей роли
• Конкурентоспособная компенсация
• Возможность работать из любой точки мира до 45 дней в год
• Частная медицинская страховка для вас и вашей семьи*
• Дополнительные оплачиваемые дни отпуска и больничные*
• Поддержка важных жизненных моментов и праздников
• Курсы языков, помогающие вам общаться и развиваться
• Современные, приветливые офисы с закусками, напитками и развлечениями*
• Командные виды спорта и социальные мероприятия*

*Преимущества могут различаться в зависимости от вашего местоположения.

Работодатель, предоставляющий равные возможности

Мы предоставляем равные возможности всем соискателям независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, возраста, гендерной идентичности, гендерного выражения, национального происхождения, инвалидности или любых других законодательно защищённых характеристик.