Senior ML Engineer | Kimchi (LLM Inference Optimization)

Пропускная способность. Задержка. Использование KV‑кэша.

Переместите эти три показателя в нужное направление, и произойдёт два эффекта: клиенты получат более быструю и дешёвую инференцию, а наши маржи улучшатся. Это вся суть этой роли. Каждый настроенный ядро, каждая реализованная схема квантизации, каждое улучшение планировщика напрямую отражаются в p99 клиента и в нашем P&L. Это позиция с высоким влиянием. Она также предоставляет большую автономию, так как вам будет предоставлено пространство вести техническое направление оптимизации инференции в Kimchi, а не исполнять чужую дорожную карту.

The problem: запуск LLM в продакшене — это постоянно меняющаяся цель. «Правильная» модель и конфигурация сервиса для нагрузки зависят от формы трафика, распределения длины последовательностей, динамики батчей, GPU‑SKU, пропускной способности памяти, допуска квантизации и множества других переменных, которые меняются из недели в неделю. Большинство команд выбирают модель один раз, пере‑провизируют GPU и несут расходы. Kimchi — это система, которая принимает это решение автоматически, постоянно подбирая workloads к наиболее экономичному и производительному LLM и конфигурации сервиса на инфраструктуре клиента. Мы строим слой оптимизации между моделью и железом, и нам нужны инженеры, глубоко понимающие обе стороны.

Stack

Python; vLLM; SGLang; TensorRT-LLM; PyTorch; CUDA‑adjacent tooling; Kubernetes; gRP; ClickHouse; PostgreSQL; GCP Pub/Sub; AWS / GCP / Azure; GitLab CI; ArgoCD; Prometheus; Grafana; Loki; Tempo.

• Увеличить пропускную способность. Непрерывное батчинг, спекулятивный декодинг, кусочный предварительный ввод, настройка на уровне ядра в vLLM, SGLang и TensorRT-LLM. Найти потолок для каждого GPU‑SKU, затем поднять его.
• Сократить задержку. Работать над TTFT и TPOT отдельно. Профилировать, выявлять реальное узкое место (вычисления, пропускная способность памяти, планирование, сеть) и устранять его — а не то, которое предполагалось.
• Извлечь больше из KV‑кэша. Пейджинг внимания, кэширование префиксов, политики вытеснения, повторное использование кэша между запросами, квантизированный KV. Здесь сосредоточена большая часть нереализованной пропускной способности, и это область, за которую вы будете отвечать.
• Квантизировать без ухудшения качества. INT8, INT4, FP8 для весов, активаций и KV. Эмпирическая работа: измерять качество на реальных нагрузках, а не только на perplexity‑бенчмарках.
• Сократить холодные старты и объём памяти. Быстрее инициализировать, умнее загружать веса, точнее учитывать память — разница между масштабируемой моделью и той, что не масштабируется.
• Масштабировать по узлам. Распределённые топологии инференции, размещение с учётом сети, стратегии чекпоинтинга, не создающие узких мест в хранилище или межсоединениях.
• Задать техническое направление. Решать, что мы будем бенчмаркить, что принимать, а что разрабатывать самостоятельно. Вести команду с помощью сильных описаний и воспроизводимых экспериментов.

• 5+ лет разработки реальных ML‑систем, с портфолио, демонстрирующим глубину в инференс‑ или тренировочной инфраструктуре (не только ноутбуки с обучением моделей).
• Сильный Python — production‑services, а не скрипты.
• Практический опыт как минимум с одним из vLLM, SGLang или TensorRT-LLM и чёткое понимание, почему инференс‑движок работает так, как он работает на конкретном GPU.
• Свободное владение компромиссами квантизации — вы измеряли регрессии качества, а не только коэффициенты сжатия.
• Уверенность в распределённых системах: коллективная коммуникация, стратегии шардинга и практические сценарии отказов в мульти‑GPU и мульти‑узловых конфигурациях.
• Ориентированность на измерения. Вы инструментируете перед оптимизацией и умеете отличать реальный выигрыш от артефакта бенчмарка.
• Самоорганизация. Эта роль даёт широкие полномочия; вы должны быть вдохновлены этим, а не смущены.

• Конкурентоспособная зарплата (в зависимости от уровня опыта).
• Гибкая, удалённо‑ориентированная глобальная среда.
• Сотрудничество с глобальной командой облачных экспертов и новаторов, увлечённых расширением границ технологии Kubernetes.
• Опционы на акции.
• Быстрая обратная связь в динамичном рабочем процессе. Большинство проектов‑фич завершаются за 1‑4 недели.
• 10 % рабочего времени можно тратить на личные проекты или саморазвитие.
• Бюджет на обучение для профессионального и личного развития — включая доступ к международным конференциям и курсам, повышающим ваши навыки.
• Ежегодный хакатон для генерации новых идей и укрепления командного духа.
• Бюджет на тим‑билдинг и корпоративные мероприятия для общения с коллегами.
• Бюджет на оборудование, чтобы обеспечить всё необходимое.
• Дополнительные выходные для поддержания здорового баланса между работой и личной жизнью.

Hiring process

• Звонок‑скрининг с рекрутером
• Интервью с Hiring Manager
• Техническое интервью (system design)
• Live coding
• Интервью Culture Check с руководителем

As part of our standard hiring process, we would like to inform you that a background check may be conducted at the final stage of recruitment through our third-party provider, Checkr. Please note that Cast AI__does not__provide any form of visa sponsorship/work permit. #LI-Remote