MLOps Engineer - GPU Platform (Inference & Training)

Вы будете отвечать за GPU‑платформу, стоящую за нашими генеративными продуктами для видео/изображений — как за флотом инференса, обслуживающим продакшн‑трафик, так и за кластерами обучения, где создаются наши модели. Инфраструктура охватывает несколько провайдеров, оркестрируется с помощью Kubernetes на Talos Linux, управляемого Sidero Omni. Цель флота — >95 % загрузки GPU; каждый простой час GPU — это потраченные деньги. Вы будете тем, кто поддерживает быстрое обучение и дешёвый и предсказуемый инференс.

• Оптимизировать кластеры обучения: распределённое обучение в масштабе — настройка NCCL, состояние сети InfiniBand/RoCE, планирование с учётом топологии и размещения групп, пропускная способность GPU/сети, быстрое создание чекпоинтов, приостановка и восстановление задач. Делать так, чтобы каждый запуск обучения использовал оплаченный аппарат.
• Управлять жизненным циклом кластера Talos / Sidero Omni по всему GPU‑флоту: начальная загрузка узлов и обновления, драйверы GPU / NVIDIA GPU Operator / DCGM на неизменяемой ОС, развертывания без простоя.
• Эксплуатировать мульти‑провайдерный GPU‑флот: планирование ёмкости в регионах Nebius и пулах bare‑metal RTX Pro, эскалация аппаратных инцидентов к провайдерам, жизненный цикл узлов (триаж NotReady, ошибки XID, обновления драйверов).
• Управлять автоскейлингом инференса: масштабирование GPU‑потребителей на основе KEDA и очередей Kafka; планирование с учётом GPU; тёплые пулы и сокращение холодного старта; настройка спроса/предложения нашего собственного автоскейлера (higgscaler).
• GitOps для всего: ArgoCD мульти‑кластер (10+ кластеров из одного репозитория), Helm, Terraform (HCP). Нет вручную помеченных узлов, нет дрейфа консоли — если это не в git, этого не существует.
• Наблюдаемость и SLO: VictoriaMetrics/Logs/Traces, Prometheus, экспортеры DCGM; честные дашборды по загрузке, пропускной способности обучения, задержке очереди, стоимости за генерацию.
• Эффективность GPU как дисциплина: поиск простоя, несоответствия ёмкости/спроса, голодные очереди — наша платформа AIOps (Mycelium) автоматически фиксирует эти находки; вы закрываете цикл реальными исправлениями.
• Сотрудничать с ML‑инженерами по запускам обучения и развертыванию моделей (рантаймы, батчинг, размер памяти) и с ядром команды по AWS EKS (Karpenter, Istio, Bottlerocket, gVisor sandboxes).

• 3+ лет работы с продакшн‑Kubernetes в роли SRE/Platform/MLOps, включая GPU‑нагрузки.
• Практический опыт распределённых операций обучения: NCCL, высокоскоростные соединения (InfiniBand/RoCE), планирование задач на нескольких узлах, стратегии чекпоинтов — и привычка измерять пропускную способность до и после каждого изменения.
• Опыт работы с bare‑metal Kubernetes: Talos или аналогичные неизменяемые ОС; жизненный цикл узлов без облачной «страховки».
• Стек NVIDIA: драйверы, container toolkit, GPU Operator, метрики DCGM; вы можете отлаживать «GPU виден, но не выделяется» в 3 am.
• Владение GitOps (ArgoCD/Flux + Helm) и Terraform; сильные навыки Linux и сетей (мульти‑кластеры, топологии VPN/TGW).
• Автоскейлинг на основе очередей (KEDA/HPA) и достаточный опыт работы с Kafka для анализа отставания потребителей.
• Python или Go для автоматизации; вы фиксируете всё в коде.

• Программирование на C++ и CUDA: пользовательские ядра, настройка памяти/заполнения, профилирование с Nsight Systems/Compute.
• Sidero Omni в продакшн; мульти‑провайдерные GPU‑облака (Nebius, CoreWeave, Lambda).
• Инференс‑рантаймы (Triton, vLLM, TensorRT) и экономика батчинга.
• FinOps для GPU‑флотов: стоимость за генерацию, планирование обязательств.
• Опыт создания внутренних платформ или инструментов AIOps.

• Конкурентная базовая зарплата в USD
• Акции: участие в программе опционов компании, дающей возможность разделить долгосрочный рост компании.
• Офис в Алматы (мы поможем с переездом из любой точки).