MLOps Engineer, ML Platform and Delivery

Мы ищем опытного MLOps Engineer для создания и эксплуатации инфраструктуры, которая поддерживает производственные задачи машинного обучения и LLM в Firebird AI.

В этой роли вы будете отвечать за развертывание, надежность, масштабируемость и наблюдаемость GPU‑based AI сервисов в средах Kubernetes. Вы будете работать на стыке машинного обучения, инфраструктуры и платформенной инженерии, создавая системы, позволяющие командам ML и продуктовым командам надежно развертывать и эксплуатировать модели в масштабе.

Вы будете тесно сотрудничать с командами ML Engineering, Platform и Infrastructure для повышения эффективности использования GPU, автоматизации развертываний, оптимизации инфраструктуры инференса и обеспечения надежности и производительности производственных AI сервисов.

• Создавать, эксплуатировать и постоянно улучшать инфраструктуру на базе Kubernetes для производственных GPU и задач машинного обучения.

• Проектировать и поддерживать масштабируемые шаблоны развертывания для LLM inference и других AI сервисов.

• Отвечать за CI/CD конвейеры, автоматизацию развертываний, Helm charts и конфигурацию инфраструктуры для ML сервисов.

• Проектировать наблюдаемость на уровнях model serving, gateway, инфраструктуры и pipeline с использованием Prometheus, Grafana, Alertmanager и сопутствующих инструментов.

• Определять и поддерживать производственные метрики, SLO, дашборды и стратегии оповещений.

• Оптимизировать планирование задач, использование GPU, автоскейлинг, маршрутизацию трафика, батчинг и распределение ресурсов.

• Создавать и эксплуатировать stateful сервисы, поддерживающие ML платформу, включая Kafka, Redis, ClickHouse и PostgreSQL.

• Реализовывать надежные стратегии управления трафиком, включая балансировку нагрузки, canary‑развертывания, shadow‑трафик и маршрутизацию с учётом кэша.

• Улучшать производительность сборки и развертывания контейнеров, включая размер образа, время холодного старта, зависимости CUDA и воспроизводимость.

• Участвовать в дежурстве в продакшене, руководить реагированием на инциденты, проводить анализ корневых причин и внедрять долгосрочные корректирующие действия.

• Сотрудничать с ML инженерами по продакшн‑выпуску моделей и трансляции требований к обслуживанию в надежную инфраструктуру.

• Постоянно оценивать новые технологии в области GPU инфраструктуры, Kubernetes, LLM serving и инженерии ML платформы.

• 3+ лет опыта в MLOps, ML платформе, DevOps или SRE, с 2+ годами запуска GPU задач в продакшене.

• Kubernetes с особенностями GPU: device plugins, node selectors и taints, pool shapes, resource requests и limits, автоскейлинг (HPA/KEDA) включая глубину очереди движка.

• Авторинг Helm chart и их кастомизация как основной инструментарий; Terraform или аналог — плюс.

• Ответственность за CI/CD с GitHub Actions на self‑hosted runners; workflow, вызывающие идемпотентные скрипты, статические валидационные ворота на каждом PR.

• Наблюдаемость, спроектированная, а не унаследованная: Prometheus, Grafana, Alertmanager; определение метрик, SLO и правил оповещений для слоёв serving, gateway и pipeline.

• Эксплуатация stateful сервисов в Kubernetes: Kafka, Redis, ClickHouse, PostgreSQL, от однопользовательской конфигурации до продакшн‑топологии с резервными копиями и тестовым восстановлением.

• Маршрутизация трафика и оптимизация обслуживания — маршрутизация запросов между репликами, prefix/KV‑cache‑aware routing, балансировка нагрузки, политика батчинга, автоскейлинг по глубине очереди, canary и shadow split.

• Глубина Docker: multi‑stage builds, фиксированные upstream теги, размер образа, контроль холодного старта, базовые образы CUDA.

• Доказанный опыт дежурства в продакшене: владение инцидентами, написание постмортем, выпуск исправлений.

• Сильные навыки работы в shell и Python.

• Развёртывание bare‑metal или on‑prem GPU кластера: GPU operator, жизненный цикл драйверов, NVLink и InfiniBand, локальный реестр и объектное хранилище.

• Оркестрация мульти‑node инференса и его сетевое взаимодействие.

• Облачная GPU инфраструктура (Nebius, AWS, GCP или Azure): выбор инстансов, управление квотами и ёмкостью.

• Envoy Gateway или Envoy proxy и Gateway API: маршруты, политики, телеметрия access‑log.

• NVIDIA Dynamo operator: дисагрегированный prefill/decode, планировщик и конфигурация воркеров.

• AIPerf или GenAI‑Perf для генерации нагрузки в CI.

• Canary и shadow split трафика на шлюзе.

• Управление секретами, RBAC, NetworkPolicy, подпись и сканирование образов, безопасность цепочки поставок.

• Трекинг экспериментов и моделей: MLflow, Kubeflow или Metaflow.

• LLM‑aware маршрутизация запросов в продакшене: минимум один из Gateway API Inference Extension (InferencePool/EPP), llm‑d, NVIDIA Dynamo.

• Атрибуция стоимости GPU и оптимизация расходов (FinOps).

• Argo CD или Flux, если GitOps согласование заменяет ручные развертывания.

• MIG или time‑slicing.