Member of Technical Staff (AI Infrastructure Engineer)

Мы ищем AI Infra engineer, который присоединится к нашей растущей команде. Мы работаем с Kubernetes, Slurm, Python, C++, PyTorch и в основном на AWS. В роли AI Infrastructure Engineer вы будете тесно сотрудничать с нашими командами Inference и Research, чтобы создавать, развёртывать и оптимизировать наши крупномасштабные кластеры для обучения и инференса ИИ.

• Разрабатывать, развёртывать и поддерживать масштабируемые кластеры Kubernetes для инференса и обучения моделей ИИ
• Управлять и оптимизировать HPC‑окружения на базе Slurm для распределённого обучения больших языковых моделей
• Разрабатывать надёжные API и системы оркестрации как для конвейеров обучения, так и для сервисов инференса
• Внедрять системы планирования ресурсов и управления заданиями в разнородных вычислительных средах
• Проводить бенчмаркинг производительности системы, диагностировать узкие места и внедрять улучшения как в инфраструктуре обучения, так и инференса
• Создавать решения для мониторинга, оповещений и наблюдаемости, адаптированные к ML‑нагрузкам, работающим на Kubernetes и Slurm
• Быстро реагировать на сбои системы и сотрудничать с другими командами для поддержания высокого времени безотказной работы критических обучающих запусков и сервисов инференса
• Оптимизировать использование кластера и внедрять стратегии автоскейлинга для динамических требований нагрузки

Квалификации

• Глубокая экспертиза в администрировании Kubernetes, включая custom resource definitions, operators и управление кластером
• Практический опыт работы с управлением нагрузкой Slurm, включая планирование заданий, распределение ресурсов и оптимизацию кластера
• Опыт развертывания и управления распределёнными системами обучения в масштабе
• Глубокое понимание оркестрации контейнеров и архитектуры распределённых систем
• Высокий уровень знакомства с архитектурой LLM и процессами обучения (Multi-Head Attention, Multi/Grouped-Query, стратегии распределённого обучения)
• Опыт управления кластерами GPU и оптимизации использования вычислительных ресурсов

Требуемые навыки

• Экспертный уровень администрирования Kubernetes и управления конфигурациями YAML
• Профессиональное владение планированием заданий Slurm, управлением ресурсами и конфигурацией кластера
• Программирование на Python и C++ с упором на системную и инфраструктурную автоматизацию
• Практический опыт работы с ML‑фреймворками, такими как PyTorch, в контексте распределённого обучения
• Глубокое понимание сетей, хранилищ и управления вычислительными ресурсами для ML‑нагрузок
• Опыт разработки API и управления распределёнными системами как для пакетных, так и для реальных нагрузок
• Твёрдые навыки отладки и мониторинга с экспертизой в инструментах наблюдаемости для контейнеризованных сред

Требуемый опыт

• Подтверждённый опыт управления крупномасштабными развертываниями Kubernetes в продакшн‑окружениях
• Доказанный послужной список в администрировании кластеров Slurm и управлении нагрузками HPC
• Предыдущие роли в SRE, DevOps или Platform Engineering с фокусом на инфраструктуре ML
• Опыт поддержки как длительных обучающих заданий, так и сервисов инференса с высокой доступностью
• В идеале, 3-5 лет релевантного опыта в развертывании систем ML с особым акцентом на оркестрацию кластеров и управление ресурсами

• Опыт работы с операторами Kubernetes и пользовательскими контроллерами для ML‑нагрузок
• Продвинутое администрирование Slurm, включая федерацию мульти‑кластеров и продвинутые политики планирования
• Знакомство с управлением кластерами GPU и оптимизацией CUDA
• Опыт работы с другими ML‑фреймворками, такими как TensorFlow, или библиотеками распределённого обучения
• Опыт работы в HPC‑окружениях, параллельных вычислениях и высокопроизводительных сетях
• Знание подхода инфраструктура как код (Terraform, Ansible) и практик GitOps
• Опыт работы с реестрами контейнеров, оптимизацией образов и многоэтапными сборками для ML‑нагрузок