Staff Site Reliability Engineer — AI Platform

Хотите формировать архитектуру AI‑платформы с первого дня, а не просто поддерживать то, что построил кто‑то другой?

Manychat предоставляет AI‑функции для бизнесов по всему миру, и мы ищем SRE, который будет отвечать за надёжность, производительность и стоимость этой AI‑инфраструктуры, а также поднимет планку того, как вся наша инженерная организация строит решения на основе LLM.

Это не классическая роль SRE с небольшим добавлением ИИ. Нам нужен человек, погружённый в AI: вы уже понимаете, как современные LLM‑системы ведут себя в продакшене, такие вещи как пропускная способность токенов, ограничения провайдеров, ухудшение качества модели и хвосты задержек инференса, и рассматриваете всё это как первоклассную задачу надёжности, а не как второстепенный аспект.

• Владеть надёжностью и производительностью нашей AI‑инфраструктуры: AI Gateway, сервисы инференса и интеграции с Amazon Bedrock, Azure OpenAI и другими провайдерами LLM.
• Проектировать и развивать AI Gateway: маршрутизация, переключение между провайдерами, ограничение скорости, кэширование и защитные механизмы.
• Создавать наблюдаемость для AI‑систем: SLO по задержке/пропускной способности/ошибкам для каждой модели и провайдера, метрики на уровне токенов, сигналы качества и дрейфа.
• Управлять оптимизацией затрат и FinOps для AI‑нагрузок: видимость затрат по функциям, правильный подбор размеров моделей, стратегии кэширования, микс провайдеров.
• Проводить планирование ёмкости и реагирование на инциденты для сервисов инференса; писать и улучшать runbook‑и и постмортемы.
• Расширять экспертизу AI по всей организации: задавать стандарты, проверять проекты и наставлять команды, выпускающие функции на базе LLM.

• 5+ лет в SRE / platform / infrastructure engineering, включая владение продакшеном на значительном масштабе.
• Практический опыт эксплуатации систем на базе LLM в продакшене: API провайдеров (Bedrock, OpenAI, Anthropic или аналогичные), конвейеры инференса, самостоятельный или управляемый сервис моделей.
• Глубокий опыт cloud‑native: AWS, Kubernetes, Terraform/IaC, CI/CD.
• Сильные навыки наблюдаемости (Prometheus/Grafana, OpenTelemetry или эквивалент) и опыт определения SLO для недетерминированных систем.
• Доказанный опыт оптимизации затрат: вы можете показать, где сократили расходы на облако или инференс и как сделали их видимыми.
• Влияние уровня Staff: вы задавали техническое направление за пределами своей команды и вовлекали других.

• Опыт создания или эксплуатации LLM‑gateway/proxy (например, LiteLLM, Kong AI Gateway, кастомный).
• Опыт оптимизации GPU‑нагрузок, квантизации или фреймворков сервинга (vLLM, TGI, Triton).
• Опыт построения пайплайнов оценки и мониторинга качества вывода LLM.

• 🌍 Гибридный онбординг: начать работу удалённо и поддержка переезда для вас и вашей семьи.
• 💙 Комплексное медицинское страхование для вас и вашей семьи.
• 📚 Бюджет на профессиональное развитие: билеты на конференции, онлайн‑курсы и другие релевантные ресурсы для вашего роста.
• 🫶 Гибкий пакет льгот: здесь нет «один размер подходит всем». Вы получаете бюджет и решаете, куда его направить — от здоровья и благополучия до семьи и обустройства домашнего офиса.
• 🪴 Гибридный формат работы и щедрый, гибкий отпуск — планируется совместно с вашей командой, а не распределяется по жёсткой квоте.
• 🍽️ Преимущества в офисе, включая бесплатные обеды и закуски.
• 🤝 Спонсируемые компанией спортивные мероприятия, ежегодные выездные встречи и тим‑билдинги.
• 🤖 AI здесь не «плюшка» — это наш способ работы. Claude, OpenAI и другие включены по умолчанию с первого дня, и мы поддерживаем команды в использовании того, что делает их быстрее.

Manychat — работодатель, предоставляющий равные возможности. Мы привержены построению разнообразной и инклюзивной команды. Мы не дискриминируем квалифицированных сотрудников или соискателей по признаку расы, цвета кожи, религии, гендерной идентичности, пола, сексуальной ориентации, сексуальной идентичности, беременности, национального происхождения, ancestry, гражданства, возраста, семейного положения, физической или психической инвалидности, медицинского состояния, статуса в армии или любого другого признака, защищённого местным законодательством.

Это обязательство также отражено в опыте кандидатов. Если у вас есть индивидуальные потребности, которые могут потребовать приспособлений в процессе интервью, пожалуйста, укажите это в заявке. Мы сделаем всё возможное, чтобы предоставить поддержку на протяжении всего процесса интервью, чтобы вы были готовы к успеху.