Infrastructure Engineer (Kafka)

Мы ищем Infrastructure Engineer (Kafka), который будет отвечать за парк Kafka и его эксплуатацию в составе событийно-ориентированной интеграционной платформы, включая инфраструктуру сборки, развёртывания и мониторинга.

• Отвечать за парк Kafka — проектирование топиков и стандарты именования, стратегию партиционирования и выбора ключей, репликацию, политики хранения и compaction, управление группами потребителей и offset'ами, квоты, а также конфигурацию и обновления брокеров.

• Обеспечивать устойчивость и надёжность платформы — поддерживать доступность интеграционной платформы, когда SaaS-платформа вышестоящего вендора работает с перебоями или недоступна, справляться со скачками трафика без перегрузки платформы и обеспечивать возможность повторного воспроизведения и аудита событий за счёт правильно рассчитанной, настроенной и эксплуатируемой инфраструктуры Kafka.

• На практике реализовывать гарантии доставки платформы: семантики at-least-once и exactly-once, идемпотентные продюсеры, транзакционные записи там, где это оправдано, dead-letter топики и инструменты самообслуживания для replay, позволяющие восстанавливаться после сбоев в нижестоящих системах.

• Выстраивать наблюдаемость стриминга: мониторинг consumer lag, глубины очередей, пропускной способности и ребалансировок; сквозную трассировку по correlation ID между топиками; дашборды, целевые уровни обслуживания (SLO) и алертинг.

• Планировать ёмкость, стоимость и сроки хранения для долговечного лога с нормативными требованиями к срокам хранения для аудита и настраивать его по мере роста использования в компании.

• Оценивать и интегрировать нативные для вендора механизмы стриминга и change-data-capture по мере развития входящих и исходящих путей платформы.

• Отвечать за конвейер сборки и релизов и развивать его — автоматизированные пайплайны Jenkins, создающие пакеты для установки приложений под несколько поколений корпоративного Linux, подписанные образы контейнеров и сгенерированную документацию, которые продвигаются через внутренние сервисы распространения артефактов и образов.

• Эксплуатировать рабочую инфраструктуру: контейнеризованные развёртывания, хосты интеграционных шлюзов и непрерывную модернизацию операционных систем в этой инфраструктуре.

• Проектировать инфраструктуру, обеспечивающую устойчивость и непрерывность работы платформы: обнаружение проблем с работоспособностью, circuit breaking, а также сверку и мониторинг, подтверждающие, что платформа корректно восстанавливается, когда платформа вышестоящего вендора работает с перебоями или недоступна.

• Автоматизировать подготовку и настройку окружений и поддерживать конфигурационный и реестр активов как реальный единый источник достоверных данных.

• Сотрудничать с Python-разработчиками команды (squad) по вопросам развёртываемости, производительности и стоимости; участвовать в управлении изменениями и поддержке production.

Обязательные требования: 4+ года практического опыта работы с Kafka в production, уверенное владение скриптингом на Linux и Python, CI/CD, Docker или Podman, infrastructure-as-code и хорошие коммуникативные навыки на английском языке.

• Глубокий практический опыт работы с Kafka в production не менее 4+ лет — это ключевое требование. Проектирование топиков и партиций, механика групп потребителей, хранение и compaction, репликация, настройка производительности, диагностика lag, ребалансировок и сбоев доставки под нагрузкой.

• Практическое понимание семантик доставки в событийно-ориентированных системах: at-least-once против exactly-once, идемпотентность, гарантии порядка, обработка dead-letter и replay.

• Сильная инженерная подготовка и автоматизация в корпоративном Linux — скриптинг на shell и Python.

• Ответственность за CI/CD пайплайны, в идеале декларативные пайплайны Jenkins, с реальным опытом управления артефактами и релизами.

• Контейнеры — Docker или Podman, образы OCI — и платформы оркестрации контейнеров.

• Infrastructure-as-code и управление конфигурацией.

• Инструменты наблюдаемости: агрегация логов, метрики, алертинг и определение SLO.

• Разработка с помощью GenAI — вы активно используете AI-агентов для написания кода в повседневной работе или явно стремитесь начать их использовать. Мы автоматизируем и строим продукты с помощью этих инструментов во всей команде (squad) и ожидаем, что каждый свободно ими владеет.

• Сети, TLS, управление секретами и корпоративная аутентификация (OAuth2).

• Продакшен-мышление в эксплуатации: реагирование на инциденты, планирование ёмкости и контроль изменений.

• Хорошие письменные и устные коммуникативные навыки, работа с глобальной командой.

• Уровень английского Upper-intermediate.

• Глубокое знание экосистемы Kafka: Kafka Connect, Schema Registry, Kafka Streams, MirrorMaker или управляемые сервисы Kafka.

• Паттерны и инструменты change-data-capture.

• Инфраструктура, поддерживающая крупные коммерческие SaaS-платформы, включая серверы интеграционных шлюзов или коннекторов.

• Распространение пакетов и артефактов в масштабах предприятия.

• Опыт работы в регулируемой среде — срок хранения для аудита, классификация данных, формальное управление сборкой и эксплуатацией.

• Kubernetes; проектирование multi-region и высокой доступности.

• Безграничный рост: развивайте навыки с помощью менторства, внутренних TechTalks, сложных проектов и выделенного ежегодного бюджета на обучение

• Конкурентная компенсация: получайте признание, отражающее ваши навыки и вклад, с регулярными пересмотрами результатов работы и компенсации

• Гибкость: работайте на 100% удалённо с гибким графиком, который помогает сосредоточиться, быть самостоятельным и поддерживать здоровый ритм работы

• Значимые современные проекты: создавайте влиятельные продукты на современных технологиях вместе с глобальными командами и ведущими брендами

• Культура сотрудничества: присоединяйтесь к поддерживающей среде без микроменеджмента, где приветствуются идеи и ценится вклад каждого

• Благополучие и поддержка: получайте доступ к локальным программам благополучия и поддержке, ориентированной на людей и адаптированной к вашей локации