Senior Data Platform Engineer — Kafka & PostgreSQL

Мы ищем опытного Senior Data Platform Engineer, который будет отвечать за поток событий, транзакционную базу данных и пользовательскую связующую инфраструктуру, поддерживающую платформу k0rdent‑ai — наш многопользовательский контрольный слой для корпоративной GPU‑инфраструктуры.

• Гибридная архитектура баз данных: проектировать, развёртывать и эксплуатировать высокодоступные топологии Open Source PostgreSQL (через CloudNativePG в Kubernetes и нативные топологии в стиле Patroni на bare metal) и распределённые кластеры Apache Kafka (через Strimzi) как в контейнерных Kubernetes‑средах, так и на высокопроизводительном bare metal‑оборудовании.
• Разработка пользовательских клиентов и коннекторов: писать пользовательские, корпоративного уровня open‑source Kafka‑клиенты, отдельные сервисы‑коннекторы и утилитные библиотеки с нуля, предпочтительно на Go (Golang), расширяя возможности работы с данными там, где готовые инструменты не справляются.
• Интеграция корпоративной идентификации и данных: проектировать и строить системные интеграции, соединяющие аутентификацию PostgreSQL и политику строковой безопасности (RLS) с корпоративными провайдерами Active Directory (AD), LDAP и OIDC — через слои сопоставления ролей и контекста сессии (например, сопоставленные роли Postgres, JWT‑клеймы, используемые в политиках RLS), а не через прямое соединение.
• Транзакционная архитектура и CDC: масштабировать высокопроизводительные конвейеры Change Data Capture (CDC) через Debezium и Kafka Connect. Внедрять устойчивые архитектурные паттерны для поддержания абсолютной целостности данных между базами и топиками без риска двойной записи.
• Устойчивость к сбоям в разных регионах и восстановление после катастроф: проектировать и эксплуатировать оркестрацию переключения и восстановления после катастроф в разных регионах для PostgreSQL и Kafka — включая топологии репликации (синхронные vs. асинхронные компромиссы), предотвращение split‑brain через кворум/механизмы witness и чётко определённые цели RPO/RTO при полной потере региона или кластера, а не только отдельного узла.
• Тюнинг PostgreSQL и инфраструктуры: оптимизировать экземпляры PostgreSQL для интенсивного ввода и операций без простоя. Настраивать Write‑Ahead Logs (WAL), потоки логической репликации, пул соединений (PgBouncer) и конфигурировать базовые примитивы Kubernetes (CSI‑хранилища и CNI‑сетевые пути) для устранения задержек репликации и лишней межузловой латентности.
• GitOps и самообслуживание платформы: поддерживать строго декларативную культуру инфраструктуры как кода (IaC) с использованием Terraform и ArgoCD, создавая самообслуживаемые рабочие процессы, позволяющие внутренним продуктовым командам безопасно provision‑ить базы данных, топики, схемы и ACL через код.
• Безопасность и изоляция: внедрять строгую многопользовательскую изоляцию, сочетая строковую безопасность (RLS) на уровне базы данных с CNI‑сетевыми политиками, mTLS и RBAC на уровне топиков Kafka.

• Платформенный опыт: более 10 лет в системной, программной, дата‑ или платформенной инженерии, с подтверждённым опытом владения крупномасштабной, критически важной инфраструктурой данных.
• Программирование: Go (Golang) или аналогичные инженерные навыки — уверенно писать чистый, конкурентный системный код, создавать пользовательские клиентские библиотеки и напрямую взаимодействовать с API баз данных/сетей.
• Экспертиза Open Source PostgreSQL: более 5 лет управления нативным PostgreSQL. Глубокие знания внутренней архитектуры базы (WAL‑потоки, логическая репликация, публикации/подписки и архитектуры соединений) как в Kubernetes‑stateful средах, так и на физических bare metal‑узлах.
• Производственный PostgreSQL в Kubernetes: практический опыт эксплуатации PostgreSQL в Kubernetes через зрелый оператор PostgreSQL — предпочтительно CloudNativePG (CNPG), но приемлем опыт с оператором Zalando's postgres‑operator или аналогичным.
• Производственный Kafka: сильный опыт управления Apache Kafka в масштабе в Kubernetes через декларативный оператор — предпочтительно Strimzi, но приемлем опыт с Confluent for Kubernetes, Koperator или аналогичным.
• Пользовательское перемещение данных и CDC: подтверждённый опыт настройки конвейеров Kafka Connect и Debezium. Опыт написания или вклада в open‑source коннекторы баз данных, клиентские библиотеки Kafka или интеграционные фреймворки.
• Корпоративные планы идентификации: практический опыт построения интеграций, соединяющих распределённые системы с корпоративным IAM/SSO‑провайдером — Active Directory, LDAP, Okta, Azure AD или generic OIDC‑провайдером.
• Kubernetes и облачная инфраструктура: сильное понимание примитивов K8s (жизненный цикл Pod‑ов, Operators, CSI‑слои хранения, CNI‑маршрутизация), подкреплённое производственным опытом в AWS или GCP.

• Опыт проектирования и эксплуатации оркестрации восстановления после катастроф и переключения в разных регионах для stateful‑систем (Postgres и/или Kafka), включая предотвращение split‑brain и принятие решений по компромиссам RPO/RTO.
• Активные вклады в open‑source Kafka‑коннекторы, операторы PostgreSQL (например, CloudNativePG, Zalando) или библиотеки баз данных на Go.
• Опыт управления схемами для потоков событий (например, Karapace или Confluent Schema Registry) и управления режимами совместимости для эволюции контрактов событий.
• Знакомство с высококардинальной телеметрией через Apache Flink или Kafka Streams.
• Знакомство с американскими корпоративными стандартами соответствия (SOC 2, ISO 27001).
• Практические знания open‑source Redis (кеширование, pub/sub или как лёгкое хранилище данных) — большой плюс.
• Практические знания open‑source MongoDB (моделирование документов, репликация, шардинг) — большой плюс.

• Работа с признанным лидером из Силиконовой долины в индустрии облачной инфраструктуры;
• Работа с чрезвычайно увлечёнными, талантливыми и открытыми коллегами, помогающими клиентам из Fortune 500 и Global 2000 внедрять технологии следующего поколения;
• Участие в передовых open‑source инновациях;
• Возможность процветать в энергичной среде молодой компании, где ценятся открытость, сотрудничество, готовность к риску и постоянный рост;
• Профессиональное развитие и обучение;
• Посещение конференций и рабочих групп;
• Корпоративные мероприятия, happy hours, хакатоны и технические доклады;
• Конкурентный компенсационный пакет с сильным планом льгот.