Senior Data Engineer (Pipelines & Architecture)

• Возьмите потоковую конвейерную систему от проектирования до продакшна, а затем эксплуатируйте её примерно 5 ТБ/день.
• Перенесите агрегирование использования с устаревшей базы данных на новый потоковый путь, при этом всё, что находится ниже — счета, дашборды, отчёты — должно продолжать работать в процессе миграции.
• Спроектируйте слой хранения, который определяет стоимость системы, как события размещаются, партиционируются, хранятся и удаляются.
• Обеспечьте корректность ingest‑процесса при сбоях: повторные воспроизведения, дубли, поступления вне порядка и отложенные данные, появляющиеся после закрытия окна.
• Возьмите на себя слой агрегирования, из которого читают клиентские представления использования и внутренние отчёты, модели, определения метрик и гарантии их актуальности.
• Поддерживайте предсказуемую производительность на обоих концах системы — поток ingest‑данных и запросы аналитиков, по мере роста трафика.
• Автоматизируйте то, что сейчас делается вручную: изменения схем, отслеживаемые в коде, backfill‑ы и согласования как повторяемые задачи, без ад‑хок операций над продакшн‑данными.
• Инструментируйте платформу для мониторинга актуальности, задержек, ошибок ingest‑процесса и стоимости, с оповещениями, срабатывающими до того, как кто‑то заметит неверные цифры в дашборде.
• Участвуйте в on‑call и реагировании на инциденты в платформе данных, а также инициируйте последующие действия, чтобы предотвратить повторение той же ошибки.
• Тесно сотрудничайте с кросс‑функциональными командами (backend, proxy‑инфраструктура, product), чтобы события, которые мы генерируем, отвечали на реальные бизнес‑вопросы.

• 7+ лет опыта построения и эксплуатации продакшн‑конвейеров данных.
• Практический опыт работы с ClickHouse: выбор движка (ReplacingMergeTree и др.), партиционирование, материализованные представления и настройка запросов на миллиардах строк.
• Глубокие знания PostgreSQL: партиционирование, индексация, производительность bulk‑insert и чёткое понимание, когда он перестаёт быть подходящим инструментом.
• Глубокие навыки SQL и аналитического моделирования данных, превращающие сырые события в надёжные агрегаты без необходимости уточнять у вас детали.
• Демонстрированная ответственность: вы были тем, кто отвечал за конвейер, который оставался корректным уже утром после сбоя.
• Активный пользователь агентных инструментов кодирования.
• Сильные коммуникативные навыки: вы пишете ясно, поднимаете вопросы заранее и делаете свои рассуждения видимыми в асинхронной команде.
• Самостоятельность и комфорт в быстро меняющейся стартап‑среде, где вы определяете объём своей работы.

• Kafka или аналогичная потоковая платформа, работающая в продакшне, с партиционированием, группами потребителей и гарантиями доставки.
• Go: наши сервисы конвейера написаны на нём, и вы будете писать и отлаживать их.
• Опыт работы с телеметрией или данными наблюдаемости большого объёма (инжест multi‑TB/день).
• Практический опыт работы с Vector или аналогичными коллекторами (Fluent Bit, OpenTelemetry Collector, Logstash).
• Опыт работы с конвейерами учёта использования или биллинга, включая согласование и обработку отложенных данных.
• Оркестрация рабочих процессов для backfill‑ов и запланированных задач (Temporal, Airflow, Dagster).
• Инструменты BI и трансформаций, такие как Metabase, Grafana, dbt или их эквиваленты.
• Опыт работы с AWS (RDS, Lambda, SQS, S3/Parquet, EC2) и Terraform.
• Опыт самостоятельного развёртывания и эксплуатации кластеров ClickHouse или Kafka, а не их потребления как сервис.

Fully Remote

Вы работаете лучше всего, когда работаете там, где хотите. Мы поддерживаем полностью удалённую команду, чтобы вы могли жить и работать там, где вам удобно.

Work from Home Stipend

Будучи полностью удалённой командой, мы хотим обеспечить комфорт вашего домашнего офиса. Мы предоставляем $500 на улучшение вашего рабочего места!

Unlimited Vacation

Берите столько времени, сколько нужно: отдыхайте, восстанавливайтесь! Мы хотим, чтобы наша команда работала наилучшим образом, поэтому берите нужные вам дни.

Health Insurance

Наша команда — наш самый ценный ресурс, поэтому мы помогаем покрывать медицинскую страховку для всех её членов. Мы предлагаем разные льготы в зависимости от того, находитесь ли вы в США или за их пределами.

Health & Wellness Benefit

Мы заботимся о вашем благополучии. Каждый член команды получает $50 в месяц на здоровье и благополучие, будь то фитнес, медитация или уход за собой.

Continuous Learning

Мы верим в постоянный рост. Поэтому мы предоставляем $50 в месяц на образование: онлайн‑курсы, книги или воркшопы, чтобы поддерживать ваши навыки в остром состоянии.

Access to Cutting-Edge Tools

В рамках нашей миссии вы получите доступ к новейшим инструментам ИИ и технологий, помогая вам оставаться впереди и выполнять работу наилучшим образом.

Collaborative, Async-First Communication

Мы работаем в разных часовых поясах, поэтому фиксируем всё в письменном виде: чёткая документация, продуманные ветки обсуждений и меньше встреч.