Senior Data Engineer

Мы ищем Senior Data Engineer для работы над архитектурой данных, лежащей в основе нашей разведывательной платформы, как в части производственной инфраструктуры данных, так и в работе с мультимодальными данными.

Мы работаем с текстовыми, геопространственными данными, данными социальных сетей и временными рядами в больших объёмах. Значительная часть инженерной задачи заключается в том, как эти данные представлены и связаны: одна и та же сущность реального мира может быть смоделирована на карте, как узел в графе и как закономерность во времени, а ценность появляется, когда можно выполнять запросы и делать выводы сразу по всем этим представлениям.

Вы привнесёте практический опыт работы с геопространственными данными, графами знаний или системами сущностей и связей на нескольких типах данных. Для нас важнее, как вы рассуждаете при выборе архитектуры и технологий, чем знание какого-либо конкретного инструмента.

Это практическая senior-роль с реальной ответственностью за архитектуру, реализацию и техническое направление.

Multimodal Data & Entity Modelling

• Извлекать сущности и связи из текстовых, геопространственных данных, данных социальных сетей и временных рядов и моделировать их в виде представлений на карте, в графе и во времени.
• Развивать наш слой графа знаний и делать связанные данные пригодными для аналитики, визуализации и AI-агентов.
• Оценивать и прототипировать технологии для геопространственных и графовых нагрузок в больших масштабах

Core Data Platform

• Мигрировать производственные нагрузки с PostgreSQL на StarRocks.
• Улучшать производительность загрузки и обработки данных и перепроектировать архитектуру хранения продукта для масштаба в миллиарды строк.
• Отвечать за инфраструктуру, на которой работают ваши пайплайны, включая развёртывание, производительность и стоимость.

• Практический опыт создания систем для работы с геопространственными данными, графовыми данными или графами знаний, в идеале с сочетанием нескольких типов данных.
• Опыт работы с GIS-инструментами (например, PostGIS), графовыми базами данных (например, Neo4j, TigerGraph) или моделирования графовых данных на реляционном или колоночном хранилище.
• Сильное архитектурное мышление и умение обосновывать выбор технологий, проводить эксперименты и менять курс по их результатам.
• Подтверждённый опыт перемещения и обработки данных в больших масштабах с помощью пайплайнов, которые можно возобновлять, идемпотентных и безопасных по памяти.
• Опыт работы с инфраструктурой данных ниже управляемого уровня, а не только внутри готовой SaaS-платформы.
• Умение читать планы запросов и менять физическую организацию данных для устранения проблем с производительностью.
• Опыт создания и вывода в продакшен backend-сервисов на Python.
• Уверенность в работе с инфраструктурой, включая Kubernetes, Helm, Terraform или аналогичные инструменты.
• Свободный английский.

• Опыт использования в продакшене колоночного или MPP-движка, такого как StarRocks, Doris, ClickHouse, BigQuery или Snowflake, включая партиционирование, распределение и индексирование.
• Опыт работы с Elasticsearch или OpenSearch в больших масштабах, включая маппинги, ILM, tiering и переиндексацию.
• Опыт долгой миграции с использованием dual-write, сверки данных и переключения (cutover).
• Знание внутреннего устройства PostgreSQL.
• Опыт событийно-ориентированной загрузки данных с использованием Kafka или RabbitMQ.
• Опыт работы с инструментами observability (Prometheus, Grafana, Loki), форматами lakehouse (Parquet, Iceberg) и оркестраторами, такими как Airflow.
• Опыт в области threat intelligence, OSINT, геопространственной разведки или обороны.

• Возможность внести вклад в стартап, движимый миссией, и поддерживать престижных клиентов, включая правительства по всему миру, корпоративных клиентов и ведущие НКО, в решении глобальных проблем безопасности.
• Автономия и свобода проводить эксперименты и воплощать в жизнь собственные идеи.
• Гибкость полностью удалённой работы.
• Гибкая политика неограниченного отпуска.