Principal Software Architect - Data Platform

SecurityScorecard ищет Principal Software Architect, который будет руководить системным дизайном нашей платформы данных. Оценка 12 млн компаний в режиме непрерывного мониторинга подразумевает ingest‑инг данных измерений в масштабе интернета, их обработку в потоковых, микропакетных и пакетных путях, хранение так, чтобы они оставались запросными и доступными по мере роста, а также предоставление аналитики достаточно быстро, чтобы клиенты могли в реальном времени исследовать свои собственные риски. Данные — это не побочный продукт нашего продукта. Это сам продукт.

Это также повышает важность корректности. Мы публикуем цифры о других компаниях, они их оспаривают, а андеррайтеры формируют цены на их основе. Тихая регрессия качества данных здесь не приводит к устаревшей панели мониторинга, а меняет чей‑то рейтинг. Качество, контракты и lineage поэтому являются архитектурными проблемами этой платформы, а не административными.

Это роль индивидуального contributor, подчиняющаяся Chief Architect, наряду с Principal Architect, сосредоточенным на AI и агентных системах, и Principal Front‑end Architect, и тесно сотрудничающая с руководством инженерных команд, Product и Data Science.

• Владеть системным дизайном нашей платформы данных от начала ingest‑процесса до уровня сервиса
• Определять границы сервисов и контракты данных между продюсерами и потребителями, включая владение схемами, правила совместимости и действия при необходимости внесения breaking‑изменений продюсером
• Проектировать lakehouse: формат таблиц, стратегию партиционирования, эволюцию схем, компакцию и рост метаданных в масштабе
• Архитектурно проектировать аналитический слой обслуживания для трёх классов нагрузок с конфликтующими требованиями, изолируя их так, чтобы одна не ухудшала другую: low‑latency, high‑concurrency запросы от клиентов в продукте, ad‑hoc исследование от внутренней аналитики и Data Science, а также массовая доставка внешним каналам и партнёрам
• Задавать направление по языкам и фреймворкам в стеке данных
• Инжинирить качество данных и наблюдаемость в платформу, а не добавлять их позже: пути валидации и карантина, SLOs свежести и полноты, обнаружение дрейфа, а также lineage и метаданные, генерируемые самим pipeline, а не поддерживаемые вручную
• Проектировать корректность и воспроизводимость в pipeline рейтингов, включая backfills и историческое пере‑вычисление при изменении логики scoring
• Писать TDRs, design docs и стандарты, задающие направление архитектуры данных в командах, и внедрять это намерение в репозитории, чтобы инженеры и coding agents имели его в локальном контексте
• Рецензировать TDRs от разных инженерных команд, предоставляя командам содержательную обратную связь по архитектуре и рискам, а не только по работе с данными
• Сотрудничать с AI & Front End Architects по паттернам доступа к данным, наставлять senior и staff инженеров по дизайну систем данных

• 10+ лет опыта в software или data engineering, включая значительное время в архитектуре крупномасштабных платформ данных
• Глубокая экспертиза в stream и batch processing в масштабе с Kafka, Flink и Spark или их близкими эквивалентами, а также чёткое понимание, какой путь подходит для конкретной нагрузки
• Сильные навыки Python и PySpark, solid Java для Flink stream processing, и достаточный уровень Scala для чтения и понимания существующего кода Spark
• Практический опыт проектирования lakehouse storage в продакшене: колонковые форматы, такие как Parquet, открытые форматы таблиц, такие как Iceberg, а также решения по партиционированию, компакции и эволюции схем, сопровождающие их
• Опыт архитектурного проектирования OLAP и аналитических слоёв обслуживания (ClickHouse, Druid, Pinot, BigQuery, Snowflake или аналогичные)
• Сильные фундаментальные знания распределённых систем, применимых к данным: semantics exactly‑once vs at‑least‑once, ordering, backpressure, late и out‑of‑order данные, а также режимы отказов pipeline
• Портфолио построения качества данных, контрактов и наблюдаемости как инженерных свойств системы, включая assertions, schema enforcement и lineage, живущие в коде
• Опыт владения крупномасштабной миграцией данных, включая сохранение истории и корректности при cutover
• Портфолио влияния без формального авторитета: представление технического направления скептическим инженерам и получение реального buy‑in, а также предоставление строгой обратной связи по дизайну систем, которые вы не строили сами
• Сильные навыки технического письма и наставничества: TDRs, design docs и decision records, которыми команды могут пользоваться без постоянного сопровождения, плюс история повышения технического уровня вокруг вас
• Умение работать как senior individual contributor, добиваться результатов через прототипирование и техническую надёжность

• Опыт построения слоя данных под ML или LLM системы: feature stores, vector stores или retrieval pipelines
• Опыт работы с интернет‑масштабными сканами, телеметрией или данными наблюдаемости, либо опыт в индустрии кибербезопасности
• Портфолио снижения стоимости платформы в масштабе через tiering хранилища, governance запросов или правильный размер вычислительных ресурсов

В зависимости от страны мы предлагаем конкурентоспособную зарплату, опционы на акции, медицинские льготы и неограниченный PTO, отпуск по уходу за ребёнка, возмещение расходов на обучение и многое другое!

Оценочный общий диапазон компенсации для этой позиции составляет $240,000 - $300,000 (база плюс бонус). Фактическая компенсация зависит от множества факторов, включая, но не ограничиваясь, доступностью, навыками, квалификацией и опытом, и может отличаться от указанного диапазона. Помимо базовой зарплаты, сотрудники могут также иметь право на ежегодные премии, основанные на результатах, и на долю в капитале, среди прочих корпоративных льгот.

SecurityScorecard привержена принципу равных возможностей трудоустройства и поддерживает разнообразие. Мы считаем, что наша команда усиливается за счёт найма и удержания сотрудников с разным опытом, навыками, идеями и точками зрения. Мы принимаем решения о найме на основе заслуг и не дискриминируем по расе, цвету кожи, религии, национальному происхождению, полу или гендеру (включая беременность), гендерной идентичности или выражению (включая трансгендерный статус), сексуальной ориентации, возрасту, семейному положению, статусу ветерана, инвалидности или любой другой защищённой категории в соответствии с применимым законодательством.

Мы также рассматриваем квалифицированных кандидатов независимо от их криминального прошлого, в соответствии с применимым законодательством. Мы обязуемся предоставлять разумные условия для квалифицированных лиц с ограниченными возможностями в наших процедурах подачи заявок. Если вам нужна помощь или приспособление из‑за инвалидности, пожалуйста, свяжитесь с talentacquisitionoperations@securityscorecard.io.

Любая информация, которую вы предоставляете SecurityScorecard в рамках вашего заявления, будет обрабатываться в соответствии с политикой конфиденциальности компании и применимым законодательством.

SecurityScorecard не принимает непрошенные резюме от кадровых агентств. Обратите внимание, что мы не предоставляем иммиграционную спонсорскую поддержку для этой позиции.