Principal Software Architect - Data Platform

SecurityScorecard ищет Principal Software Architect, который будет руководить системным дизайном нашей платформы данных. Оценка 12 млн компаний в режиме непрерывного мониторинга подразумевает ingest‑инг данных измерений интернет‑масштаба, их обработку в потоковых, микропакетных и пакетных путях, хранение так, чтобы они оставались запросными и доступными по мере роста, а также предоставление аналитики достаточно быстро, чтобы клиенты могли в реальном времени исследовать свои собственные риски. Данные — не побочный продукт нашего продукта. Это сам продукт.

Это также повышает важность корректности. Мы публикуем цифры о других компаниях, они их оспаривают, а андеррайтеры формируют цены на их основе. Тихий регресс качества данных здесь не приводит к устаревшей панели мониторинга, а меняет чей‑то рейтинг. Качество, контракты и прослеживаемость — это архитектурные проблемы этой платформы, а не административные.

Это роль индивидуального contributor, подчиняющаяся Chief Architect, наряду с Principal Architect, сосредоточенным на AI и агентных системах, и Principal Front‑end Architect, и тесно сотрудничающая с руководством инженерных команд, Product и Data Science.

Мы ищем человека, у которого есть чёткое мнение о архитектуре данных и способность убеждать: архитектор, чьи решения принимаются, потому что их обоснование видно, а не из‑за титула.

Как и в остальной части нашей архитектурной функции, вы будете прототипировать, чтобы подтвердить решения, а не реализовывать полные решения, и задавать направление через Technical Design Reviews (TDRs) и стандарты. Вы возглавите домен данных и привнесёте достаточное общее понимание распределённых систем, чтобы оценивать проекты по всей платформе.

• Владеть системным дизайном нашей платформы данных от начала до конца, от ingest‑инга до уровня обслуживания
• Определять границы сервисов и контракты данных между продюсерами и потребителями, включая владение схемами, правила совместимости и процедуры при необходимости внесения несовместимых изменений продюсером
• Проектировать lakehouse: формат таблиц, стратегию партиционирования, эволюцию схем, компакцию и рост метаданных в масштабе
• Архитектурно проектировать аналитический слой обслуживания для трёх классов нагрузок с конфликтующими требованиями, изолируя их так, чтобы одна не ухудшала другую: низколатентные, высококонкурентные запросы от клиентов в продукте, ad‑hoc исследование от внутренних аналитиков и Data Science, а также массовая доставка внешним каналам и партнёрам
• Задавать направление по языкам и фреймворкам в стеке данных
• Инжинирить качество данных и наблюдаемость в платформу, а не добавлять их позже: пути валидации и карантина, SLO по свежести и полноте, обнаружение дрейфа, а также прослеживаемость и метаданные, генерируемые самим конвейером, а не поддерживаемые вручную
• Проектировать корректность и воспроизводимость в конвейере рейтингов, включая backfills и историческое пере‑вычисление при изменении логики оценки
• Писать TDRs, design docs и стандарты, задающие направление архитектуры данных в командах, и внедрять это намерение в репозитории, чтобы инженеры и код‑агенты имели его в локальном контексте
• Рецензировать TDRs из разных инженерных команд, предоставляя командам содержательную обратную связь по архитектуре и рискам, а не только по работе с данными
• Сотрудничать с AI & Front End Architects по паттернам доступа к данным, наставлять senior и staff инженеров по дизайну систем данных

• 10+ лет опыта в разработке программного обеспечения или данных, включая значительное время в архитектуре крупномасштабных платформ данных
• Глубокая экспертиза в потоковой и пакетной обработке в масштабе с Kafka, Flink и Spark или их близкими эквивалентами, а также чёткое понимание, к какому пути относится конкретная нагрузка
• Сильные навыки Python и PySpark, уверенный Java для потоковой обработки Flink и достаточный Scala для чтения и понимания существующего кода Spark
• Практический опыт проектирования lakehouse‑хранилищ в продакшене: колонковые форматы, такие как Parquet, открытые форматы таблиц, такие как Iceberg, а также решения по партиционированию, компакции и эволюции схем, сопровождающие их
• Опыт архитектурного проектирования OLAP и аналитических слоёв обслуживания (ClickHouse, Druid, Pinot, BigQuery, Snowflake или аналогичные)
• Сильные фундаментальные знания распределённых систем, применимые к данным: семантика exactly‑once vs at‑least‑once, упорядочивание, backpressure, задержанные и out‑of‑order данные, а также режимы отказов конвейера
• Доказанный опыт построения качества данных, контрактов и наблюдаемости как инженерных свойств системы, включая утверждения, принудительное соблюдение схем и прослеживаемость, реализованные в коде
• Опыт владения крупномасштабной миграцией данных, включая сохранение истории и корректности при переключении
• Доказанный опыт влияния без формальной власти: представление технического направления скептическим инженерам и получение реального buy‑in, а также предоставление строгой обратной связи по дизайну систем, которые вы не разрабатывали сами
• Сильные навыки технического письма и наставничества: TDRs, design docs и decision records, которые команды могут использовать без постоянного сопровождения, плюс история повышения технического уровня вокруг вас
• Умение работать как senior individual contributor, добиваться результатов через прототипирование и техническую авторитетность

• Опыт построения слоя данных под ML или LLM системы: feature stores, vector stores или retrieval pipelines
• Опыт работы с данными сканирования, телеметрии или наблюдаемости интернет‑масштаба, либо опыт в индустрии кибербезопасности
• Доказанный опыт снижения стоимости платформы в масштабе через tiering хранилищ, управление запросами или правильный подбор вычислительных ресурсов

В зависимости от страны мы предлагаем конкурентоспособную зарплату, опционы на акции, медицинские льготы и неограниченный PTO, отпуск по уходу за ребёнком, возмещение расходов на обучение и многое другое!

Фактическая компенсация по данной позиции зависит от множества факторов, включая, но не ограничиваясь, доступностью, навыками, квалификацией и опытом, и может отличаться от указанного диапазона. Помимо базовой зарплаты, сотрудники могут также иметь право на ежегодные премии за достижение целей и акции, среди прочих корпоративных льгот.

Для кандидатов, находящихся в Нью‑Йорке, ориентировочный общий диапазон компенсации для этой позиции составляет $270,000 - $330,000 USD (базовая зарплата плюс бонус). Для кандидатов, находящихся в Остине, ориентировочный общий диапазон компенсации для этой позиции составляет $240,000 - $300,000 USD (базовая зарплата плюс бонус).

_SecurityScorecard привержена принципу равных возможностей трудоустройства и поддерживает разнообразие. Мы считаем, что наша команда усиливается за счёт найма и удержания сотрудников с разным опытом, навыками, идеями и точками зрения. Мы принимаем решения о найме на основе заслуг и не дискриминируем по признаку расы, цвета кожи, религии, национального происхождения, пола или гендерной идентичности (включая беременность), гендерного выражения (включая трансгендерный статус), сексуальной ориентации, возраста, семейного положения, статуса ветерана, инвалидности или любой другой защищённой категории в соответствии с применимым законодательством.

Мы также рассматриваем квалифицированных заявителей независимо от их криминального прошлого, в соответствии с применимым законодательством. Мы обязуемся предоставлять разумные условия для квалифицированных лиц с ограниченными возможностями в наших процедурах подачи заявок. Если вам нужна помощь или условия из‑за инвалидности, пожалуйста, свяжитесь с talentacquisitionoperations@securityscorecard.io.

Любая информация, которую вы предоставляете SecurityScorecard в рамках вашего заявления, будет обрабатываться в соответствии с политикой конфиденциальности компании и применимым законодательством.

SecurityScorecard не принимает непрошенные резюме от кадровых агентств. Обратите внимание, что мы не предоставляем спонсорство для иммиграции по этой позиции. #LI-DNI