Technical Lead, AI Benchmarking and Evaluation Research (Remote, ROU)

Команда CrowdStrike OCAIO ищет senior technical lead, который будет отвечать за измерение AI‑моделей и агентных систем, выполняющих задачи кибербезопасности. Это роль практического лидерства. Вы будете руководить небольшой командой исследователей и лично помогать в проектировании, построении и защите бенчмарков, которые они выпускают.

Практическая работа над бенчмарками (около половины вашего времени):

• Проектировать и создавать наборы данных для бенчмарков задач кибербезопасности, от определения задачи до экспертно‑размеченной истинной метки, схем оценки и релиза.
• Создавать и калибровать судей (LLM‑based и программных) по сравнению с экспертными метками, измерять согласие и публиковать места разногласий.
• Создавать воспроизводимые оценочные harnesses, фиксирующие действия и трассы агентов, а не только транскрипты, чтобы результаты были обоснованными и сравнимыми между версиями моделей.
• Проводить и публиковать постоянные scorecards агентов CrowdStrike и передовых моделей по тем же задачам, с указанием защиты, корректности и полезности вместе.
• Лично исследовать режимы отказов: где агенты падают, почему и какие доказательства это подтверждают.
• Писать исследования: внутренние отчёты и внешние статьи или доклады, подтверждающие достоверность бенчмарка.

Ведение команды и функции:

• Руководить, наставлять и развивать команду исследователей и инженеров; проверять их проекты, разметку и код.
• Определять стратегию, дорожную карту и метрики успеха для оценки AI и агентных систем в различных сценариях безопасности.
• Формировать и обеспечивать соблюдение методологии оценки и общих форматов задач и трасс, используемых в бенчмаркинге и red teaming.
• Обеспечивать и координировать время разметки экспертов из SOC, команд threat research и malware analysis, устанавливая планку качества для каждой метки.
• Сотрудничать с engineering, product и threat research для превращения выводов оценки в согласованные критерии pass/fail и внедрённые улучшения.
• Чётко коммуницировать результаты, компромиссы и ограничения технической и исполнительной аудитории. Сообщать о том, что не тестировалось, так же открыто, как и о том, что тестировалось.

• Практический опыт в кибербезопасности как минимум в одной из областей: анализ вредоносного кода и обратная инженерия, реагирование на инциденты и threat hunting, разработка детекций, операции SOC. Вы можете самостоятельно разметить истинную метку и оценить, правильна ли разметка эксперта.
• Подтверждённый опыт создания оценок, бенчмарков или наборов данных для AI или LLM‑систем, с доступными артефактами (статьи, репозитории, внутренние бенчмарки с измерённым принятием).
• Сильные навыки Python и работы с данными. Вы пишете производственный код оценки, harnesses и анализ, а также ревьюете код коллег.
• Практический опыт работы с LLM и агентными системами: использование инструментов, многошаговое планирование, песочницы, а также инструментация и трассировка поведения агента.
• Не менее 2 лет руководства техническими специалистами (как team lead, tech lead или manager), с доказанным ростом исследователей и инженеров при сохранении практического участия.
• Способность определять, проектировать и стандартизировать методологии оценки и воспроизводимые конвейеры тестирования, а также защищать их под scrutiny.
• Широкие знания ландшафта кибербезопасности: техники атак, защитные контрмеры и рабочие процессы аналитиков, которые AI должен усиливать.
• Исключительные навыки письменной и устной коммуникации. Вы умеете представлять измеренные выводы и их ограничения руководству и исследователям.
• Доказанный опыт использования AI‑технологий для улучшения принятия решений, оптимизации рабочих процессов и повышения эффективности, приводя к бизнес‑результатам.

• Публикации исследований или доклады по оценке AI, судейству LLM или AI‑безопасности.
• Опыт адверсариального тестирования или red teaming AI‑систем, а также оценки агентов по наблюдаемым побочным эффектам, а не только по тексту.
• Опыт создания судей LLM и измерения их согласия с человеческими экспертами.
• Опыт работы с платформами SOC, инструментами SIEM/SOAR и разработкой детекций.
• Понимание MITRE ATT&CK и его сопоставления с процессами детекции и реагирования.
• Соответствующие сертификаты безопасности (GREM, GCFA, GCIH, GCIA, OSCP или эквивалент).
• Опыт дообучения или дистилляции моделей на данных с экспертно‑размеченными решениями.

• Лидер рынка в компенсациях и акциях
• Всеобъемлющие программы физического и психического благополучия
• Конкурентный отпуск и праздничные дни для восстановления
• Оплачиваемый декретный и отпуск по усыновлению
• Возможности профессионального развития для всех сотрудников независимо от уровня или роли
• Сети сотрудников, группы по географическому соседству и волонтёрские возможности для налаживания связей
• Яркая офисная культура с мировыми удобствами
• Сертификация Great Place to Work™ по всему миру