Software Development Engineer in Test - Agentic Automation (Remote, CAN)

Вы SDET и хотите определять, как AI-агентов тестируют, оценивают и как им доверяют в продакшене?

Команда CrowdStrike Detonations and Threat Analysis Platform Engineering нанимает Software Development Engineer in Test, готового работать руками. Вы будете создавать и поддерживать автоматизацию функционального, интеграционного тестирования и тестирования производительности, которая обеспечивает надёжность нашей крупномасштабной облачной платформы кибербезопасности. Вы также поможете формировать подход к тестированию AI. Наши основные фреймворки тестирования включают агентную генерацию и анализ тестов, а для проверки создаваемых нами AI-агентов мы используем eval-driven development (EDD).

• Проектировать, разрабатывать и поддерживать автоматизированные наборы тестов и фреймворки для распределённых облачных систем
• Поддерживать и расширять инструменты агентной генерации и анализа тестов, встроенные в наши основные фреймворки тестирования
• Создавать AI-воркфлоу и файлы навыков агентов (agent skill files), которые автоматизируют рутинную ручную работу в тестировании, например подготовку тестовых данных, разбор сбоев и валидацию релизов
• Поддерживать наборы eval, golden datasets и пайплайны оценки для наших AI-агентов, оценивая корректность, использование инструментов, траекторию, достоверность, безопасность, задержку и стоимость
• Обеспечивать работу CI eval gates, чтобы каждое изменение промптов, моделей, инструментов или оркестрации измерялось до релиза, а сбои из продакшена возвращались в наборы eval
• Выявлять и снижать влияние ненадёжных результатов работы AI, включая галлюцинированные проверки (assertions), нестабильные или избыточные тесты, неверный разбор сбоев и предвзятость судьи (judge bias)
• Проектировать, запускать и анализировать тесты производительности, нагрузочные и стресс-тесты, чтобы находить узкие места и проверять масштабируемость распределённых сервисов
• Проверять интеграцию систем, сервисов, данных и приложений платформы, а также клиентских функций сквозным образом (end-to-end)
• Анализировать архитектуру продукта, системы и агентов с точки зрения тестируемости, оцениваемости, недостатков и возможных улучшений
• Делиться знаниями и вносить вклад в стандарты качества и оценки в команде

• Степень в области Computer Science или эквивалентный опыт (OOP, структуры данных, алгоритмы, распределённые системы)
• 5+ лет в области качества программного обеспечения, включая 3+ года практической работы SDET или разработки автоматизации тестирования
• Сильные навыки программирования как минимум на одном из языков: Java, Node.js или Python, при этом для работы с eval и агентами предпочтителен Python
• Подтверждённый опыт проектирования, создания и поддержки тестовых фреймворков, интегрированных с пайплайнами CI/CD (например, Jenkins, GitLab CI/CD)
• Опыт тестирования веб-сервисов и API (REST, gRPC, JSON)
• Практический опыт тестирования производительности и нагрузочного тестирования с помощью таких инструментов, как Locust или k6, включая проектирование реалистичных нагрузок и интерпретацию результатов (перцентили задержки, пропускная способность, доля ошибок)
• Скептический подход к результатам работы AI с приоритетом проверки, чёткое понимание того, когда использовать детерминированные проверки (assertions), а когда — вероятностную оценку
• Подтверждённый опыт использования AI-технологий для улучшения принятия решений, оптимизации рабочих процессов, повышения эффективности и достижения бизнес-результатов.

• Сквозной опыт eval-driven development, включая release gating, eval траектории и использования инструментов, а также калибровку LLM-as-judge по результатам проверки людьми
• Prompt engineering и проектирование контекста или инструментов для агентов
• Интеграция тестов производительности в CI/CD и использование инструментов наблюдаемости (observability) (например, Grafana, Prometheus, CloudWatch)
• Опыт в кибербезопасности, threat intelligence, анализе вредоносного ПО или в средах sandboxing/detonation

• Лидирующие на рынке компенсация и награды в виде акций
• Комплексные программы поддержки физического и психического здоровья
• Конкурентный отпуск и праздничные дни для восстановления сил
• Оплачиваемый отпуск по уходу за ребёнком и по усыновлению
• Возможности профессионального развития для всех сотрудников независимо от уровня или роли
• Employee Networks, географические районные группы и волонтёрские возможности для налаживания связей
• Яркая офисная культура с первоклассными удобствами
• Great Place to Work Certified™ по всему миру

CrowdStrike с гордостью является работодателем равных возможностей. Мы стремимся развивать культуру принадлежности, в которой ценят каждого за то, кто он есть, и дают возможность добиваться успеха. Мы поддерживаем ветеранов и людей с инвалидностью в рамках нашей программы позитивных действий (affirmative action).

CrowdStrike стремится обеспечивать равные возможности трудоустройства для всех сотрудников и кандидатов. Компания не допускает дискриминации в вопросах трудоустройства и в практиках занятости по признаку расы, цвета кожи, вероисповедания, этнической принадлежности, религии, пола (включая беременность и медицинские состояния, связанные с беременностью), сексуальной ориентации, гендерной идентичности, семейного положения или статуса, статуса ветерана, возраста, национального происхождения, происхождения предков, физической инвалидности (включая ВИЧ и СПИД), психической инвалидности, медицинского состояния, генетической информации, членства или деятельности в местной комиссии по правам человека, статуса в отношении государственной помощи или любого другого признака, защищённого законом. Мы принимаем все решения в сфере занятости, включая подбор, отбор, обучение, компенсацию, льготы, дисциплинарные меры, повышения, переводы, сокращения, возвращение после сокращения, увольнения и социальные/досуговые программы, на основе обоснованных требований к должности.

CrowdStrike Canada ULC придерживается принципа равной оплаты за равный труд в своих практиках вознаграждения. Диапазон базовой зарплаты на этой позиции в Канаде составляет $120,000 - $170,000 CAD в год + переменная/премиальная компенсация + акции + льготы. Зарплата кандидата определяется различными факторами, включая, помимо прочего, релевантный опыт работы, навыки, сертификаты и местоположение.