Senior AI Quality Engineer (Hyderabad-based)

Мы ищем Senior AI Quality Engineer (L3+) с сильными навыками Python и практическим опытом тестирования AI- и ML-систем. Вы будете анализировать требования, определять стратегии оценки, создавать автоматизированные проверки, валидировать модели и их результаты, тестировать API и конвейеры данных, проверять дефекты до их устранения и вносить вклад в готовность к релизу в закреплённой за вами продуктовой области. Вы будете как оценивать AI-системы, так и проектировать, создавать и эксплуатировать QE-агентов для жизненного цикла тестирования программного обеспечения.

AI-поддержка работы является частью повседневной практики QE в рамках этого проекта: Ragas, DeepEval, promptfoo, Cursor и другие AI- и ML-инструменты используются для оценки, написания скриптов, генерации тестов, анализа и сопровождения.

Вы также будете создавать golden datasets, калибровать методы LLM-as-judge, тестировать агентные рабочие процессы и RAG-системы, внедрять подходы self-healing и интеллектуального тестирования, а также диагностировать сбои качества, безопасности, производительности и стоимости в распределённых AI-сервисах.

Эта позиция предназначена для кандидатов, проживающих в Hyderabad и готовых работать из офиса.

Python является основным языком для оценки AI, валидации моделей, тестирования API, обеспечения качества конвейеров данных и проектирования QE-агентов. Роль сочетает детерминированную автоматизацию с вероятностной оценкой для анализа поведения AI в моделях, данных, извлечении информации, инструментах и точках интеграции, а также предполагает проектирование и эксплуатацию агентов, поддерживающих жизненный цикл тестирования программного обеспечения.

• Анализировать требования и определять стратегии оценки, golden datasets, регрессионные бенчмарки, базовые уровни (baselines), пороговые значения и блокирующие метрики с проверкой экспертами предметной области.
• Проектировать, создавать и оркестрировать AI-агентов, рабочие процессы на основе персон и переиспользуемые навыки для STLC с помощью LangChain, LangGraph или Semantic Kernel.
• Создавать автоматизированные оценки и бенчмарки для LLM, агентов, RAG, извлечения информации (retrieval), траекторий использования инструментов и контрактов с помощью Ragas, DeepEval и promptfoo.
• Калибровать LLM-as-judge по оценкам людей, управлять недетерминизмом с помощью повторных запусков и выявлять регрессию и дрейф.
• Писать и поддерживать автоматизацию на Python и pytest для рабочих процессов AI, ML, API, данных и интеграций.
• Использовать Cursor и агентные инструменты для анализа требований, генерации и проверки тестов и сопровождения наборов оценок.
• Валидировать модели глубокого обучения, обучения с подкреплением и предиктивные модели с помощью LangChain.
• Создавать AI-поддерживаемые рабочие процессы STLC для анализа требований, проектирования тестов, генерации скриптов, выполнения, self-healing, анализа сбоев и триажа дефектов, а также интеллектуальный выбор тестов и прогнозирование дефектов.
• Интегрировать LLM, API, эмбеддинги, векторные базы данных, конвейеры извлечения информации и корпоративные источники данных в QE-фреймворки с помощью Python.
• Тестировать REST- и потоковые API, инструменты агентов, а также интеграции RAG и MCP, включая аутентификацию, ошибки, повторные попытки и восстановление.
• Тестировать конвейеры данных и извлечения информации на целостность схемы, lineage, идемпотентность, fallback, промоушен-гейты (promotion gates) и откат.
• Интегрировать оценки, бенчмарки и рабочие процессы агентов в QE-фреймворки и CI/CD на GitHub Actions, анализировать результаты в Allure и поддерживать соответствие TestRail автоматизированному покрытию.
• Тестировать prompt injection, jailbreaks, небезопасное использование инструментов, утечку данных (data exfiltration), контроль доступа, средства контроля PII и guardrails.
• Измерять точность, релевантность, обоснованность (groundedness), галлюцинации, качество извлечения информации, надёжность агентов, задержку, пропускную способность, использование токенов и стоимость, а также диагностировать распределённые сбои.
• Внедрять трассировку, мониторинг и оценку в продакшене с помощью Langfuse, LangSmith или аналогичной платформы AI-наблюдаемости (observability).
• Развёртывать и эксплуатировать QE-агентов на Amazon Bedrock AgentCore или аналогичной платформе агентов, с управлением (governance) и контролем со стороны человека.
• Развёртывать и валидировать AI- и ML-решения в AWS или Azure, включая секреты, сервисы баз данных и cloud-native тестовую инфраструктуру.
• Регистрировать, отслеживать и проверять дефекты в Jira, а также работать с экспертами предметной области, продуктовой и инженерной командами над прослеживаемым покрытием и непротестированным объёмом.
• Вносить вклад в готовность к релизу в закреплённой продуктовой области, не владея при этом утверждением (sign-off) для всей команды.

• Уверенное владение Python и pytest для автоматизации тестирования и оценки.
• Практический опыт создания и оркестрации AI-агентов и агентных рабочих процессов с помощью LangChain, LangGraph, Semantic Kernel или аналогичных фреймворков.
• Практический опыт создания AI-оценок и бенчмарков с помощью Ragas, DeepEval, promptfoo или эквивалентных инструментов.
• Практический опыт использования Cursor или агентных инструментов разработки для генерации и сопровождения тестов.
• Опыт определения стратегий оценки AI, golden datasets, регрессионных бенчмарков и калибровки LLM-as-judge, включая недетерминизм и дрейф.
• Опыт валидации моделей глубокого обучения, обучения с подкреплением и предиктивных моделей с помощью LangChain.
• Опыт создания AI-поддерживаемых рабочих процессов STLC для анализа требований, проектирования тестов, генерации скриптов, выполнения, self-healing, анализа сбоев, триажа дефектов, интеллектуального выбора тестов и прогнозирования дефектов.
• Опыт интеграции LLM, API, эмбеддингов, векторных баз данных и конвейеров извлечения информации с фреймворками автоматизации на Python.
• Опыт тестирования REST- и потоковых API, инструментов агентов, рабочих процессов RAG и интеграций MCP.
• Опыт тестирования конвейеров данных и извлечения информации на корректность, lineage и безопасный промоушен.
• Опыт интеграции AI-оценки и рабочих процессов агентов с фреймворками автоматизации и CI/CD с использованием GitHub Actions, Allure, TestRail или эквивалентных инструментов.
• Опыт тестирования безопасности AI, конфиденциальности, контроля доступа и guardrails.
• Опыт измерения точности, релевантности, обоснованности (groundedness), галлюцинаций, качества извлечения информации, надёжности агентов, задержки, пропускной способности, использования токенов и стоимости, а также диагностики распределённых сбоев.
• Опыт работы с AI-трассировкой, мониторингом и оценкой в продакшене с помощью Langfuse, LangSmith или аналогичных инструментов.
• Знакомство с облачными AI-сервисами AWS, Azure или GCP и платформами агентов для развёртывания и валидации AI- и ML-решений.
• Опыт развёртывания и эксплуатации агентов на Amazon Bedrock AgentCore или аналогичной платформе агентов, с управлением (governance) и контролем со стороны человека.
• Опыт управления дефектами до их устранения в Jira или эквивалентном инструменте.
• Умение работать с экспертами предметной области, продуктовой и инженерной командами над ground truth и пробелами в покрытии.
• Опыт вклада в готовность к релизу в закреплённой продуктовой области.

• Опыт работы с Playwright и TypeScript для автоматизации UI и API.
• Запуск тестов на реальных устройствах и в разных браузерах (cross-browser) с помощью LambdaTest, Sauce Labs или эквивалентной платформы.
• Знание AI-оптимизации тестирования и аналитики покрытия с использованием SeaLights или эквивалентной платформы.
• Опыт добавления переиспользуемых компонентов в общие фреймворки автоматизации и проверки кода автоматизации через рабочие процессы Git и GitHub.
• Опыт управления тестовыми данными и устранения неполадок тестовых окружений, необходимых для надёжного выполнения.
• Опыт триажа находок по безопасности и проверки операционной готовности, мониторинга, отката и средств контроля восстановления.
• Опыт подготовки отчётов об оценке, пригодных для аудита, и улучшения общих паттернов оценки, библиотек автоматизации и датасетов.