AI QA Engineer Europe Ukraine

AI QA Engineer

Europe

Ukraine

Overview

Focus: QA на уровне приложений LLM и инженерия качества для enterprise/AISDLC.

AI Quality Engineering:

• Разрабатывать и выполнять стратегии качества для AI‑поддерживаемых помощников на складе, копилотов и автономных агентов.
• Создавать рамки оценки для рабочих процессов склада на основе LLM и агентных систем.
• Определять и поддерживать золотые наборы данных и сценарии бенчмарков для складских операций.
• Проверять рекомендации, решения и действия в рабочих процессах, генерируемые ИИ.
• Проводить тестирование галлюцинаций, фактической точности, обоснованности и качества ответов.
• Проверять реализации RAG и точность извлечения.
• Разрабатывать тесты траекторий агентов для многошаговых автономных рабочих процессов.
• Проводить адверсариальное тестирование, тестирование внедрения подсказок и оценку уязвимостей «jailbreak».
• Мониторить дрейф модели, деградацию качества вывода и тенденции производительности ИИ.

Test Automation & Enterprise Quality:

• Создавать и поддерживать масштабируемые фреймворки автоматизации для функционального, API, интеграционного и end‑to‑end тестирования.
• Проектировать quality‑gates в CI/CD для AI и не‑AI релизов.
• Проверять интеграции предприятия с WMS, ERP, TMS, OMS, WCS и сторонними платформами.
• Внедрять автоматизированные регрессионные наборы для бизнес‑критических складских процессов.
• Обеспечивать готовность релиза через тестирование, основанное на рисках, и метрики качества.
• Выполнять анализ корневых причин сложных дефектов системного уровня.
• Продвигать лучшие практики качества в инженерных командах.

Governance & Compliance

• Определять стандарты качества ИИ и методологии тестирования.
• Поддерживать соответствие EU AI Act, ISO 42001 и принципам ответственного ИИ.
• Поддерживать готовую к аудиту доказательную базу качества и отчёты об оценке.
• Устанавливать измеримые KPI надёжности, безопасности и бизнес‑точности ИИ.
• Вносить вклад в стандарты инженерии качества ИИ и Центры передового опыта.

Кросс-функциональное взаимодействие

• Сотрудничать с AI Product Engineer, Solution Architect и UX Lead.
• Участвовать в обзорах дизайна AI‑решений.
• Управлять бизнес‑требованиями склада и поддерживать стратегии валидации.

• 5+ лет опыта в области Quality Assurance и Test Automation.
• 2+ года опыта тестирования приложений с поддержкой ИИ, решений LLM или агентных систем.
• Сильные навыки Python/ Java/ Javascript.
• Опыт работы с Playwright, Selenium, Cypress или аналогичными фреймворками автоматизации.
• Твёрдое понимание методологий тестирования программного обеспечения и техник проектирования тестов.
• Опыт тестирования API, интеграций и баз данных.
• Опыт работы с конвейерами CI/CD и практиками DevOps.
• Знание фреймворков оценки ИИ.
• Понимание специфических режимов отказа ИИ: галлюцинации, внедрение подсказок, атаки «jailbreak», дрейф модели, проблемы предвзятости и справедливости, сбои RAG.
• Опыт работы в облачно‑нативных средах (Azure или AWS).
• Понимание архитектуры MCP и интеграций агент‑инструмент.
• Опыт работы с LangSmith, Braintrust, MLflow, Arize или Evidently AI.
• Знакомство с EU AI Act и рамками управления ИИ.

Strong plus:

• Опыт в Supply Chain, Logistics, WMS, TMS, OMS или ERP платформах.
• Сертификация ISTQB CT-AI или эквивалентные квалификации по тестированию ИИ.
• Вклад в фреймворки тестирования ИИ или проекты с открытым исходным кодом.
• Опыт руководства, направляющего стратегию качества ИИ в нескольких командах.
• Знание складских операций и процессов выполнения заказов.

• Гибкий график и режим remote‑first,
• Конкурентная компенсация,
• Полный набор оборудования и программного обеспечения — всё, что нужно для работы,
• Культура открытых дверей, прозрачная коммуникация и топ‑менеджмент на расстоянии рукопожатия,
• Медицинская страховка, отпуск, больничные, праздничные дни, оплачиваемый декретный отпуск,
• Доступ к центру обучения и развития: воркшопы, вебинары, обучающая платформа и edutainment‑мероприятия,
• Виртуальные тим‑билдинги и социальные активности.

• Персонализированные льготы в соответствии с вашими предпочтениями
• Разнообразие доменов и бизнесов
• Гибкий режим работы в гибридных командах
• Возможность работать из дома, офиса или где угодно
• Корпоративные мероприятия и командные активности
• Программа наставничества и Индивидуальный план развития
• Курсы английского для повышения уровня речи и письма
• Программа подготовки к глобальным сертификациям (AWS, ISTQB, Unity, Scrum и др.) и комплексные онлайн‑курсы на Udemy, Educative, Pluralsight, edX