Middle/Senior QA Engineer (AI Products) Europe, Ukraine

Мы ищем опытного QA Engineer, который присоединится к нашему Product Department и возьмёт на себя ответственность за обеспечение качества наших продуктов, связанных с Salesforce, начиная с Ascendix AI Agent.

На этой позиции вы будете работать в небольшой дружной команде и обеспечивать надёжность как традиционной функциональности программного обеспечения, так и функций на базе ИИ. Вы будете сочетать ручное тестирование, автоматизацию тестирования и методы оценки LLM, чтобы проверять ответы, сгенерированные ИИ, выявлять потенциальные проблемы и постоянно повышать качество продукта.

• Отвечать за качество продукта во всех наших решениях, связанных с Salesforce, на первом этапе сосредоточившись на Ascendix AI Agent;

• Проводить функциональное, регрессионное и исследовательское тестирование как детерминированной, так и недетерминированной функциональности;

• Оценивать ответы, сгенерированные ИИ, на точность, наличие галлюцинаций и корректное выполнение действий;

• Разрабатывать, поддерживать и улучшать наборы данных для оценки LLM, критерии оценивания и регрессионные тесты;

• Разрабатывать и поддерживать автоматизированные тесты с использованием Playwright и современных инструментов с поддержкой ИИ;

• Сотрудничать с разработчиками и Business Analyst в процессе разработки на основе спецификаций (spec-driven development), анализируя спецификации и определяя чёткие критерии приёмки;

• Выстраивать и постоянно улучшать QA-процессы, включая ведение навыков (skills), правил и документации по рабочим процессам ИИ-агентов в файлах Markdown;

• Изучать и воспроизводить проблемы, о которых сообщают клиенты, оформляя понятные баг-репорты, пригодные для дальнейшей работы;

• Проактивно выявлять риски для качества и предлагать улучшения надёжности продукта и практик тестирования.

• 5+ лет опыта в обеспечении качества программного обеспечения (Software Quality Assurance);

• Практический опыт тестирования приложений на базе ИИ с недетерминированными результатами, таких как продукты на основе LLM, ИИ-агенты или чат-боты;

• Практический опыт применения методов оценки LLM, включая тестовые наборы данных, рубрики оценивания, подходы LLM-as-judge и отслеживание регрессий;

• Опыт автоматизации тестирования и поддержки автоматизированных наборов тестов;

• Уверенные навыки тестирования API с помощью Postman или аналогичных инструментов;

• Сильные аналитические навыки и критическое мышление, умение оценить не только то, что ответ, сгенерированный ИИ, неверен, но и почему;

• Ответственное отношение к работе, проактивный подход к решению проблем и готовность улучшать QA-процессы;

• Хорошие навыки коммуникации и сотрудничества, умение эффективно работать в небольшой распределённой команде;

• Английский на уровне Upper-Intermediate (B2+) или выше, как письменный, так и разговорный.

• Опыт работы с Playwright (TypeScript или JavaScript);

• Опыт тестирования Salesforce, включая Lightning, managed packages и permission sets;

• Знакомство с инструментами оценки LLM, такими как Promptfoo, DeepEval, Ragas или Langfuse;

• Опыт использования инструментов разработки с поддержкой ИИ, таких как Claude Code, Cursor или аналогичных;

• Базовые навыки prompt engineering;

• Опыт работы с CRM-системами или данными о недвижимости.

Здоровье:

• 20 оплачиваемых дней отпуска;

• 5 оплачиваемых дней больничного.

Карьера и профессиональный рост:

• B2B и удалённое сотрудничество;

• Карьерное развитие и профессиональный рост;

• Технические оценки эффективности (performance reviews) и 360 Evaluation;

• Работа с персональным Direct Manager, Technical Leads и менторами.

Обучение и развитие:

• Возможность компенсации участия во внешних мероприятиях;

• Возможности для обмена знаниями внутри компании.

Корпоративный дух:

• Онлайн- и офлайн-мероприятия и тимбилдинги;

• Дружелюбная и поддерживающая атмосфера;

• Открытое руководство.