QA Engineer Agentic Memory Testing

Мы ищем QA Engineer, который будет проверять возможности памяти агентов в рамках корпоративной AI Agent Platform, создаваемой с нуля. Роль будет сосредоточена на обеспечении надёжного сохранения, извлечения и управления контекстной информацией агентами как в отдельных диалогах, так и в нескольких сессиях.

• Разрабатывать и выполнять функциональные тесты для краткосрочной и долгосрочной памяти агентов.
• Проверять непрерывность контекста в сессии и воспоминание памяти между сессиями.
• Тестировать стратегии извлечения памяти, чтобы гарантировать корректное захватывание резюме, фактов и предпочтений.
• Проверять извлечение памяти, чтобы агенты получали релевантный контекст, отфильтровывая нерелевантную информацию.
• Тестировать поведение жизненного цикла памяти, включая истечение TTL, удаление и изоляцию пространств имён.
• Разрабатывать автоматизированные тесты на Python для рабочих процессов памяти агентов и сервисов, управляемых API.
• Проводить регрессионное тестирование, чтобы изменения памяти не ухудшали качество ответов агентов.
• Проверять состояние агентных функций, включая удержание контекста и персонализацию.
• Тестировать изоляцию памяти, чтобы предотвратить нежелательное совместное использование контекста между пользователями, сессиями или агентами.
• Проверять рабочие процессы удаления пользователей и связанные с конфиденциальностью операции с памятью.
• Интегрировать тесты памяти в более широкие наборы качества и регрессии агентов.
• Сотрудничать с инженерами AI и платформы для выявления дефектов, связанных с памятью, и повышения надёжности агентов.

Навыки:

• Функциональное тестирование памяти агентов — краткосрочная память (непрерывность в сессии), долгосрочная память (воспоминание между сессиями)

• Проверка извлечения памяти — проверка того, что стратегии Summary и Semantic корректно извлекают факты/предпочтения

• Тестирование извлечения памяти — проверка того, что агенты получают релевантный контекст, фильтруя нерелевантные воспоминания

• Тестирование жизненного цикла памяти — истечение TTL, удаление пользователя, изоляция пространств имён

• Регрессионное тестирование агентов — проверка, что память не ухудшает качество ответов агентов

• Автоматизация тестов на Python для рабочих процессов памяти

Опыт:

• 4+ лет QA-инжиниринга для систем AI/ML или разговорного AI

• Тестирование состояний агентов (удержание контекста, персонализация)

• Автоматизация функциональных тестов для сервисов, управляемых API

• Методологии регрессионного тестирования

• Тестирование фреймворка памяти агентов (LangChain, LangGraph)

• Оценка разговорного AI

• Тестирование памяти AWS AgentCore

• Тестирование соответствия GDPR (проверка удаления пользователей)

What it’s like to work at Intellias

В Intellias, где технологии находятся в центре внимания, люди всегда ставятся выше процессов. Создавая комфортную атмосферу в нашей команде, мы даём возможность каждому раскрыть свой потенциал и достичь выдающихся результатов. Поэтому мы предлагаем набор преимуществ, поддерживающих ваше благополучие и способствующих профессиональному росту.

Мы привержены развитию равенства, разнообразия и инклюзивности как работодатель с равными возможностями. Все соискатели будут рассматриваться без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или выражения, статуса ветерана или любого другого признака, защищённого применимым законодательством.

Мы приветствуем и ценим уникальность каждого человека. Присоединяйтесь к Intellias, чтобы построить карьеру, где ваши взгляды и вклад имеют решающее значение для нашего общего успеха.