QA-инженер AI-агента (тестирование и разметка данных)

Мы — Alventa.ai, делаем AI-голосового администратора для стоматологических клиник. Агент сам принимает звонки пациентов, консультирует, записывает на приём, переносит и отменяет визиты. Он говорит по-русски в реальном времени и ведёт диалог по сценариям, заданным в состояниях.

Ищем QA-инженера, который выстроит системное тестирование агента и замкнёт цикл «нашли баг → разметили данные → дообучили модель → проверили, что баг закрыт». Тестировать нужно не форму на сайте, а живой диалог, который каждый раз идёт немного по-разному.

Чем предстоит заниматься

• Строить тестовую модель агента: сценарии звонков (запись, перенос, отмена, консультация, продажа услуги), состояния и переходы между ними, граничные и нестандартные случаи

• Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы

• Прогонять сценарии: звонить агенту вручную и запускать текстовые прогоны. Проверять перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время

• Учитывать недетерминированность LLM: гонять кейс несколько раз, считать долю успешных прогонов, отделять стабильные баги от случайных

• Заводить баги с чёткой классификацией: ошибка распознавания речи, неверный переход по сценарию, неправильно извлечённые данные, галлюцинация, грамматика, тон и стиль, синтез речи

• Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест-кейсы

• Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары «хороший / плохой ответ» для дообучения

• Писать критерии оценки и инструкции для автоматической проверки ответов через LLM (LLM-as-a-judge) и выборочно проверять её оценки

• После каждого релиза или дообучения проверять, что старые баги закрыты и не появились новые

Что мы ждём от тебя

• Коммерческий опыт в тестировании от 2 лет

• Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise

•…