Senior/Lead QA Engineer (AI/LLM Products)

Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов.

Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.

Чем предстоит заниматься:

• функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)

• разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)

• тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам

• оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)

• анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности

• автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели

• тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг

• ведение тестовой документации, баг-репортов, участие в приёмке фич

• взаимодействие с разработчиками и ML-инженерами при разборе дефектов.

От кандидатов ждем:

• опыт в тестировании от 5 лет (ручное + автоматизация)

• практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент

• понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами

• уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST

• понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и…