QA инженер (Поток)

Вакансия для того, кто хочет строить инновации мирового уровня и видеть реальный след от своей работы. Команда создаёт ИИ-решение для анализа реализации стратегии Сбера. Это кейс на уровне топовых мировых исследований в области сценарного моделирования комплексных экономико-социальных систем и построения предиктивных алгоритмов. Ищем в команду ребят с сильным техническим и концептуальным мышлением и жаждой создавать новое.

Обязанности

• функциональное тестирование backend сервисов и UI и написание и поддержка тестовой документации (чек-листы, тест-кейсы, баг-репорты, инструкции)

• подготовка тестовых данных для тестирования / проведения ПСИ, участие в релизах, проведение регрессионного тестирования и в проведении сценариев приемо-сдаточных испытаний (ПСИ)

• участие в работе с обращениями от пользователей и анализ информации в БД и логах сервисов

• построение и поддержка eval-набора (golden set) и регрессионного контроля качества при смене моделей, промптов и версий приложения

• автоматизированная оценка качества генерации (LLM-as-judge, метрики типа Ragas) при релизах

• тестирование RAG: качество поиска релевантного контекста, корректность источников, поведение при неполной / противоречивой информации

• тестирование агентных сценариев: многошаговые цепочки, вызовы инструментов (MCP), повторные попытки, эскалация к человеку

• участие в мониторинге качества в проде и настройке обратной связи от пользователей.

Требования

• опыт работы в тестировании от 3 лет

• понимание HTTP, кодов ответов, авторизации

• опыт тестирования API (REST/JSON) для проверки интеграций и бизнес-логики, микросервисного взаимодействия

• опыт тестирования запросов с помощью Postman/Insomnia/Swagger

• опыт работы с форматами данных: JSON, YAML, XML, HTML

• знание SQL, умение написать SQL запрос средней сложности

• базовый опыт работы с системами сбора и визуализации метрик, работа с логами (Prometheus, Grafana) и понимание CI/CD и участия QA в пайплайнах доставки

• понимание…