QA Engineer / LLM Evaluation

В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента.

Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов.

Обязанности

• проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA

• тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов

• автоматизировать API- и UI-тесты

• проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок

• создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования

• формировать бенчмарки и метрики качества LLM-компонентов

• проверять воспроизводимость результатов и анализировать причины деградации качества

• участвовать в разборе дефектов и контролировать их исправление.

• Формировать quality gates для выпуска релизов

• организовывать валидацию результатов совместно с финансовыми экспертами.

Требования

• опыт в роли QA от 2х лет

• понимание основных видов и методик тестирования

• опыт тестирования REST API

• базовые знания Python и готовность развиваться в автоматизации

• базовый SQL

• умение работать с логами и локализовывать источник ошибки

• понимание клиент-серверной и микросервисной архитектуры

• внимательность к деталям и способность системно описывать дефекты

• опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом

• глубокая финансовая экспертиза не обязательна — необходимую предметную часть поможет освоить команда.

Условия

• комфортный современный офис рядом с м. Ленинский проспект

• гибридный формат работы

• ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования)

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета…