QA-инженер AI/LLM-систем

Компания «Ланит-Терком», входит в группу компаний «Ланит » и занимается разработкой программного обеспечения. В нашем фокусе сложные наукоёмкие и социально-значимые проекты.

Сейчас мы расширяем команду тестирования для нашего ключевого партнера — крупнейшего лидера горно-металлургической отрасли России. Вам предстоит работать в кросс-функциональной команде заказчика над развитием и эксплуатацией современных интеллектуальных систем и ИИ-агентов.

Задачи:

• Тестирование новых и доработанных версий ИИ-агентов;

• Проверка качества и релевантности ответов ИИ-агентов и LLM-моделей;

• Выявление логических ошибок, галлюцинаций, некорректных или нестабильных ответов систем;

• Анализ причин деградации качества работы моделей и фиксация отклонений;

• Постоянный мониторинг продуктовых показателей качества (метрик ответов);

• Формирование четких задач для команды разработки на исправление багов;

• Подготовка аналитических выводов и отчетов по результатам проверок качества.

Что мы ждем от вас:

• Практический опыт работы с ИИ-агентами или тестирования AI/LLM-приложений.

• Базовое понимание архитектуры и принципов работы AI/LLM-систем;

• Опыт работы в тестировании ПО не менее 3 лет;

• Опыт с SQL, JSON, REST API, Postman/Swagger, знакомство с брокерами сообщений, системами логирования Grafana/Prometheus и структурированными массивами данных;

• Опыт постановки задач и взаимодействия с техническими командами.

Будет плюсом:

• Опыт построения или использования метрик качества ответов LLM;

• Опыт работы с ITSM- или Help Desk системами;

• Опыт участия в крупных промышленных или корпоративных ИТ-проектах.

Условия:

• Достойная полностью белая заработная плата, официальное трудоустройство с первого дня, предоставляется техника для работы;

• График работы 5/2, гибкое начало дня;

• Гибкий формат: полностью удаленная работа из любой точки РФ или гибрид (для желающих доступен комфортабельный офис в Санкт-Петербурге);

• ДМС, компенсация спорта, онлайн-английский…