Инженер по тестированию LLM-приложений

Привет! Давай знакомиться :)

Перфоманс Лаб – эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим более пятнадцати лет и очень любим свое дело!

Всегда находимся в поиске эффективных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки.

Формат работы: удаленно (Москва, Московская область)

Чем предстоит заниматься:

• разрабатывать и поддерживать методологию тестирования LLM-приложений;

• тестировать качество ответов моделей, в том числе с использованием подхода LLM-as-a-Judge ;

• проверять сценарии работы AI-агентов и выявлять ошибки в их поведении;

• разрабатывать, поддерживать и запускать автотесты;

• проводить функциональное, интеграционное и регрессионное тестирование веб- и API-сервисов;

• тестировать REST API и web-вызовы, анализировать HTTP-запросы и ответы;

• проводить нагрузочное и производительное тестирование;

• работать с TLS/SSL-сертификатами, цепочками доверия и защищённым взаимодействием сервисов.

Кого мы ищем:

• практический опыт тестирования LLM-приложений или AI-агентов ;

• понимание подходов к оценке качества ответов LLM и опыт применения LLM-as-a-Judge будет большим преимуществом;

• опыт API-тестирования: REST, HTTP, анализ запросов и ответов;

• опыт разработки и поддержки автотестов;

• опыт функционального, интеграционного и регрессионного тестирования;

• понимание принципов нагрузочного и производительного тестирования;

• понимание TLS/SSL и принципов защищённого взаимодействия сервисов;

• язык программирования для автоматизации — любой .

Что мы предлагаем:

• Белая зарплата, трудоустройство по ТК РФ, 31 день оплачиваемого отпуска в год;

• ИПР – Индивидуальный план развития для каждого сотрудника;

• Добровольный ДМС (50% оплата от компании);

• Корпоративные внутренние курсы: автоматизация…