QA Engineer (AI-агенты) + Python

Привет !

Мы компания Techno Diasoft - аккредитованная IT компания, созданная в 2008 году.

Специализируемся на разработке высоконагруженных FinTech проектах, создании умных устройств, голосовых ассистентов, а также разработке инновационных решений в области биометрии и искусственного интеллекта. Флагманским продуктом компании является автоматизированная банковская система xBank.

Мы постоянно растем: присоединяются новые таланты, появляются инновационные проекты, и нас выбирают ведущие банки, финансовые компании и инновационные предприятия. В настоящее время в компании работает более 300 сотрудников.

О проекте и задачах:

Сейчас мы в поиске тестировщика , который присоединится к одному из наших актуальных проектов.

Стек: PostgreSQL, Apache Kafka, OpenShift/DropApp, Qdrant, LangChain/LangGraph, Grafana, Prometheus, OpenTracing/OpenTelemetry, Python, Postman/Insomnia, Fiddler/Charles Proxy, Zephyr Scale

Задачи:

• Интеграционное тестирование: REST/gRPC, Kafka (очереди, статусы, повторная обработка), валидация данных между сервисами и базой данных.

• Регресс и релиз: участие в подготовке к релизу, проведение функционального и регрессионного тестирования продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции).

• Покрытие сценариев тестами: разработка и поддержка наборов тестовых сценариев, включая наборы для оценки качества ответов моделей (evaluation datasets, golden sets)

• Валидация LLM‐ответов и пайплайнов: проверка релевантности, галлюцинаций, заземлённости (grounding) и согласованности ответов, соответствие формату (structured output / JSON schema)

• Безопасность и соответствие: проверка на утечки чувствительной информации, валидация входных данных, контроль уязвимостей в зависимостях, соответствие внутренним политикам.

• Работа с промптами: тестирование промптов на устойчивость к вариациям формулировок, adversarial‐запросы, проверка поведения при «краевых» и «токсичных» запросах.

• Тестирование агентных сценариев: проверка логики…