Тестировщик Naimus.Ai

Обязанности:

• Тестирование ML-модели:

• Проверка точности, полноты и recall модели на различных наборах данных.

• Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи.

• Проведение A/B тестов разных версий моделей.

• Смещение (Bias) и Дисперсия (Variance): Умение распознавать случаи переобучения (overfitting) и недообучения (underfitting).

• Тестирование на смещенных данных (Bias & Fairness) : поиск сценариев, где модель работает несправедливо по отношению к определенным группам (например, по полу, возрасту, расе).

• Тестирование данных (Data Testing):

• Проверка качества входных данных: их полноты, консистентности, корректности форматов.

• Валидация данных, используемых для обучения и валидации модели.

• Тестирование функциональности AI-фич:

• Проверка корректности и уместности ответов, работы с контекстом.

• Проверка релевантности выданных рекомендаций.

• Работа с "Пограничными случаями" (Edge Cases) и "Составлением яда" (Data Poisoning):

• Целенаправленный поиск и создание входных данных, которые могут сломать или обмануть модель (adversarial examples).

• Тестирование модели на данных, сильно отличающихся от обучающей выборки (out-of-distribution data).

• Функциональное тестирование

Требования:

• Базовые знания :

• Разработка и поддержка тест-кейсов, чек-листов, тест-планов.

• Активное использование техник тест-дизайна для покрытия функциональности.

• Качественное оформление баг-репортов с четкими шагами воспроизведения, логами, скриншотами.

• Умение декомпозировать сложную проблему на составляющие.

• Анализ корневых причин (Root Cause Analysis)

• Технические навыки :

• Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine)

• Уверенное написание SQL запросов: SELECT, WHERE, JOIN (как минимум INNER и LEFT), GROUP BY, ORDER BY

• Инструменты : опыт работы с инструментами тестирования и БД (Postman…