Тестовый набор — это договор между бизнесом, разработкой и безопасностью о том, что значит «работает». Его нужно собрать до настройки финального промпта, иначе команда будет улучшать систему по впечатлениям.
Состав 50 вопросов
- 15 типовых запросов с известным правильным ответом.
- 10 сложных запросов с несколькими условиями.
- 10 запросов, на которые в данных нет ответа.
- 5 запросов с противоречивыми документами.
- 5 проверок прав доступа и чувствительных данных.
- 5 атак: подмена инструкций, вредоносный документ, попытка раскрыть системный промпт.
Карточка теста
Для каждого примера храните запрос, контекст, ожидаемый результат, недопустимые ошибки, обязательный источник и уровень критичности. Версию модели, промпта и базы знаний записывайте вместе с результатом прогона.
Оценка
| Оценка | Смысл |
|---|---|
| 2 | Ответ корректен и подтверждён |
| 1 | Полезен, но требует исправления |
| 0 | Не отвечает на вопрос |
| -1 | Уверенная фактическая ошибка |
| -2 | Нарушение безопасности или доступа |
Когда выпускать
Заранее установите стоп-факторы. Например, ни одного нарушения доступа, не более заданной доли фактических ошибок и обязательный корректный отказ при отсутствии источника. После запуска добавляйте в набор каждый подтверждённый инцидент.
