Популярность, красивый интерфейс и число звёзд на GitHub не заменяют техническую проверку. Перед пилотом команда должна получить ответы хотя бы на десять вопросов.
1. Какую задачу решает инструмент?
Опишите один процесс и измеримый результат. Если продукт одновременно обещает «автоматизировать всё», область пилота нужно сузить.
2. Какие данные он получает?
Составьте перечень полей, документов и метаданных. Не передавайте реальные чувствительные данные, пока не изучены условия обработки и удаления.
3. Где хранятся запросы и файлы?
Проверьте регион хранения, срок, резервные копии, журнал доступа и возможность полного удаления.
4. Чем ограничены права агента?
Особенно внимательно проверяйте инструменты, способные запускать код, читать почту, обращаться к CRM или менять файлы. OWASP относит избыточную автономность и небезопасную обработку выходов к отдельным классам риска.
5. Как обрабатываются недоверенные входы?
Документы, веб-страницы и пользовательские сообщения могут содержать инструкции для модели. Нужны фильтрация, разделение системных и пользовательских данных и запрет на выполнение скрытых команд.
6. Проверяются ли ответы?
Структурированный вывод валидируется по схеме; фактические ответы сопоставляются с источниками; действия с последствиями подтверждает человек.
7. Есть ли журнал и метрики?
Минимальный журнал включает версию модели, время, стоимость, используемые инструменты, источники и итог операции без сохранения лишних персональных данных.
8. Как меняется стоимость при росте?
Посчитайте повторные вызовы, поиск, эмбеддинги, хранение, модерацию и ручную проверку. Установите дневной лимит и предупреждения.
9. Как обновления влияют на качество?
Сохраняйте контрольный набор и повторяйте его при смене модели, промпта или источников. NIST AI RMF рассматривает управление риском как непрерывный процесс на всём жизненном цикле.
10. Как отключить инструмент?
Должны быть экспорт данных, отзыв ключей, отключение интеграций и возврат к предыдущему процессу. План выхода проверяется до начала промышленной эксплуатации.
