AI-агент отличается от чат-бота тем, что не только формирует текст, но и планирует шаги, вызывает инструменты и изменяет внешние системы. Главный вопрос управления — какие действия разрешены без человека и как восстановить состояние после ошибки.
Четыре уровня автономии
| Уровень | Пример | Контроль |
|---|---|---|
| 0. Совет | Черновик ответа | Человек выполняет действие |
| 1. Подтверждение | Подготовленный платёж | Человек утверждает каждый запуск |
| 2. Ограниченная автономия | Обновление карточек в пределах правил | Лимиты, выборочная проверка, откат |
| 3. Автономный процесс | Низкорисковая фоновая обработка | Непрерывный мониторинг и стоп-механизм |
Обязательные ограничения
- минимальные права для каждого инструмента;
- разделение чтения и изменения данных;
- лимиты суммы, количества и времени;
- проверка аргументов перед вызовом;
- неизменяемый журнал запроса, решения и результата;
- идемпотентность и возможность отката;
- автоматическая остановка при аномалии.
Матрица ответственности
Владелец процесса отвечает за бизнес-результат, владелец данных — за доступ и качество, техническая команда — за ограничения и наблюдаемость, ИБ — за модель угроз, а пользователь должен видеть границы возможностей системы. «Решил агент» не является допустимым владельцем решения.
Красные линии
Без обязательного подтверждения нельзя отдавать агенту необратимые действия с деньгами, правами доступа, персональными данными, публикацией юридически значимого содержания или остановкой критической инфраструктуры.
