AI-пилот нужен для проверки гипотезы в контролируемом масштабе. Его результатом должна стать измеримая рекомендация, а не эффектная демонстрация. Этот чек-лист подходит для внутренних ассистентов, поиска по документам, поддержки операторов и автоматизации обработки текста.
1. Назначьте владельца результата
У пилота должен быть руководитель со стороны бизнес-процесса, а не только техническая команда. Он определяет, какой результат считается полезным и кто принимает решение после теста.
2. Запишите базовую метрику
До внедрения измерьте текущий процесс: время операции, долю ошибок, стоимость и объём ручной работы. Без исходной точки нельзя доказать эффект AI-системы.
3. Ограничьте данные
Используйте минимально необходимый набор. Отдельно отметьте персональные данные, коммерческую тайну и документы с ограниченным доступом. Проверьте договорные условия поставщика, журналирование и удаление информации.
4. Соберите тестовый набор
Включите обычные запросы, редкие случаи, неоднозначные формулировки и попытки получить запрещённую информацию. Ответы проверяйте по заранее утверждённым критериям, а не по общему впечатлению.
5. Ограничьте полномочия
На первом этапе модель не должна самостоятельно отправлять письма, менять данные или совершать финансовые действия. Любая операция с последствиями проходит подтверждение человеком и записывается в журнал.
6. Настройте наблюдаемость
Сохраняйте версию модели, время ответа, использованные источники, стоимость и результат проверки. Это позволит понять, почему качество изменилось после обновления модели или базы знаний.
7. Проверьте аварийный сценарий
Определите, что происходит при недоступности API, превышении бюджета, падении качества или утечке чувствительных данных. Должны существовать выключатель функции и понятный возврат к ручному процессу.
8. Примите решение по порогу
До начала пилота установите минимальный прирост качества или экономии и максимальный уровень риска. По завершении выберите одно из трёх действий: масштабировать, переработать архитектуру или остановить сценарий.
Рабочий результат пилота: таблица метрик до и после, журнал ошибок, карта данных, расчёт стоимости и решение ответственного руководителя.
