Допустим, помощник подготовил сто ответов клиентам. Менеджер отправил двенадцать, остальные написал сам.
Сто и двенадцать здесь условные числа. Но что из этого попадёт в отчёт о внедрении?
Если только количество генераций, помощник выглядит страшно занятым.
Я бы сел рядом с менеджером и посмотрел, почему он выбрасывает черновики. Может, там неверные условия. Может, на простой вопрос про доставку бот отвечает как пресс-служба министерства. А может, ответ появляется, когда клиенту уже всё написали.
Тогда становится понятно, что исправлять. До этого можно бесконечно менять промпт и радоваться, что текст стал красивее.
Для проверки пользы я бы считал всё время: ожидание ответа, чтение, сверку и правки. Потом сравнил с такой же задачей без помощника.
Если вручную быстрее, сотрудник вполне разумно им не пользуется. Его ещё и заставлять нажимать кнопку ради отчётности — совсем обидно.
Спросите у коллег, которые работают с ИИ: какой его результат они действительно использовали сегодня?