Исследование / 004

Как оценить пользу AI-агента с учётом проверки

Как посчитать пользу AI-агента с учётом ручной проверки, ошибок и цены контроля.

РЕЖИМ
поля можно скрыть
Лупа и оранжевый карандаш на петле бумажной ленты с синими фрагментами и отметками проверки.

Пока я проверяю простую мысль: агент полезен, если экономит больше работы, чем создаёт на проверке и исправлении.

01 / ВОПРОС

Слово «агент» ничего не говорит о работе

Можно назвать агентом цепочку из трёх действий. Можно дать модели доступ к данным и разрешить менять что-то без человека. Это разные системы с разным риском, но на презентации они часто выглядят одинаково.

Поэтому я начинаю не с выбора модели. Сначала описываю работу: что её запускает, кто ждёт результат, где система берёт контекст и как выглядит ошибка.

02 / РАБОЧАЯ МОДЕЛЬ

Пять мест, где задача становится проверяемой

Эта схема пока рабочая. Её задача не классифицировать все AI-системы, а быстро показать пробел в конкретном процессе.

Сигнал запускает работу, контекст определяет знания, действие ограничивает изменения, проверка назначает ответственного, стоп передаёт сбой человеку. После решения человек возвращает процесс к контексту.
Рабочая модель. У каждого перехода есть условие, у проверки — владелец.

Если в схеме нет владельца проверки, автоматизация просто переносит решение в место, где его труднее увидеть.

03 / ЦЕНА ПРОВЕРКИ

Быстрый черновик может оказаться дорогим

Время генерации легко измерить. Время человека, который читает ответ, сверяет факты, исправляет тон и отвечает за последствия, часто остаётся за рамкой. Сейчас это главный вопрос исследования.

  • Сколько минут ушло на проверку? Запуск сценария тоже входит в замер.
  • Где обнаружили ошибку? До отправки, после отправки или уже по жалобе.
  • Кто отвечает за итог? Человек, команда или владелец процесса.
  • Что произойдёт при молчаливой ошибке? Такой сбой опаснее явной остановки.
Учебный пример: вручную 60 минут. С AI: запуск 10, проверка 20, исправления 15; всего 45 минут. Экономия 15 минут. Для вывода нужны свои замеры.
Учебный пример, минуты человека на одну задачу. Числа показывают метод расчёта; это не результат исследования.
ГРАНИЦА ВЫВОДА

У меня пока нет подтверждённой универсальной цифры экономии. На этой версии я фиксирую способ её посчитать.

04 / ПРОВЕРКА НА ПРАКТИКЕ

Что измерить на своей задаче

  1. Один повторяемый процесс. Без списка из десятков сценариев.
  2. Ручной замер до внедрения. Иначе не с чем сравнивать.
  3. Журнал ошибок. Вид ошибки, момент обнаружения и стоимость исправления.
  4. Правило остановки. Когда система передаёт задачу человеку.

Сравните полную стоимость работы до и после автоматизации: запуск, проверку, исправления и последствия пропущенных ошибок.

ОБСУЖДЕНИЕ

Пока тихо. Можно начать.

Загружаю обсуждение…