Начните не с нейросети, а с очереди задач
Выпишите пять операций, которые сотрудники повторяют каждую неделю: перенос данных, первичный разбор обращений, подготовка черновика, поиск по внутренним документам. Для каждой отметьте исполнителя, входной материал и результат, который сейчас принимает человек. Хороший кандидат — не самая эффектная задача, а та, где шаги повторяются и ошибку можно заметить до отправки клиенту.
Отберите подходящий участок
Поставьте каждому кандидату три простые оценки: сколько раз он возникает, сколько ручного времени занимает и насколько дорого обходится ошибка. Не берите процесс, который держится на устных договорённостях одного специалиста: сначала опишите исключения. Не автоматизируйте действие с необратимым эффектом, если нельзя поставить ручное подтверждение. Оставьте один узкий этап, например классификацию входящих заявок, а не «работу отдела продаж».
Зафиксируйте исходный уровень
До пилота измерьте привычный маршрут на нескольких реальных, обезличенных примерах. Запишите время до принятого результата, число исправлений, возвраты и случаи, где сотрудник искал недостающие сведения. Именно с этой точкой сравнивается новый процесс. Если зафиксировать только скорость ответа модели, можно получить быстрый черновик, после которого человек потратит ещё больше времени на проверку.
Сделайте короткий пилот
Подготовьте небольшой набор: обычный пример, неполные данные, редкое исключение и сложный случай. Попросите модель выполнять только выбранный этап и сообщать, чего ей не хватает. В первые запуски не подключайте автоматическую отправку, изменение CRM или финансовое действие. Сотрудник проверяет результат по заранее написанному критерию и отмечает тип ошибки, а не просто ставит общую оценку «нормально».
Считайте пользу до результата, а не до генерации
Сравнивайте полное время от поступления задачи до принятого результата. Вычтите время на подготовку данных, ожидание, проверку и исправления. Добавьте долю корректных случаев и цену серьёзного промаха. Если черновик появился за минуту, но его всё равно приходится перепроверять целиком, процесс не стал короче — изменился только экран. Для расчёта достаточно одной таблицы с одинаковыми колонками для ручного и нового маршрута.
Заранее задайте критерии остановки
Приостановите пилот, если ошибки повторяются на критических полях, инструкция требует постоянного устного пояснения или проверка занимает столько же, сколько старая работа. Это не провал: часто достаточно сузить входы или разрешить модели только подсвечивать кандидатов. Результат можно расширять, если другой сотрудник повторяет процесс по инструкции, метрики устойчивы на новых примерах, а возврат к ручному варианту занимает один понятный шаг.
Пример: разбор входящих заявок
Для первичной сортировки обращений человек обычно читает письмо, выбирает тему и передаёт его нужной группе. На пилоте система предлагает категорию и кратко указывает фразы, на которых основан выбор; сотрудник подтверждает или исправляет результат. Измеряйте долю верной маршрутизации и время до назначения ответственного. Не позволяйте модели самой обещать сроки или менять условия клиенту. Перед отправкой черновика пригодится отдельная проверка ответа нейросети.
Вопрос: сколько примеров нужно для первого теста?
Начните с 10–20 разнообразных случаев, если задача узкая; этого достаточно, чтобы найти очевидные пробелы, но недостаточно для смелых выводов о точности. Для решения о масштабировании расширьте набор, добавьте редкие и конфликтные ситуации и проверьте его на данных, которые не использовались при настройке. Запишите дату, версию модели и правила оценки — иначе повторный тест будет несопоставимым.