Сценарий проверки
Представим внутреннего помощника, который отвечает сотрудникам по правилам компенсаций и командировок. В папке уже накопились утверждённая версия, старая копия и рабочий черновик. В демонстрации можно получить уверенный ответ, хотя система опиралась на прошлогодний документ. Это учебный сценарий, а не тест конкретного продукта; задача — подготовить контрольную процедуру, которую команда сможет повторить на своём поиске по документам.
Подготовьте эталон, а не случайный список вопросов
Владелец политики выбирает 15–20 вопросов с известными ответами и сохраняет для каждого цитату из действующего документа, дату его вступления и ссылку на раздел. Включите обычный случай, исключение, вопрос с отсутствующим условием и просьбу сравнить старую и новую редакции. Не используйте в эталоне персональные сведения сотрудников. До теста снимите копию набора, чтобы позднее случайно не поменять правильные ответы вместе с контентом.
Разделите ошибки по источнику
При каждом ответе записывайте версию файла, который модель цитирует, точность ссылки, полноту условий и необходимость эскалации. Ошибка может возникнуть на разных этапах: старая версия попала в индекс, поиск выбрал не тот раздел, модель неверно пересказала пункт или интерфейс убрал важную оговорку. Если хранить только итоговую оценку, команда не поймёт, чинить ли загрузчик, фильтр доступа, инструкцию или сам документ.
Проверьте поведение на противоречиях
Добавьте вопрос, где старая и новая версии дают разные суммы или сроки, а также запрос без указания даты ситуации. Правильная система должна попросить уточнение или сослаться на применимую редакцию, а не молча выбрать одну. Проверьте документ, разделённый на несколько файлов, и случай, когда нужного ответа в источнике нет. Требуйте от помощника явно говорить, что он не нашёл основание.
Не называйте выборку подтверждением качества для всех
Небольшой тест — это проверка конкретного регламента и набора формулировок. Он не доказывает точность помощника в налогах, кадрах или безопасности. Повторяйте тест после обновления документов, модели, индекса или прав доступа. Отдельно включите пользователей, которые задают вопросы коротко, с опечатками или внутренними сокращениями. Но не исправляйте только формулировку промпта, если проблема на самом деле в устаревшей копии.
Критерий допуска в рабочий процесс
Для ответов, влияющих на деньги, отпуск или обязательства компании, установите нулевой допуск к выдуманным условиям. Ответ должен включать ссылку на действующий регламент, дату версии и оговорку, если применимость зависит от обстоятельств. Человек подтверждает итог до принятия решения. Для общих справочных вопросов можно начать с режима чтения и собирать обратную связь, но не добавлять автоматическую запись в систему.
Что получилось измерить
На закрытом наборе руководитель получает таблицу: вопрос, ожидаемое основание, фактическая ссылка, версия, статус ответа, причина ошибки и время проверки. Полезные метрики — доля ссылок на актуальную редакцию, число неверных выводов по исключениям и доля корректных отказов. Сохраните каждый неверный ответ как регрессионный пример. Если меняете индексирование, прогоните те же вопросы снова и сравните не только среднюю оценку, но и критические провалы.
Вывод и FAQ
Устойчивость внутреннего помощника зависит от дисциплины документов не меньше, чем от выбранной модели. **Достаточно ли одной правильной ссылки?** Нет, содержание и версия тоже должны соответствовать вопросу. **Можно ли убрать человека?** Для решений с последствиями — не на основании маленького теста. **Что делать с устаревшим документом?** Удалить его из активного источника или пометить датой и статусом, затем перестроить индекс. **Нужно ли тестировать после обновления модели?** Да: изменение модели может поменять поиск, цитирование и поведение при отказе.