A/B-тест модели в команде: как сравнить результат, а не впечатление

Суть задачи

Задача

Выберите один результат и заранее назовите опасную ошибку.

Исходные данные

Добавьте обычные и неудобные входы, не меняйте prompt по ходу сравнения.

Рабочий маршрут

Проверяющий сверяет ответ с источником и отмечает время правки.

Проверка

Считайте вызовы, задержку, повторы и ручную проверку.

Практический пример

Расширяйте только маршрут с измеримым выигрышем.

Риски

Нужен ли человек? Да. Когда мигрировать? После повторяемого теста.