Заранее договоритесь о результате
Две модели нельзя честно сравнить вопросом «какая лучше». Запишите конкретную задачу: выделить поля, собрать резюме с обязательными условиями или найти различия двух версий. Затем перечислите ошибки. Если критерий появляется после ответа, выиграет более гладкий текст, а не тот, который помогает выполнить работу. Условия проверки должны быть понятны человеку, который не участвовал в выборе модели.
Отправьте одинаковые кейсы
Подготовьте обычный пример, неполный документ, конфликт версий и случай, где верный ответ — признать нехватку данных. Один и тот же запрос отправьте в обе модели. Названия лучше скрыть от проверяющего: тогда привычная марка не повлияет на решение. Не меняйте между прогонами длину контекста, источники и формат ответа, иначе вы измерите условия, а не качество модели.
Проверьте основания
Просите не только вывод, но и фрагмент исходника, на котором он основан. Откройте документ и сверяйте даты, числа, исключения и формулировки. Если модель уверенно пересказала текст, но не может показать основание, результат нельзя считать рабочим. Уверенный тон не доказательство. Это правило полезнее любого рейтинга, потому что защищает от правдоподобной, но ложной интерпретации.
Считайте весь маршрут
Секунды до первого предложения интересны, но важнее время до принятого ответа. Учитывайте повторные запросы, ручные исправления, уточнения и случаи остановки. Иногда более медленная модель требует меньше правок и выигрывает процесс. Иногда обе модели проигрывают, потому что источник неструктурирован или задача требует решения владельца. Такой вывод тоже полезен: он экономит время на ненужной интеграции.
Оставьте границу применения
Победить может не одна модель, а правило: одна годится для черновика, другая — для короткой классификации, а сложные документы остаются ручными. Запишите границы, версию и дату теста. После обновления не переносите старый вывод автоматически: прогоните те же случаи снова. Так выбор остаётся проверяемым, а не превращается в привычку, которую невозможно объяснить.
FAQ
**Нужен ли большой набор?** Начните с 15–20 разных случаев. **Может ли третья модель оценить ответы?** Она может сгруппировать замечания, но важные факты сверяет человек. **Что делать при ничьей?** Выбрать более простой маршрут или оставить задачу ручной.
Короткая проверка
- Понятны цель и человек, который примет результат.
- Исходники очищены, их версия и дата сохранены.
- Факты, числа и ограничения сверены вручную.
- Неудачный пример записан вместе с причиной.
- Есть измеримый следующий шаг и путь назад.