“这个模型感觉更好”是最不可靠的选型方式。换模型之前，应该先有一套属于你自己业务的评测集——几十到几百条真实问题与标准答案，覆盖你的典型场景、边界情况和高危输入。有了基线，任何模型升级都能量化。
评测集怎么建
从真实用户问题里取样，而不是凭空编题。某客服团队从历史工单里抽了 200 条高频问题，配上标准答案与“该引哪份文档”，做成评测集。之后每次换模型，都在同一批问题上跑，比较准确率、召回率与引用命中率，几分钟就得到一张对比表。
评测打分不只看对错
结构化输出看字段是否齐全、值是否正确；非结构化看事实一致性与是否跑题。甚至可以引入“第二模型评审第一模型”的自动打分，配合少量人工复核，形成可复用的评测流水线。
把成本放进来一起看
两个模型答案差不多，但一个价格贵一半、延迟快一倍，结论就完全不同。评测表应该同时记录准确率、召回率、平均延迟、单次成本四项，最终选型是精度与成本/延迟的权衡。
一句话：没有自己业务的评测基线，就没有可靠的模型决策。想要一套成形的评测方法，先梳理你的真实问题样本，再跑免费诊断确认口径。