相似度分数不等于答案可用
在语义上可以高度相似,但答案完全不同 —— 于是分数越高,误用答案的风险越大。
一、分数与可用性之间隔着三件事
| 分数能说明 | 分数说明不了 |
|---|---|
| 文本/语义接近 | 题干关键条件是否一致 |
| 属于同一知识点 | 选项是否只是顺序变化 |
| 可能是同一道题 | 返回的答案与解析是否自洽 |
所以「命中」不是一个阈值判断,而是一组条件校验:关键数字、约束条件、设问方式、选项内容, 逐项对上才能用它的答案;对不上就降级为「相似题参考」,另行解答或澄清。
二、阈值本身的三个问题
看到一个像 0.85 这样的阈值,要问:
- 它是谁定的、依据是什么? 没有标注集算出来的阈值只是拍的。
- 它测的是什么相似度? 题干文字、图片、向量空间,量纲不同,同一个数字含义不同。
- 它是全局一个值吗? 不同题型/科目/长短文本,合适的阈值本就不同。
三、正确的检查顺序
先按条件校验(能不能用)
→ 再按分数排序(哪一个最像)
反过来做(先取最高分再直接使用)就是「把相似当成了等价」。
相关
- 检索是一条分层链 —— 分数只是召回层的一个信号,不能当终局判据
- 判据要用真值而非代理 —— 相似度是「答案可用」的代理,代理不能替真值
- 评测要先隔离被测层 —— 校验规则要能被单独评测,才看得出它是否有效
- 混合检索先用RRF融合 —— 融合排序解决「排第几」,不解决「能不能用」