主观判据的prompt规则会随机误触发

更新于 2026-07-29

**把「信息是否充足」这类判断完全交给模型主观决定的 prompt 规则，会产生同输入下的随机误报 —— 实测同一篇文章（内容 hash 完全相同、输入 ~5650 tokens 的完整正文）3 次独立生成，2 次误报「原文信息不足」，1 次正常。**

机制

规则原文只写「正文信息不足时明确写『原文信息不足』，并只说明能够确认的内容」，没有给任何判定标准。轻量模型面对长文时会把「输出长度装不下这么多内容」自我开脱成「信息不足」，随机走进这条逃生通道。

⇒ 规则要写成可判定的条件（有明确触发信号、可被外部证据检验），或者把它从「模型判断」降级为「有明确条件的输出分支」。

排查这类问题的方法论

  1. 先证明模型当时收到了什么输入：输入 token 数、正文内容 hash、文章与摘要的关联是否正确。三项都对 → 排除数据、归一化、关联问题，才轮到 prompt。
  2. 不要用「删掉那句话」或输出后处理来掩盖：那会盖住真实的数据一致性问题。
  3. 分清同症状的不同根因：另一类「摘要与正文不符」是旧摘要对应旧正文——正文更新时版本递增却不清空摘要，补漏只扫 summary=null，旧摘要因此不失效重跑（见 存量不会自动跟上新逻辑）。prompt 误判 vs 陈旧派生数据，先分开再动手。

相关