很多律所和法院的法律 AI 项目,卡在同一道坎上:试用时模型答得头头是道,真拿去办案,却发现它引用的案号查无此案、把判决结果说反、把法条条款号记错。在别的行业,幻觉是个准确率问题;在法律行业,一条假引用就足以让一份意见书报废、让一次庭审被动,海外甚至已有律师因为提交了 AI 编造的虚假判例而被法院处罚。这篇写给在评估、采购、验收法律 AI 的人:讲清法律大模型为什么会"一本正经地编案例"、幻觉的四种典型形态、治理它真正的根在哪(不是换个更大的模型,而是真实可核验的语料 + 引证核验),以及验收时怎么用你自己的业务把幻觉率实测出来。
一、为什么法律场景的幻觉,比别处都致命
大模型在写营销文案时编一句,顶多不够准;在法律场景里,输出是要拿去支撑法律判断的,容错率近乎为零。法律 AI 的幻觉有三个让人后背发凉的特点:
- 它编得"像真的"。大模型最擅长的恰恰是模仿格式——它能拼出一个格式完全标准的案号(比如"(2021)京0105民初XXXXX号")、一段措辞专业的裁判要旨,外行甚至同行一眼都看不出是假的。越逼真,越危险。
- 错误会被"权威感"放大。当 AI 用确定的语气告诉你"某案确立了某规则",使用者很容易直接采信、写进文书。一个幻觉就这样从模型输出变成了正式法律文件里的内容。
- 后果是法律责任,不是用户体验。引用了不存在的判例、把对当事人不利的判决当成有利判决引用,影响的是案件结果和执业风险。这也是为什么"准确率 95%"这种说法在法律场景里没意义——你不知道出问题的是不是恰好这一条。
所以法律行业对 AI 的第一诉求,从来不是"更聪明",而是"说的每句话我都能核到原文"。这是评估任何一套法律 AI 系统的第一性问题。
二、法律大模型为什么会"一本正经地编案例"
要治幻觉,先得理解它从哪来。通用大模型的本质是一个概率语言模型:它根据海量文本学到了"判决书长什么样、法律论证怎么写",然后按"下一个最可能出现的词"把答案生成出来。关键在于——
它学的是语言规律,不是事实清单。模型脑子里没有一份"哪些案子真实存在"的台账,它只是在"补全一段看起来最像真判决的文字"。所以当你问一个具体类案,它会非常自信地生成一个高度逼真但可能完全虚构的案例——这不是它"出故障",而是纯生成式模型的固有机制。
这意味着两件事:第一,幻觉不是靠"调教提示词"能根治的,提示词只能缓解;第二,换一个参数更大的模型也不能根治,模型再大,它依然是在凭记忆生成,而不是在查一个真实的库。真正的解法只有一个方向:别让它凭记忆答,让它看着真材料答,并且强制它把材料的出处亮出来。
三、法律 AI 幻觉的四种典型形态
把幻觉拆开看,验收时才知道该测什么。法律场景里最常见的是这四种:
| 形态 | 表现 | 危害 |
|---|---|---|
| ① 凭空编造 | 案号、当事人、法院、裁判要旨全是虚构的,但格式完美 | 引用一个根本不存在的判例,最危险 |
| ② 张冠李戴 | 案号是真的,但把这个案子的裁判结果、要旨说成了别的 | 表面可核,实则歪曲,最隐蔽 |
| ③ 结果说反 | 把"驳回""不予支持"说成"支持",把败诉案当胜诉案引 | 方向性错误,直接误导办案判断 |
| ④ 法条/数字错 | 法条条款号记错、引用已失效的旧法、赔偿数额/比例算错 | 看似细节,却是文书硬伤 |
注意:②③④ 这三种比①更难发现,因为它们"半真半假"。一个只会查"案号存不存在"的核验机制,挡得住①,挡不住②③。所以真正的引证核验,不能只验案号,还要验裁判结果与原文是否一致。
四、治理的根:在真实可核验的语料上做 RAG
治幻觉的主线技术,是 RAG(检索增强生成):不让模型凭记忆答,而是先从一个真实语料库里检索出相关判决,再让模型基于检索到的真实内容来回答和引用。这一步把"凭印象编"变成了"看着真材料转述",是抗幻觉的地基。
但 RAG 能不能真的兜住幻觉,取决于两个前提,而这两个前提都落在数据上:
- 语料必须真实、完整、可回链原文。RAG 检索的是什么,模型就基于什么答。如果底层是个残缺的、来源不清的、点不开原文的数据集,那检索出来的"依据"本身就不可信,核验更无从谈起。一套包含 1.5 亿份真实裁判文书、每一条都能回链到原始判决的语料,才是 RAG 真正能依赖的底盘。
- 检索必须召得准。如果该召回的对的判决没被检索出来,模型为了"答得完整",有概率又退回去编。所以检索质量(语义 + 关键词 + 结构化过滤的混合召回)直接决定残留幻觉的多少。这一层怎么做,可参考 类案检索 API:语义向量 vs 关键词,哪种更准。
一句话:模型是表,数据是根。没有真实可核验的语料,再好的模型也只是把幻觉包装得更精致。这也是为什么严肃的法律 AI,数据底座的权重远高于模型选择——相关的私有化数据架构可参考 1.5 亿裁判文书私有库的本地化部署架构。
五、引证核验的工程落地:每条引用都要"对账"
RAG 把幻觉大幅压低,但不会归零(检索漏召、转述说反仍可能发生)。所以 RAG 之上必须再叠一层引证核验——把模型说的每一条引用,逐条拿去和真实语料对账。一条可落地的核验链路大致是:
# 引证核验流水线(对模型给出的每一条引用执行)
1. 抽取引用 → 从回答里解析出 案号 / 法条 / 引用的裁判要旨
2. 案号存在性校验 → 案号在 1.5 亿语料中是否真实存在?不存在 → 标红/丢弃
3. 回链原文 → 给出可打开的原始判决链接,让人能一键核对
4. 一致性比对 → 模型转述的裁判结果 / 要旨 与原文是否一致?不一致 → 告警
5. 法条校验 → 条款号、现行有效性核对(避免引已废止的旧法)
6. 兜底策略 → 查不到就如实说"未检索到",禁止编一个出来
这套机制的价值在于:它把"信不信 AI"从一个玄学问题,变成了一个可核对的工程问题。律师不需要相信模型,他只需要点开每一条引用回链的原文,30 秒就能确认真假。把法律 AI 从"看感觉"做到"每句可核",这正是 律师工作台 这类产品和裸调一个大模型的本质区别。
一个关键的产品取舍:合格的法律 AI 必须接受"检索不到时,宁可少说"。一个会在查无结果时坦白"未检索到相关判例"的系统,比一个永远能"给你编一个"的系统,可信度高一个量级。验收时一定要专门测这一条。
六、验收法律 AI 时,怎么把幻觉率实测出来
厂商的 demo 永远是挑过的。真正能保护你的,是用你自己的真实业务做一轮盲测。建议这样测:
- 准备真题。从本所/本院真实业务里挑 30–50 个有代表性的问题(覆盖你常办的案由),让系统回答,并要求它列出所引用的每一个案例和法条。
- 逐条核验,算"引用错误率"。对每一条引用核四件事:案号是否真实存在、能否回链打开原文、转述的裁判结果与原文是否一致、法条条款号与现行有效性是否准确。统计编造或张冠李戴的引用占比——这个数字比任何宣传都实在。
- 红队诱导测试。故意问不存在的法条、诱导它得出某个你想要的结论,看它会不会顺着你编。合格系统应当顶住诱导、如实说"未检索到"。
- 边界场景。问最新的、冷门的、跨案由的问题,看它在语料覆盖边缘是更倾向于"诚实地说没有",还是"自信地编一个"。
把"引用错误率"和"诱导下的编造率"写进采购技术要求和验收标准里,比写"准确率 ≥ X%"有用得多——因为它直接对应你最怕的那个风险。
七、给信息中心主任的引证核验清单
- 底层语料是真实、完整、可回链原文的吗?问清数据来源、规模、能否定位到每一份原始判决——这是抗幻觉的根,先验数据再谈模型。
- 是 RAG 检索式回答,还是纯生成?纯靠大模型记忆生成的,幻觉无解;必须是基于真实语料检索后再回答。
- 每一条引用都能一键回链原文吗?不能回链的引用,等于不可核验,等于没法用在办案上。
- 核验是否覆盖"结果一致性",而不只是"案号存在"?能挡住张冠李戴和结果说反,才算真核验。
- 查不到时,系统会如实说"没有"吗?专门测诱导场景,拒绝"永远能给你编一个"的产品。
- 法条引用有现行有效性校验吗?避免引用已废止/已修订的旧法。
- 验收用的是你自己的真题盲测,还是厂商的演示?一定要用本所/本院真实问题实测引用错误率。
- 私有化部署时,这套核验是否完整保留?数据落到内网后,回链、核验、留痕能力不能因为离线而缩水。
八、常见问题
Q:是不是用了 GPT-4 / DeepSeek 这种顶级模型,幻觉就没了?
A:不会。模型越强,编出来的假案例越逼真,反而更难一眼识破。幻觉的根在"凭记忆生成"这个机制,不在模型大小。解法是给它接真实语料做 RAG,并强制引证核验,而不是赌一个更大的模型。
Q:我们做了 RAG,为什么还会偶尔出现假引用?
A:RAG 降幻觉但不归零。常见两个原因:检索没召回到对的判决(模型为了答完整又退回去编)、或召回对了但转述时把结果说反。前者要优化检索质量,后者要靠引证核验里的"结果一致性比对"兜住。RAG + 核验,两层一起才稳。
Q:私有化离线部署后,引证核验还能用吗?
A:能,而且更该用。私有化部署把 1.5 亿裁判文书语料整套落到内网,案号校验、原文回链、一致性比对都在内网本地完成,数据不出域。离线不是削弱核验,反而让"可核验 + 可控 + 可审计"在一套系统里同时成立。
想要一套"每句可核"的法律 AI?
文书查提供 1.5 亿份真实裁判文书的私有化数据底座 + 引证回链与核验能力。把你的真实业务问题发来,我们用你自己的题做一轮幻觉实测,看引用错误率,1 个工作日内反馈。
📞 联系商务 Jack · 131 6872 7779相关阅读:类案检索:语义向量 vs 关键词 · 1.5 亿裁判文书私有库部署架构 · 律师工作台:让胜算精确到小数点 · 私有化如何满足客户保密义务 · 私有化部署方案