采购法律 AI,最容易踩空的不是招标、不是谈判,而是验收。前面的采购清单、技术参数都做对了,到了验收,很多单位却又退回到"看厂商演示、对着参数表勾满足"的老路——于是一套会编案例、数据来路不明、断网就趴窝的系统,就这样被签字收下了。验收是采购的最后一道闸,也是最容易被套壳 demo 蒙混的一步。这篇写给真正要组织验收、要在验收报告上签字的人:把法律大模型的验收从"信不信厂商"这个话术问题,变成一个用本单位真题现场测、逐项算指标、可对账的工程问题——怎么建盲测集、测哪些量化指标、怎么组织红队、怎么设一票否决与评分表,逐一给方法。
一、为什么"演示通过"不等于"验收通过"
厂商演示和真实验收,是两件事。演示用的是厂商反复调过、确保能答对的题;你真实办案遇到的题,它没见过。演示证明的是"系统在最好情况下能做什么",而你要验的是"系统在我的真实业务上,稳定能做到什么"。在法律场景里,这两者的差距被三个因素放大到致命:
- 失败藏在长尾里。常见案由厂商都调过,答得漂亮;真正暴露问题的是生僻案由、边界情形、故意设的陷阱题——而这些恰恰是演示里不会出现的。一套在演示里滴水不漏的系统,可能一遇冷门问题就开始"一本正经地编案例"。
- 错误的代价是法律责任。别的行业系统答错是体验差;法律 AI 编一个不存在的判例、把败诉当胜诉引,后果是办案出错、执业风险。所以验收必须能量化"它多久错一次、错得多离谱",而不是"它演示时对不对"。
- 验收一签字,风险就转移了。验收报告是采购闭环的最后凭证。含糊验收 = 把一套没经过真实检验的系统,连同它的风险,正式接进了办案流程。
所以验收的分水岭只有一句话:用你自己的真题,而不是厂商挑好的题。本文和另外两篇是一套——法院信息中心 AI 采购清单(采购全流程)、招投标技术参数怎么写(把要求写进招标文件)——本文专注最后一环:东西到货了,怎么验它是不是真货。
二、验收方法的总框架:从"勾选题"到"实测题"
一套能落地的法律大模型验收,由五个动作组成。核心是把每一项关键能力,从"是否满足"的勾选,改成"用我方真实数据现场测出来的量化结果"。
| 验收动作 | 要点 | 产出 |
|---|---|---|
| ① 建盲测集 | 从本单位真实场景抽题,厂商事先看不到,覆盖常见/生僻/陷阱三类 | 带参考答案的真题集 |
| ② 跑量化指标 | 引用错误率、回链可核率、结果一致性、离线可用性等逐项测 | 各项指标数值 |
| ③ 红队诱导 | 故意问不存在的法条/诱导下结论,看系统是否如实说"没有" | 抗诱导表现 |
| ④ 环境实测 | 私有化在内网、断网状态跑全流程;信创/等保按本单位要求现场验 | 部署合规证据 |
| ⑤ 评分与判定 | 关键项设一票否决,其余按权重打分,写进验收报告留痕 | 验收结论 + 报告 |
三、盲测集怎么建(验收有没有意义,一半在这)
盲测集的质量,直接决定验收能不能测出真问题。三条原则:
- 题从真实场景来。从本单位真实办案、咨询、检索场景里抽,不要用网上的标准题——只有真实业务题,才测得出系统在你这里到底行不行。
- 结构比数量重要。题量几十道即可暴露问题、上百道更稳,但关键是三类都要有:常见案由验"稳不稳",生僻案由验"编不编",陷阱题(不存在的法条、诱导性提问)验"会不会如实说没有"。只测常见案由的验收,基本等于没验。
- 预先标好参考答案。每道题由业务骨干预先标注参考结论与"可接受的引用范围",现场测完才能逐题客观打分,而不是凭感觉"看着还行"。
脱敏红线:盲测集取自真实卷宗,务必先做脱敏(去除真实当事人身份信息等),避免验收过程本身造成信息外泄。涉密场景应在内网隔离环境组织测试。
四、要测哪些量化指标
下面四类是法律大模型验收的核心指标,前三类都指向同一件事——这套系统会不会、多常、多严重地编。建议把标★的设为一票否决项。
| 指标 | 怎么测 | 为什么关键 |
|---|---|---|
| ★引用错误率 | 统计输出中编造、张冠李戴、结果说反的引用占比,须低于约定阈值 | 法律 AI 最致命的指标,直接关系办案风险 |
| ★回链可核率 | 随机抽取引用,须能当场点开回链到原始裁判文书核对 | 不能回链核对的引用=不可用 |
| 结果一致性 | 核对引用所述裁判结果与原文是否一致,不只验案号存在 | "半真半假"最隐蔽,只验案号挡不住 |
| ★离线可用性 | 私有化在内网、断网状态跑完整流程,核心功能仍可用 | 私有化场景的入围底线,断网即崩=不合格 |
| 检索相关性 | 用真题看返回的类案是否真相关、召回是否够全 | 检索召不准,后面答得再好也是空中楼阁 |
| 法条时效 | 抽查法条引用是否为现行有效,是否引了已废止/已修订的旧法 | 引旧法=给错依据 |
为什么引用错误率排第一?因为法律 AI 的根本风险不是"答得笨",而是"一本正经地编"——它固有于概率语言模型的机制,换更大的模型也治不了根,只能靠真实可回链语料上做检索增强来压制。这条的原理与治理方法,见 法律 AI 幻觉怎么治:裁判文书引证核验落地指南;而能不能压得住,归根到底取决于底层语料是不是真实、可回链、检索得准——这正是 1.5 亿份可回链裁判文书私有库 这类真实数据底座,和裸调一个大模型的本质区别。
五、红队诱导:专门去"钓"它编
常规题测"它答得对不对",红队测"它诚不诚实"——这在法律场景比正确率还重要。几种必做的诱导:
- 问不存在的东西。问一个编造的案号、一部不存在的司法解释,看系统是如实说"未检索到",还是顺着编出内容。
- 诱导下确定结论。把一个模棱两可的问题问得像"求它给个准话",看它是给出带引用、带不确定性的回答,还是被带着拍胸脯下结论。
- 给错误前提。在提问里埋一个错误的法律假设,看它会不会纠正,还是顺着错误前提往下答。
一套合格的法律 AI,在这三类诱导下都应该守得住"查不到就说查不到"的底线。守不住的,无论常规正确率多高,在法律场景都是高危系统。
六、验收判定:一票否决 + 评分表
把上面的测试结果,落成一份可签字的判定。建议结构:关键能力设一票否决(有一项不过,整体不通过),其余按权重打分。
# 法律大模型验收判定表(示意,阈值按本单位设定)
[一票否决项 —— 任一不过即验收不通过]
· 引用错误率 ≤ ___%(用本单位真题盲测统计)
· 回链可核率 ≥ ___%(随机抽引用当场回链核对)
· 离线可用性 断网状态核心功能全流程可用
· 语料可核验 现场核验语料规模/覆盖/更新证明属实
· 红队诚实性 对不存在的法条/案号如实说"未检索到"
[加权评分项 —— 合计 100 分,设及格线]
· 检索相关性/召回 ___ 分
· 结果一致性 ___ 分
· 法条时效正确性 ___ 分
· 响应时延/并发 ___ 分
· 集成/权限/审计 ___ 分
· 易用性/培训到位 ___ 分
[判定] 一票否决全过 且 加权得分 ≥ 及格线 → 通过;否则限期整改后复测
关键是:这些阈值和判定办法,最好在招标需求书里就写清楚,让厂商投标时就知道会被这样测。验收方法前移到采购阶段,套壳产品在投标时就会知难而退——这也是上一篇 技术参数怎么写 强调"用验收条款堵参数虚标"的落点。
七、POC 与试用:验收前的低成本预演
对金额大、场景复杂的项目,不必等到正式验收才第一次真测。可以在采购前或合同履行早期安排一轮 POC(概念验证)/ 试用:用一小批真题,让候选系统实测一轮,提前暴露"演示很好、真题就露馅"的产品。POC 用的题和指标,可以直接复用本文的盲测集与量化指标框架。文书查提供 API / MCP 试用,可以先用你自己的真实案由跑一轮检索与引证核验,再决定是否进入正式采购——把"实测"这件事,尽量往前放。
八、给信息中心主任的验收自查清单
- 盲测集是本单位真题吗?厂商事先看不到吗?常见/生僻/陷阱三类都覆盖了吗?
- 引用错误率测了吗、设阈值了吗?这是法律 AI 的头号指标,建议一票否决。
- 每条引用能当场回链原文核对吗?回链可核率有没有实测统计?
- 结果一致性验了吗?不只验案号存在,还核对了裁判结果与原文一致?
- 做了红队诱导吗?问不存在的法条/案号,系统如实说"没有"了吗?
- 离线/断网实测过吗?私有化场景断网状态跑完整流程了吗?
- 信创/等保按本单位要求现场验了吗?是看报告还是现场验证?
- 验收标准写进合同了吗?不达标有没有整改、扣款/拒付、直至解除并数据可迁出的机制?
九、常见问题
Q:验收为什么不能只看厂商演示?
A:演示用的是厂商反复调过、确保能答对的题,你真实办案的题它没见过。演示证明"最好情况能做什么",验收要验"真实业务上稳定做到什么"。核心动作是把演示题换成本单位真题做盲测,统计引用错误率、回链可核率等量化指标,而不是对参数表勾"满足"。用你自己的真题,是验收有没有意义的分水岭。
Q:法律大模型验收该测哪些量化指标?
A:至少四类——引用错误率(编造/张冠李戴/结果说反占比,建议一票否决)、回链可核率(引用能否当场回链原文核对)、结果一致性(裁判结果与原文是否一致,不只验案号)、离线可用性(内网断网核心功能是否可用)。另可测检索相关性、法条时效、响应时延与并发,均用真题现场测并写进验收报告。
Q:验收不合格但已经采购了怎么办?
A:所以要把验收标准与阈值写进合同、并设整改与退出机制:关键指标约定为验收必过项与付款条件,不达标触发限期整改、扣减或拒付、直至解除合同并要求数据可完整迁出。关口要前移——验收测评方法最好在需求书里就写清楚。
要组织一轮法律大模型验收测评?我们可以陪你用真题测一遍
文书查提供 1.5 亿份真实、可回链裁判文书的私有化数据底座 + 引证回链与核验能力,支持离线私有化、等保与信创适配。把你的验收场景和真题发来,我们可协助设计盲测集与量化指标,并先用你的真实业务跑一轮 POC 实测,1 个工作日内反馈。
📞 联系商务 Jack · 131 6872 7779相关阅读:法律 AI 招投标技术参数怎么写 · 法院信息中心 AI 采购清单 · 律所采购 AI 的 5 个坑 · 法律 AI 幻觉与引证核验 · 让案件胜算精确到小数点 · 私有化部署方案