合伙人会议已经拍板"法律 AI 必须上内网、不能走 SaaS",球踢回到 IT 负责人这里:到底要买几张什么卡?32B 还是 72B 的模型?数据怎么过等保?实习生能不能看在办卷宗?这篇不谈要不要做、值不值得投(那是另一笔账),只谈一件事——把法律大模型落到本所内网,工程上一步步怎么落地。下面给的是可以直接照着问供应商、照着写采购需求的实战配置。
一、先定并发,再选 GPU(顺序别反了)
很多律所选型一上来就纠结"要不要上 72B 大模型",其实决定硬件账单的不是参数量,而是"同时有多少人在用 × 每次问多长的上下文"。法律场景上下文往往很长(贴一份判决书、几段证据),KV 缓存吃显存比一般对话场景更凶。
显存粗算口径,记住两条就够跟供应商对话:
- 模型权重:FP16 下每 10 亿参数约占 2GB;INT4 量化后约 0.5–0.6GB。即 7B 模型 FP16 约 14GB、INT4 约 4–5GB;72B 模型 FP16 约 144GB、INT4 约 40GB 出头。
- 运行余量:再为 KV 缓存与并发预留 20%–40%。长上下文、高并发取上限。
二、三档 GPU 配置清单(照规模对号入座)
下面这张表把"律所规模 → 模型档位 → GPU 配置 → 能扛多少并发"一次说清。绝大多数所应从轻量档起步:
| 律所规模 | 推荐模型 | GPU 配置 | 量化 | 可承载并发(参考) |
|---|---|---|---|---|
| 几十人精品所 / 单办公室 | 7B–14B 法律模型 | 1–2 × 24GB(RTX 4090 / A5000) | INT4 / INT8 | 5–10 人峰值 |
| 百人规模 / 多部门 | 32B 法律模型 | 1–2 × A100 40GB 或 80GB | INT4 / FP16 | 20–40 人 |
| 大所 / 多地办公室 | 72B 法律模型 | 2–4 × 80GB(A100/H800)+ 负载均衡 | FP16 / INT4 | 50–100+ 人 |
一个常被忽略的省钱点:检索引擎、向量库(类案检索)、判决要素抽取的轻量模型、数据库,这些基本不吃 GPU,用普通多核服务器 + 大内存即可。律所真正要为 GPU 付费的只有"大模型推理"这一段。把检索和推理拆开部署,既省卡又便于扩容。
32B 还是 72B?给个判断标准
不是越大越好。对绝大多数律所业务(类案检索归纳、文书初稿、争议焦点提炼、合同审查),一个用司法语料微调过的 32B 模型,效果通常优于一个没微调的 72B 通用模型——法律场景吃的是"懂不懂法言法语、会不会乱引法条",而不是通用智力。只有在需要复杂多步推理、跨案情综合论证时,72B 的边际收益才明显。先用 32B 跑业务,真有瓶颈再上 72B,是更稳的路径。
三、内网部署架构:数据怎么进、怎么不出域
一套能过合规审查的内网法律 AI,典型是四个区:
| 分区 | 放什么 | 合规要点 |
|---|---|---|
| 数据区 | 1.5 亿+ 裁判文书、法规库、本所卷宗与知识库 | 独立存储分区,加密落盘,数据不出内网 |
| 计算区(GPU) | 法律大模型推理、向量检索 | 内网推理,无外网调用,推理日志留存 |
| 应用区 | 律师工作台、API 网关、权限中心 | 统一身份鉴别,按角色放行 |
| 运维区 | 堡垒机、审计、更新通道 | 加密增量包离线导入更新,运维操作全审计 |
关键的一条:案例库的更新不靠内网连外网拉取,而是通过加密增量包离线导入。这样既能保持裁判文书与法规的时效性,又不在内网上开一个长期对外的口子——这是过等保三级评审时最容易被问到、也最该提前设计好的点。
四、等保三级:把这几条写进采购需求
给信息中心或外部测评机构汇报时,这几条是能不能过会的关键。建议直接抄进采购需求,让供应商逐条应答:
- 数据不出域:全套部署本所机房,模型内网推理,无任何外网调用;可提供网络拓扑佐证。
- 网络分区与边界防护:数据区 / 计算区 / 应用区逻辑隔离,边界访问受控。
- 身份鉴别与访问控制:统一登录 + 角色分级(见下一节),双因素可选。
- 安全审计:调阅、生成、导出、运维操作全留痕,日志留存满足等保要求且不可篡改。
- 数据来源合法:裁判文书源自人民法院公开渠道,合法、可追溯。
- 更新不开外网口:加密增量包离线导入,既保时效又守边界。
五、用户权限:别让实习生看到在办卷宗
律所对 AI 系统的权限要求,比一般企业更严——因为叠加了执业保密义务和利益冲突隔离(信息隔离墙)。建议按"组织架构 + 案件归属"双维度做 RBAC:
| 角色 | 可见数据范围 | 可执行操作 |
|---|---|---|
| 合伙人 | 全所公开知识库 + 本团队全部案件 | 检索 / 生成 / 导出 / 配置团队权限 |
| 授薪律师 | 所在团队 + 本人经手案件 | 检索 / 生成 / 受限导出 |
| 实习律师 / 助理 | 公开案例库 + 脱敏检索,不可调阅在办卷宗 | 检索 / 生成草稿,导出需审批 |
| 风控 / 合规 | 独立审计视图 | 查日志 / 看冲突,不参与办案 |
两条容易踩的坑:一是利益冲突隔离——同一所内承办对立当事人的团队之间,案件数据要互相不可见,权限模型必须支持团队级"防火墙";二是导出留痕——AI 生成内容的导出是数据外带的高风险动作,应按角色限制并全程审计。权限模型要能按本所实际架构定制,而不是供应商写死一套塞给你。
六、给 IT 负责人的落地清单
把这份清单和供应商过一遍,基本能问出谁是真能交付内网部署:
- 按我所的目标并发与上下文长度,推荐哪档 GPU?给出显存测算依据,不要只报参数量。
- 模型是司法语料微调的专用模型,还是套壳通用模型?能否用本所卷宗二次微调?
- 检索 / 向量库 / 数据库是否与 GPU 推理拆分部署?后续扩容路径是什么?
- 能否提供过等保三级所需的部署架构图、网络拓扑与安全说明?
- 权限能否按本所组织架构 + 案件归属定制?是否支持团队级利益冲突隔离与导出审计?
- 数据更新走加密增量包离线导入吗?更新频率与交付方式?
- 是否先出演示 demo 再签约?服务期含数据同步 / 模型升级 / 定制吗?
七、常见问题
Q:我们所 IT 力量弱,内网部署后维护得动吗?
A:交付应含部署 + 培训,服务期内数据同步、模型升级、bug 修复、定制由供应商负责,律所 IT 只需日常运维(开关机、监控、用户管理)。选型时把"服务期范围"问清楚比纠结硬件更重要。
Q:能不能先小范围试一个部门?
A:可以,也建议这样。从一个业务条线(如劳动争议、合同纠纷)起步,轻量档 GPU 跑通效果、跑顺权限与审计流程,再向全所扩,投入和风险都可控。
Q:消费级卡(如 4090)能用在生产环境吗?
A:几十人精品所做内部办案辅助,1–2 张 24GB 消费级/专业卡跑量化模型完全够用且性价比高。但要注意机房供电散热、驱动稳定性与无人值守可靠性;对可用性要求高、并发大的大所,建议用数据中心级卡(A100/H800)并做冗余。
按你所的规模,出一份内网部署配置方案
告诉我们律所人数、目标并发与用数据范围,1 个工作日内反馈 GPU 配置、合规架构与 demo 邀请。演示阶段不收费。
📞 联系商务 Jack · 131 6872 7779或邮件 chenjiaxin@wenshucha.com · 查看 私有化方案详情
相关阅读:律所 AI 私有化部署完全指南 · 律所 AI 投资回报测算 · 律师工作台:案件胜算量化 · 裁判文书 API / MCP 定价