案例 · 一家证券公司上线全本地 AI 客服，合规审计走了哪些路

背景#

• 业务：中型证券经纪商
• AUM：约 ¥1,200 亿
• 已接入客户：~120 万
• 客服坐席：85 人（分布在 3 个城市）
• 监管要求：证监会一线合规
• 原方案：纯人工客服 + 第三方传统呼叫系统

为什么决定上 AI#

四个驱动：

1. 客服压力：开盘日高峰每分钟 800+ 咨询，坐席接不过来
2. 合规审计：现有系统留痕不够细，每年外审花费 8-12 周
3. 培训成本：新坐席上岗需 3 个月，留存率 70%
4. 同业压力：头部券商已上线 AI，客户对比明显

但卡在：所有云端 LLM 都不能用——证监会要求客户对话不出境。

选型决策#

评估过 5 个方向：

方案	决策
用云端 LLM	× 合规死结
跟头部券商合作 IT	× 数据交叉 + 不透明
自研对话模型	× 12-18 个月，团队不具备
内部部署开源 LLM + 框架	✓
内部部署商业 LLM	✓ 但贵 3-5 倍

最终方案：Rasa CALM + Chatwoot + RAGFlow + Qwen 2.5-72B 本地推理（参考 全本地推理方案 的金融变体）。

架构#

基础设施：所有推理跑在 8 台 A100 80GB（vLLM 部署），数据在 Postgres 主备 + 异地备份，日志走 WORM 存储 + 区块链存证。

合规审批历程（11 个月）#

月 1-2：立项与内部论证#

• IT 部出方案
• 风控部、合规部、法务部审议
• CRO 签字立项

月 3-4：技术架构论证#

• 模型选型论证：为什么是 Qwen 而不是其他
• 安全架构论证：流量、权限、加密
• 灾备架构论证：3 中心 5 副本

月 5：监管沟通预沟通#

• 跟证监会派出机构非正式沟通
• 提交《AI 系统建设方案》《数据安全说明》《合规承诺函》
• 获得「不反对」回复

月 6-7：技术建设#

• 硬件采购到位（A100 × 8、PG 主备、网络架构）
• 软件部署上线（基础环境）
• 模型微调（在公司语料上微调 Qwen，约 3 周）

月 8：内部 UAT + 内审#

• 风控部全程跟踪 1000 个测试 case
• 发现 12 个边界问题（如「能不能给我推荐股票」），全部用 Rasa Flow 拦截
• 内审报告通过

月 9：监管现场审查#

• 证监会派出机构现场 3 天
• 重点查：数据流是否出境、审计日志是否完整、紧急停机预案
• 发现 2 个待整改问题：审计日志保留期不足 5 年、未做季度渗透测试
• 整改 4 周

月 10：外审 + 第三方安全测评#

• 等保三级测评通过
• 第三方渗透测试通过
• ISO 27001 复审通过

月 11：正式上线#

• 灰度：1% 已认证客户
• 第二周 5%
• 第三周 20%
• 第四周 100%

上线后 6 个月数据#

指标	上线前	上线后
月会话量	480k	520k（量略增）
AI 自助率	0%	58%
首响时间	平均 47 秒	平均 2.3 秒
人工坐席总工时	13,600 h/月	7,200 h/月
客服坐席数	85	60（25 人转岗）
CSAT	4.1	4.3
投诉率	0.21%	0.18%
外审耗时	8-12 周	4 周（日志结构化）

关键技术决策#

1. 为什么用 Rasa 而不是 Dify#

金融对话不允许猜。客户问「我能不能开通融资融券」，AI 不能用 LLM 自由发挥——必须按业务规则一步步走：

• 客户身份等级足够？
• 风险评估等级足够？
• 是否签风险揭示书？
• 资金账户是否合规？
• 全部满足 → 引导到「开通」流程

Rasa 的 Flow + LLM NLU 组合，比 Dify 的纯 LLM Workflow 更适合此场景。

2. 为什么本地 Qwen 而不是商业 GPT 同等替代#

证监会的「数据出境」红线极严：

• OpenAI / Anthropic 完全不可用
• Azure OpenAI 中国版理论可行但合规材料复杂
• 国内云厂（阿里、腾讯）的 LLM API 可用，但数据流仍要审查

Qwen 完全本地推理：数据 0 出境，合规审计直接通过。

3. 为什么不接业务系统直接读账户数据#

风险太大。LLM 接业务系统直读账户、订单、资金存在「越权」风险。设计：

• LLM 只能访问「公开 KB」（业务规则、政策、流程）
• 涉及账户数据时调用「业务接口（带权限校验）」
• 业务接口返回结构化数据 → Rasa Flow 拼接到回复

硬件与成本#

项	配置 / 数量	月成本
A100 80GB × 8	自购，$120k 一次性 / 36 月折旧	¥21k
GPU 主机 × 2	64C/256G	¥8k
存储	100TB（含审计 WORM）	¥6k
网络 / 安全	防火墙 + 等保 + 监控	¥5k
软件许可	Rasa Pro + 商业支持	¥10k
人员（4 人维护团队）	—	¥80k
月度合计		¥130k

听起来贵，但坐席减员 25 人 × ¥15k/月 = ¥375k/月，净省 ¥245k / 月。

不可量化的收益#

• 审计效率：外审从 8-12 周缩到 4 周，每年节省 ~600 工时
• 培训周期：新坐席上岗从 3 个月缩到 6 周（AI 兜底容错）
• 品牌影响：监管层面给了「数字化典型案例」表彰
• 新业务支持：开通新业务（如 ETF 期权）的客服培训从 2 周缩到 3 天

踩过的坑#

1. 首次合规答疑被拒：第一版 Prompt 没明确「不构成投资建议」声明，全部要重写
2. Qwen 72B 在「计算复利」上偶尔错：改成 Rasa 调外部计算服务
3. Rasa Flows 维护成本被低估：业务变化时改 Flow 比改 Prompt 累，团队第 4 个月才稳定下来
4. A100 利用率低：日均 30-40%，夜间几乎闲置；考虑跑训练任务消化

给同行的建议#

如果你也在监管行业，4 个忠告：

1. 跟监管提前沟通：宁可 9 月开始建，提前 2 个月跟监管打招呼
2. 合规架构先设计：数据流图、权限矩阵、审计要求先画好再动手
3. 不要追新模型：选稳定的、有商业支持的（Qwen + Rasa Pro）
4. 预算合规审计时间：技术上线后还要 2-3 个月走完审批，规划时务必算上

相关阅读#

• 全本地推理方案
• 金融行业 AI 客服方案
• Rasa 工具页
• 全本地 AI 客服落地实战