金融行业 AI 客服方案
银行、证券、保险——监管严苛、数据敏感、问题精确性要求高，AI 客服必须在合规与体验之间走钢丝。
推荐工具组合
RasaChatwootRAGFlowOllama (本地推理)
月成本估算
$400 - $1500（含本地 GPU 推理）
合规要点
银保监会、证监会数据合规。聊天日志、决策日志、模型版本均需留存。LLM 推理必须在境内。
核心挑战
- 数据出境严格管控，云端 LLM 通常不可用
- 回答错误可能引发监管追责，AI 必须可解释
- 客户身份验证后才能进入私域问答
- 合规审计需要完整的对话日志和决策链路
为什么金融行业的 AI 客服特别难#
| 要求 | 对开源选型的影响 |
|---|---|
| 数据不出境 | 必须本地推理：Qwen / DeepSeek / GLM + Ollama / vLLM |
| 回答可解释 | 不能纯靠 LLM 生成，需要 RAG + 引用，最好叠加规则引擎 |
| 强身份验证 | 网页 Widget 必须接 OAuth / 单点登录，未认证用户只能看公开内容 |
| 完整审计 | 对话日志、知识库版本、Prompt 版本、模型版本都要落 WORM 存储 |
推荐架构#
为什么用 Rasa 而不是 Dify#
金融行业的对话流程「不能猜」。Rasa 的 CALM 范式把流程逻辑（用户在哪一步、还差什么）用声明式 Flows 写死，LLM 只负责自然语言理解。Dify 更适合「自由问答」场景，对严格流程的可控性弱一些。
本地推理硬件参考#
| 场景 | 模型 | 硬件 |
|---|---|---|
| 公开 FAQ | Qwen 2.5-7B-Instruct | 1 × A10 24GB |
| 内部业务对话 | Qwen 2.5-14B-Instruct | 1 × A100 40GB |
| 复杂 RAG + 长上下文 | Qwen 2.5-32B | 2 × A100 80GB |
不要做的事#
- 把客户对话喂给云端 LLM（数据出境违规）
- 让 LLM 直接执行交易类指令（必须经过规则引擎二次确认）
- 用 LLM 生成的「数字答案」直接发给用户（必须从结构化数据源取）