AI 客服越来越聪明，但“聪明”不等于“安全”。一个错误的医疗建议、一条虚假的价格承诺、一段违规的敏感内容，都可能让企业面临法律风险。安全护栏不是可选项，是上线 AI 客服的必选项。

第一层：输入过滤——先拦住恶意提问

访客可能故意诱导 AI 说出违规内容，也可能输入钓鱼链接。输入过滤要在对话开始前就拦截：

  • 敏感词库：政治、色情、暴力、歧视类关键词实时匹配
  • 诱导检测：识别“你可以帮我做XX吗”这类试图绕过安全策略的提问
  • 链接过滤：访客发送的 URL 先过黑名单，防止钓鱼或恶意跳转

第二层：知识库约束——让 AI 只答“有依据”的内容

安全护栏的核心是限制 AI 的作答范围。所有回复必须基于企业审核过的知识库，禁止自由发挥：

  • 价格、政策、合规类问题强制引用原文，模型只做语言组织
  • 知识库条目设置有效期，过期内容自动下线
  • 高风险场景（医疗、金融、法律）设置白名单，未命中白名单一律转人工

第三层：输出审核——AI 说完再检一遍

  • 幻觉检测：对比模型输出与知识库原文的语义一致性
  • 合规扫描：输出内容二次过敏感词库与广告法词库
  • 置信度阈值：模型对答案不确定时（置信度 < 0.7），自动降级为“请稍等，我为您转接人工”

第四层：人工复核——抽检与兜底

  • 每日抽检 2% 的对话记录，重点看价格/政策/投诉类回复
  • 设置一键熔断：发现批量异常时，30 秒内关闭 AI 自动回复，全部转人工
  • 建立错题本：把审核发现的问题反哺知识库与模型调优

四层护栏不是一次性搭建，而是持续迭代。建议每月召开一次“AI 客服安全评审”，把新发现的边界案例补充进规则。