01客户背景
一家金融机构的内部知识助手,面向顾问提供产品、合规与流程问答,走第三方大模型 API。
02原始问题
第三方接口经常抖动、限流,高峰期偶发超时;涉敏的合规数据走公网,让风控部门始终不放心。
03诊断过程
梳理调用链路后发现:所有请求都依赖单一公网 API,单点故障风险高;部分高敏查询不应出域。
04解决方案
搭建多活 API 网关,多供应商互备与自动故障转移;高频且涉敏的知识库内容改走私有化部署,非敏感内容仍用云端模型。
05实施过程
分两阶段上线:先建网关兜底,再逐步迁移私有化知识库,全程灰度。
06最终结果
API 稳定性从 99.9% 提升到 99.99%,涉敏数据不再出域,性能与合规同时达标。
