天启未来 免费诊断

首页/AI知识库/安全/正文

安全

大模型应用的三个安全雷区

企业 AI 决策约 7 分钟

把大模型接进业务,最常见的安全问题不是“AI 造反”,而是三类可被利用的弱点:提示注入、数据越权泄露、以及输出内容被误当事实。提前设好防线,能避免绝大多数事故。

雷区一:提示注入

用户在输入或文档里藏“忽略之前的指令”之类的话,诱导模型说出预设系统提示、或执行非预期行为。防护的核心是隔离不可信输入:把用户输入、检索到的文档、系统指令分层处理,并对模型的内部指令做访问控制。

雷区二:越权数据泄露

知识库没做权限过滤,是常见的越权口子。一个低权限用户,可能通过巧妙提问,问出本不该他看的内容。正确做法是把权限过滤放在检索层——用户接触不到的数据,根本不进模型上下文,而不是依赖模型自己“守口如瓶”。

雷区三:输出被误当事实

对答错代价高的场景,要给引用、做校验、设兜底。参考“幻觉治理”一文,先把回答锚定到可信资料,再考虑是否人工复核。

一句话:把不可信输入隔离、把权限放检索层、把高风险输出留兜底,三层叠起来才稳。对大模型应用做一次安全体检,用诊断工具逐项过一遍。