OWASP Top 10 for Large Language Model Applications#

1. 提示词注入(Prompt Injection)#

提示词注入类型#

1. 直接注入
    直接提示注入是指用户的提示输入以非预期或意外的方式直接改变了模型的行为。输入可以是有意的（即恶意行为者故意设计提示以利用模型）或非意图的（即用户无意中输入触发意外行为）。
2. 间接注入
    间接提示注入发生在LLM接受来自外部来源（如网站或文件）的输入时。外部内容中可能包含这些数据，当模型解释时，会以意想不到或意想不到的方式改变模型的行为。与直接注射类似，间接注射可以是有意的，也可以是无意的。

通常情况下，提示词注射可能导致意想不到的结果，包括但不限于：

• 敏感信息的披露
• 披露关于AI系统基础设施或系统提示的敏感信息
• 内容作导致错误或有偏见的输出
• 系统崩溃或拒绝服务
• 向未授权方提供大语言模型（LLM）功能的访问权限
• 在关联系统中执行任意命令
• 操控关键决策流程