ChatGPT等LLM应用程序中的十大漏洞

OWASP发布了LLM应用程序中顶级漏洞的排名，以帮助公司加强生成式人工智能的安全性

如果今年到目前为止，一种技术吸引了公众的注意力，那无疑是LLM应用。这些系统使用大型语言模型（LLM）和复杂的学习算法来理解和生成人类语言。OpenAI的专有文本生成人工智能ChatGPT是这些应用程序中最著名的，但已有数十个LLM应用程序上市。

在这些人工智能兴起之后，OWASP刚刚发布了其十大LLM应用程序漏洞的第1版。该排名由一个基金会编制，该基金会已成为风险预防和打击网络威胁的全球基准，重点关注开发这些应用程序的公司和在日常工作中使用这些应用程序的公司必须考虑的主要风险。

OWASP 10大法学硕士应用程序漏洞旨在教育和提高开发人员、设计师和组织在部署和管理这种颠覆性技术时面临的潜在风险的认识。每个漏洞都包括：

下面，我们将分解OWASP的十大LLM应用程序漏洞，以及如何防止它们，以避免可能伤害公司及其客户的安全事件。

提示注入在前10名LLM应用程序漏洞中占据了第一位。敌对的行为者通过提示来操纵LLM，迫使应用程序执行攻击者想要的操作。此漏洞可以通过以下方式被利用：

当敌对行为者可以覆盖或披露系统的潜在提示时，就会发生直接提示注入，称为“越狱”。这意味着什么？攻击者可以通过与不安全的功能和数据存储交互来利用后端系统。
间接的注射。当LLM应用程序接受来自外部来源的输入时，就会发生这种情况，这些来源可以由敌对行为者控制，例如网页。通过这种方式，攻击者将提示注入嵌入外部内容，劫持对话上下文，并允许攻击者操纵应用程序可以访问的其他用户或系统。

OWASP指出，成功攻击的结果各不相同，从获取机密信息到影响关键决策过程不等。此外，在最复杂的攻击中，被入侵的LLM应用程序可以成为攻击者服务的工具，与用户配置中的插件交互，并允许前者访问目标用户的机密数据，而后者不会受到入侵警报。

LLM应用程序中的十大漏洞表明，根据这些系统的性质，可以立即注入，因为它们不会将指令与外部数据分开。由于LLM使用自然语言，他们认为这两种类型的输入都由合法用户提供。因此，OWASP提出的措施无法完全预防这些漏洞，但它们确实有助于减轻其影响：

控制LLM应用程序对后端的访问。建议应用最低特权原则并限制LLM访问，授予其最低访问级别，以便其能够履行其职能。
确定应用程序必须获得用户的授权才能执行发送或删除电子邮件等操作。
将外部内容与用户提示分开。OWASP举例说明了使用ChatML进行Open AI API调用的可能性，以向LLM指示提示的输入源。
在LLM应用程序、外部来源和插件之间建立信任边界。该应用程序可以被视为不受信任的用户，建立最终用户控制决策。然而，我们应该意识到，被泄露的LLM应用程序可以充当中间人，在向用户显示信息之前隐藏或操纵信息。

语言模型输出的不安全处理在LLM应用程序的前10个漏洞中排名第二。这是什么意思？输出在不事先审查的情况下被接受，并直接传输到后端或特权功能。此外，正如我们在上一节中指出的那样，LLM应用程序生成的内容可以通过引入提示来控制。这将为用户提供对附加功能的间接访问。

利用这个漏洞可能的后果是什么？特权升级、后端系统上的远程代码执行，即使应用程序容易受到外部注入攻击，敌对行为者也可以获得对目标用户环境的特权访问权限。

OWASP对十大LLM应用程序漏洞的指南建议采取两种行动来应对这一风险：

LLM应用程序的关键方面之一是提供给模型的训练数据。这些数据必须是大、多样化的，并涵盖各种语言。大型语言模型使用神经网络根据他们从训练数据中学到的模式生成输出，这就是为什么这些数据如此重要。

这也是为什么他们是想要操纵LLM应用程序的敌对行为者的主要目标。通过中毒训练数据，有可能：

因此，培训数据中毒是网络安全和开发LLM应用程序的公司商业模式的问题。这可能会导致模型无法做出正确的预测，也无法与用户进行有效互动。

OWASP LLM应用程序中的十大漏洞提出了四项主要措施，以防止培训数据中毒：

验证用于训练模型和完善模型的数据源的合法性。
从为其他用例设计的隔离训练数据中设计不同的模型。这导致了更精细、更准确的生成人工智能。
使用更严格的过滤器来训练数据和数据源，以检测虚假数据并对用于模型训练的数据进行消毒。
分析中毒迹象的训练模型。以及分析测试以评估模型行为。从这个意义上说，整个LLM应用程序生命周期的安全评估和专门为这种类型的应用程序设计的Red Team练习的实施具有巨大的附加价值。