艾里斯·科尔曼（Iris Coleman）
2025年10月4日03:16
NVIDIA的AI红色团队已经确定了AI系统中的关键漏洞，提供了实用的建议，以增强LLM应用程序的安全性，重点关注代码执行，访问控制和数据删除。
NVIDIA AI红色团队（AIRT）已严格评估AI-System Systems，以识别和减轻安全漏洞和弱点。根据NVIDIA的官方博客，他们最近的发现突出了大语言模型（LLM）应用程序中的关键安全挑战。
关键安全漏洞
确定的重要问题之一是通过LLM生成的代码远程代码执行（RCE）的风险。这种漏洞主要是由于使用“ Exec”或“ Eval”之类的功能而产生的，而无需充分隔离。攻击者可以通过立即注射来利用这些功能来执行恶意代码，对应用程序环境构成严重威胁。
NVIDIA建议避免在LLM生成的代码中使用此类功能。取而代之的是，开发人员应将LLM解析以将其映射到安全，预定义的功能，并确保在安全的沙盒环境中发生任何必要的动态代码执行。
抹布系统中的访问控制弱点
检索增强生成（RAG）系统还提出了安全挑战，尤其是有关访问控制的挑战。 AIRT发现，不正确的用户权限实现通常可以未经授权访问敏感信息。通过将数据源的权限与抹布数据库的延迟以及过度访问的访问令牌同步的权限延迟，此问题加剧了。
为了解决这些漏洞，有效管理授权的授权并限制对破布数据存储的访问至关重要。实施内容安全策略和护栏检查可以进一步减轻未经授权数据曝光的风险。
主动内容渲染的风险
LLM输出（例如Markdown）中主动内容的渲染带来了另一个重大风险。如果将内容附加到将用户的浏览器引导到攻击者的服务器上的链接或图像，这可能会导致数据删除。 NVIDIA建议使用严格的内容安全策略来防止未经授权的图像加载，并在连接到外部站点之前向用户显示超链接的完整URL。
结论
通过解决这些漏洞，开发人员可以显着改善其LLM实施的安全姿势。 NVIDIA AI红色团队的见解对于那些希望强化其AI系统免受常见和有影响力的安全威胁的人至关重要。
有关对抗机器学习的更多深入信息，NVIDIA提供了一个自节奏的在线课程以及有关网络安全和AI安全性的一系列技术博客文章。
图像来源：Shutterstock
（tagstotranslate）AI（T）加密（T）区块链（T）新闻
关键词：
