近年来，生成式AI的应用越来越广泛，但随之而来的安全问题也愈发突出。其中，提示注入攻击（Prompt Injection）已成为对AI系统的主要威胁之一。为了应对这一挑战，Azure推出了Prompt Shields和Azure AI Content Safety，帮助开发者保护AI系统免受直接和间接威胁。

提示注入攻击的防御利器

提示注入攻击是指恶意用户通过操控AI模型的输入，试图改变其行为或获取未经授权的信息。根据OWASP（开放式全球应用安全项目）的报告，提示注入已成为大型语言模型（LLM）面临的首要威胁之一。Azure的Prompt Shields通过统一API分析输入内容，帮助开发者防御提示注入攻击，包括绕过现有安全措施、窃取敏感数据或诱导AI系统执行意外操作。

了解更多关于Azure AI Content Safety

提示注入攻击的分类

提示注入攻击主要分为两类：

  1. 直接提示注入攻击
    比如“越狱”尝试，攻击者输入恶意提示以绕过安全层并获取敏感信息，例如要求AI模型泄露社会安全号码或私人邮件。

  2. 间接提示注入攻击
    恶意提示嵌入看似无害的内容（文档或邮件），当AI模型处理这些内容时可能执行嵌入指令，从而导致系统受到破坏。

Prompt Shields可无缝集成到Azure OpenAI内容过滤器，采用先进机器学习和自然语言处理技术，实时检测潜在威胁。

Prompt Shields核心功能

  • 上下文感知：理解用户输入意图，减少误报并提供额外安全层。
  • Spotlighting功能：进一步检测间接攻击，通过区分可信与不可信输入，保护AI应用免受嵌入内容中的恶意攻击。
  • 实时响应：能够迅速识别并缓解风险，减少数据泄露与系统完整性问题。

全面安全解决方案

Azure AI Foundry结合各种工具功能，让开发者构建更安全AI应用：

  • 风险与安全评估：包括内容风险评估如仇恨、不公平及暴力内容。
  • 红队代理支持：自动扫描与对抗性测试，为开发者消除潜在威胁。
  • 内容防护措施：Prompt Shields检测提示注入攻击和未验证输出等风险。
  • Defender for Cloud集成：提供安全态势建议及运行时威胁保护警报。

客户案例

AXA：确保可靠性与安全性

全球保险领导者AXA通过Azure OpenAI构建了Secure GPT解决方案。结合Prompt Shields，防止攻击并确保模型可靠性。

Wrtn：实现安全扩展

韩国Wrtn Technologies使用Azure AI Content Safety保障产品安全及合规。Prompt Shields灵活调整安全措施，兼具扩展性与响应性。

如何集成Prompt Shields？

Azure OpenAI用户可轻松部署：

集成Prompt Shields助力保护AI系统，增强用户信任和信心。

了解更多关于Prompt Shields