Agentic AI安全威胁与防护实践：OWASP框架下的企业级解决方案

Agentic AI安全的演进背景

Agentic AI代表了自主系统领域的重大技术突破，在大型语言模型（LLM）和生成式人工智能的驱动下快速走向成熟。这类系统具备自主规划、决策和执行任务的能力，但也因此引入了传统AI系统不曾面临的安全挑战。OWASP生成式AI安全工作组推出的Agentic Security Initiative（ASI），为业界提供了基于威胁模型的新兴Agent威胁参考框架，并给出了针对性的缓解措施。

值得强调的是，Agentic AI的安全防护并非要替代现有的安全机制，而是在传统网络安全控制措施和生成式AI安全控制措施的基础上，增加针对Agent特性的专项防护。推荐采用分层模型设计的安全防护思路：从外层的通用应用安全，到生成式AI安全，再深入到Agentic AI内部的身份管理、工具操纵、记忆投毒等关键风险控制层。

Agentic AI特有安全威胁的全景分析

据安全公司Backslash Security于2025年6月25日发布的MCP安全调研报告显示，全球范围内可被识别的MCP服务器已超过15,000个，其中超过7,000个直接暴露在互联网上，构成了巨大的攻击面。MCP协议作为Agentic AI系统的重要组成部分，其生态的无监管生长催生了一个全新的、发展迅猛但信任匮乏的软件供应链系统。

在这个供应链系统中，开发者可以轻易地从公共代码库中获取并部署MCP服务器，但这些服务器的安全性、可信度和维护状态往往是未知的。MCP在追求互操作性的同时，容易忽视基础的安全实践，导致严重的安全风险。

核心攻击向量

Agentic AI的内存和工具集成成为两个最容易受到攻击的关键向量，尤其在不受约束的自主性环境中风险更为突出。无论是在高级规划策略中，还是在Agent之间相互学习的多Agent架构中，记忆中毒和工具滥用都可能造成严重后果。

工具滥用与LLM十大威胁中的过度代理威胁相关，但带来了新的复杂性。其中需要特别关注的是代码生成场景，它会为远程代码执行（RCE）和代码攻击创造新的攻击向量。工具的使用还会影响身份和授权机制，当Agent拥有比用户更高的权限，却被诱骗代表用户执行未经授权的操作时，就会出现“混淆代理”漏洞。

OWASP Agentic AI 15大安全威胁详解

OWASP基于Agentic AI的特性及应用系统部署架构，结合各领域专家的研究及实践经验，总结了以下15个安全威胁（标记”*”的为高频出现安全事件的威胁点）：

• *T1 记忆投毒（Memory Poisoning）：利用AI的短期和长期记忆系统，投入恶意或虚假数据，可能导致决策被篡改和未经授权的操作
• *T2 工具滥用（Tool Misuse）：攻击者在授权权限范围内，通过欺骗性提示或命令操纵AI Agent滥用其集成工具，包括Agent劫持场景
• *T3 权限滥用（Privilege Compromise）：利用权限管理中的弱点执行未经授权的操作，通常涉及动态角色继承或错误配置
• T4 资源过载（Resource Overload）：利用AI系统的资源密集型特性，攻击其计算、内存和服务能力
• T5 级联幻觉攻击（Cascading Hallucination Attacks）：利用AI生成看似合理但虚假的信息，在系统中传播并扰乱决策
• *T6 破坏意图和操纵目标（Intent Breaking & Goal Manipulation）：利用Agentic AI规划和目标设定能力中的漏洞，操纵或改变Agent的目标和推理
• T7 不协调和欺骗行为（Misaligned & Deceptive Behaviors）：Agentic AI利用推理和欺骗性反应执行有害或不允许的操作
• T8 否认与不可追踪（Repudiation & Untraceability）：由于日志记录不足或决策过程透明度低，导致操作无法追溯或解释
• *T9 身份欺骗和冒充（Identity Spoofing & Impersonation）：利用身份验证机制冒充Agentic AI或人类用户执行未经授权的操作
• T10 过度的人类监督（Overwhelming Human in the Loop）：针对具有人类监督的系统，利用人类的认知局限性或破坏交互框架
• T11 非预期的远程代码执行和代码攻击（Unexpected RCE and Code Attacks）：利用AI生成的执行环境注入恶意代码或执行未经授权的脚本
• T12 Agent通信投毒（Agent Communication Poisoning）：操纵Agentic AI之间的通信渠道传播虚假信息或扰乱工作流程
• T13 Multi-Agent系统中的恶意Agent（Rogue Agents）：恶意或受感染的Agentic AI在正常监控边界之外运行
• T14 Multi-Agent系统中的人类攻击：利用Agent间委托、信任关系和工作流依赖关系提升权限或操纵AI驱动的操作
• T15 操作人类（Human Manipulation）：在Agent与人类直接交互的场景中，攻击者胁迫Agent操纵用户、传播虚假信息

这些风险点横跨输入处理、记忆读写、工具调用、输出生成等多个环节，攻击面非常广泛。对于正在构建或运营多云AI基础设施的企业，如果需要灵活的云资源支付方案，可以了解多云账单代付解决方案来简化跨云环境的成本管理。

企业系统性威胁梳理方法

OWASP Agentic威胁框架提供了一种详细且结构化的方法来识别和评估Agent威胁，指导安全专业人员系统地评估风险和制定缓解策略。该方法重点分析单个Agent级别的威胁，因为这些威胁通常是更大规模系统性风险的基础。

六步威胁评估流程

步骤1：评估自主规划能力
检查Agent是否能够独立确定实现目标所需的步骤。覆盖威胁：T6破坏意图和操纵目标、T7不协调和欺骗行为、T8否认与不可追踪。

步骤2：评估记忆依赖
检查Agent是否依赖存储的记忆进行决策。覆盖威胁：T1记忆投毒、T5级联幻觉攻击。

步骤3：评估工具执行
检查Agent是否使用工具、系统命令或外部集成来执行操作。覆盖威胁：T2工具滥用、T3权限滥用、T4资源过载、T11非预期的远程代码执行。

步骤4：评估身份验证机制
检查AI系统是否依赖身份验证来验证用户、工具或服务。覆盖威胁：T9身份欺骗和冒充。

步骤5：评估人类交互
检查AI是否需要人类参与才能实现目标或有效运作。覆盖威胁：T10过度的人类监督、T15操作人类。

步骤6：评估多Agent协作
检查AI系统是否依赖于多个Agent协作。覆盖威胁：T12 Agent通信投毒、T13恶意Agent、T14多Agent系统中的人类攻击。

常见攻击路径

步骤1-3是最关键的内容。Agentic AI的核心能力是基于大模型的自主规划和决策，也正是这种能力导致了其特有的安全风险。以下四个方面是最常见的安全事件触发点：

• 恶意的工具本身
• 包含注入攻击的工具说明（指令）
• 工具指令原本无风险，但版本升级后引入注入风险
• 工具交换的内容中带入间接的注入攻击

六大缓解策略与实施建议

针对Agentic AI系统的15个威胁，OWASP给出了6个缓解策略，与威胁梳理的6个步骤相对应。

策略一：防止Agent推理操纵

防止攻击者操纵AI意图、通过欺骗性AI行为绕过安全措施，并增强AI行为的可追溯性。

• 减少攻击面并实施Agent行为分析，限制工具访问以最小化攻击面
• 应用行为约束防止AI自我强化循环，确保Agent不会在预设参数之外自我调整目标
• 强制执行加密日志记录和不可变的审计跟踪，防止日志篡改

策略二：防止内存中毒和AI知识污染

防止AI存储、检索或传播可能破坏决策或传播虚假信息的操纵数据。

• 实施自动扫描检测候选内存插入中的异常情况
• 将内存持久性限制在可信来源，对长期存储数据应用加密验证
• 强制Agent只能检索与当前操作任务相关的内存
• 部署异常检测系统监控AI内存日志中的意外更新
• 限制来自未经验证来源的知识传播

策略三：保障AI工具执行安全

防止AI执行未经授权的命令、滥用工具或因恶意操作而提升权限。

• 实施严格的工具访问控制策略，限制Agent可执行的工具范围
• 要求AI使用工具前进行功能级身份验证
• 使用执行沙盒防止AI驱动的工具滥用影响生产系统
• 实施即时（JIT）访问权限，仅在明确需要时授予工具访问权限，使用后立即撤销
• 记录所有AI工具交互并提供法医可追溯性
• 对涉及财务、医疗或行政职能的AI工具执行强制用户明确批准

策略四：加强身份验证和权限控制

防止未经授权的AI权限提升、身份欺骗和访问控制违规。

• 要求Agent进行加密身份验证
• 实施精细的RBAC和ABAC，确保AI仅拥有其角色所需的权限
• 除非通过预定义工作流明确授权，否则防止跨Agent权限委托
• 使用动态访问控制，自动使提升的权限过期
• 跟踪Agent的长期行为以检测身份验证中的不一致

策略五：保护HITL并预防决策疲劳

防止攻击者通过欺骗性AI行为使人类决策者超负荷运转。

• 在人工审核人员之间应用自适应工作负载分配
• 动态平衡AI审核任务以防止个别审核人员的决策疲劳
• 识别AI引发的人为操纵
• 加强AI决策的可追溯性和日志记录

策略六：保护多Agent通信和信任机制

防止攻击者破坏多Agent通信、利用信任机制或操纵分布式AI环境中的决策。

• 要求所有Agent间通信进行消息认证和加密
• 在执行高风险AI操作之前使用共识验证
• 实施任务分段防止攻击者跨多个互连AI Agent提升权限
• 隔离检测到的恶意Agent，立即限制其网络和系统访问

增强的安全软件开发生命周期

组织应当在现有安全软件开发生命周期（Secure SDLC）的基础上，针对Agentic AI系统的特性和安全风险，增加相应管理流程、技术控制和工具平台。

架构设计和威胁建模阶段

针对Agentic AI系统进行专门的威胁建模（如STRIDE、OWASP LLM TOP 10 & OWASP for Agentic AI等AI适用的威胁建模方法），应当将LLM本身、MCP服务器和外部数据源都视为模型中的组件，并分析它们之间的信任边界和潜在攻击路径。

交互点输入验证与净化

对Agentic AI系统的交互点强制输入验证与净化：使用参数化查询处理所有数据库交互，严禁使用隐私包含语义式的参数以根除注入风险。对所有来自外部的输入进行严格验证和净化，防止间接注入。

安全可控的发布机制

每次工具和工具描述的更新都需要走正规的版本发布流程，对其进行安全评估和审核，以防止类似”地毯拉取”等攻击（工具描述首次安全评估没问题，但后续版本更新中带入了注入攻击）。

持续监控与事件响应

对运行中的AI Agent和MCP服务器进行持续的运行和安全监控，记录完整的规划及工具调用等的跟踪日志，并制定针对MCP相关事件（如提示注入、服务器被操纵等）的应急响应预案。

架构层面的安全设计

Agentic AI系统中一个突出的风险是使用工具的响应内容给大模型LLM进行规划和推理，这个场景非常容易引入间接注入攻击威胁。由于这类注入攻击难以通过工具（如Guardrails）进行有效过滤，建议在整体系统的架构设计层面进行考量，即Security by Design策略。

控制面与数据面隔离

建议尽量只使用控制面的数据（工具的描述、系统提示词等）给大模型进行规划和推理，不使用数据面的数据（即工具的响应内容等）给大模型进行规划和推理。这种隔离模式可以有效避免攻击者通过数据面的间接注入进行攻击。

逻辑隔离的多AI代理架构

如果系统确实需要使用数据面的数据给大模型进行规划和推理，建议把这部分功能单独设计为一个隔离的AI代理，与主AI代理在逻辑架构上隔离开，把风险控制在有限的范围内：

• 主AI代理：只基于指令说明进行规划、推理，即控制面信息
• 隔离的AI代理：可以基于工具的输入内容进行规划、推理，即可以使用数据面信息，但隔离在受限的环境内
• 隔离的AI代理与主代理之间，只传递必要的结构化数据

Amazon Bedrock Guardrails实战部署

由于Agent与大型语言模型的交互开放性，生成内容的控制在一定程度上减少，形成有害内容生成的风险。即使LLM内置了安全防护机制，也可能通过越狱攻击和对抗性漏洞生成暴力、色情、仇恨言论、不符合事实的幻觉内容，甚至泄露敏感信息。

主要安全隐患

• 有害内容生成：模型可能生成与暴力、色情和仇恨言论相关的内容，非法和犯罪指令，或伦理偏见和歧视
• 越狱攻击：攻击者使用提示或漏洞绕过安全机制，导致模型输出有害内容
• 幻觉：模型生成的内容与事实不一致，逻辑混乱，或脱离上下文
• 信息泄露：大型模型处理大量敏感数据时，可能导致个人隐私或商业机密泄露

分层过滤解决方案

企业可以采用多层防护策略，在每次的用户输入、大模型的规划、记忆数据存储、工具描述和响应内容、Agent最终给用户的响应、跨Agent之间的消息传递等各个环节都独立调用Amazon Bedrock Guardrails进行过滤，特别是提示词注入攻击的过滤，可以有效缓解注入攻击的风险。

实施代码示例

以下使用Amazon Bedrock AgentCore框架集成Amazon Bedrock Guardrails实现安全防护：

import boto3
import json
import uuid
from typing import Dict, Any, Optional, List

class AgentCoreGuardrailsManager:
    """AWS AgentCore中的Guardrails护栏管理器"""
    
    def __init__(self, region_name: str = 'us-east-1'):
        # AgentCore Control Plane 客户端 - 用于管理Agent Runtime
        self.AgentCore_control_client = boto3.client('bedrock-AgentCore-control', region_name=region_name)
        # AgentCore Data Plane 客户端 - 用于调用Agent Runtime
        self.AgentCore_client = boto3.client('bedrock-AgentCore', region_name=region_name)
        # Bedrock 客户端 - 用于管理Guardrails
        self.bedrock_client = boto3.client('bedrock', region_name=region_name)
        self.region_name = region_name

    def create_basic_guardrail(self) -> str:
        """创建基础的Guardrail配置"""
        try:
            response = self.bedrock_client.create_guardrail(
                name='AgentCore-safety-guardrail',
                description='AgentCore Runtime基础安全防护配置',
                # 内容过滤器配置
                contentPolicyConfig={
                    'filtersConfig': [
                        {'type': 'SEXUAL', 'inputStrength': 'HIGH', 'outputStrength': 'HIGH'},
                        {'type': 'VIOLENCE', 'inputStrength': 'HIGH', 'outputStrength': 'HIGH'},
                        {'type': 'HATE', 'inputStrength': 'MEDIUM', 'outputStrength': 'MEDIUM'},
                        {'type': 'MISCONDUCT', 'inputStrength': 'HIGH', 'outputStrength': 'HIGH'},
                        {'type': 'PROMPT_ATTACK', 'inputStrength': 'HIGH', 'outputStrength': 'NONE'}
                    ]
                },
                # 拒绝主题配置
                topicPolicyConfig={
                    'topicsConfig': [
                        {
                            'name': '投资建议',
                            'definition': '提供个人化的投资建议或财务规划建议',
                            'examples': ['我应该投资哪些股票？', '你推荐什么基金？'],
                            'type': 'DENY'
                        },
                        {
                            'name': '医疗诊断',
                            'definition': '提供医疗诊断或治疗建议',
                            'examples': ['我这个症状是什么病？', '我应该吃什么药？'],
                            'type': 'DENY'
                        }
                    ]
                },
                # 敏感信息过滤器
                sensitiveInformationPolicyConfig={
                    'piiEntitiesConfig': [
                        {'type': 'EMAIL', 'action': 'ANONYMIZE'},
                        {'type': 'PHONE', 'action': 'ANONYMIZE'},
                        {'type': 'NAME', 'action': 'ANONYMIZE'},
                        {'type': 'ADDRESS', 'action': 'BLOCK'},
                        {'type': 'SSN', 'action': 'BLOCK'}
                    ],
                    'regexesConfig': [
                        {
                            'name': '信用卡号',
                            'description': '检测信用卡号码',
                            'pattern': r'\b\d{4}[\s-]?\d{4}[\s-]?\d{4}[\s-]?\d{4}\b',
                            'action': 'BLOCK'
                        }
                    ]
                },
                # 上下文基础检查（防幻觉）
                contextualGroundingPolicyConfig={
                    'filtersConfig': [
                        {'type': 'GROUNDING', 'threshold': 0.85},
                        {'type': 'RELEVANCE', 'threshold': 0.5}
                    ]
                },
                blockedInputMessaging='抱歉，您的输入包含不当内容，无法处理。',
                blockedOutputsMessaging='抱歉，无法提供相关信息。'
            )
            guardrail_id = response['guardrailId']
            print(f"Guardrail创建成功，ID: {guar