首页 / 常见问题 / AI数字员工、多智能体、安全与企业智能搜索
QUESTION & ANSWER

企业AI Agent上线前应该做哪些安全测试?

除常规Web、API和基础设施安全测试外,还要测试提示注入、间接指令、知识权限、工具滥用、身份混淆、敏感信息泄露、记忆污染、多Agent消息伪造和人工审批绕过。测试应使用真实工具和业务状态,并确认发现问题后能暂停、回退和转人工。只对聊天回答做内容审核远远不够。

直接回答

先给出可以用于决策的结论

Agent风险来自模型、数据、知识、工具和系统权限的组合。上线前应先建立资产清单与威胁模型,再分别检查直接和间接提示注入、跨用户知识泄露、工具参数越权、长期凭据、恶意文件、外部网页、记忆隔离、输出执行和多Agent信任。高风险场景还要演练人工审批、紧急停用、密钥轮换、日志调查和版本回退。测试结果必须关联具体版本,否则模型或工具变化后无法证明仍然安全。

DECISION FACTORS

判断前需要确认哪些条件

同一个问题在不同企业、数据和项目阶段下可能有不同答案。建议先核对以下条件,再把网上的通用结论代入自己的项目。

Agent接触的数据敏感度和用户范围工具能否写入、删除、付款或对外发布是否使用MCP、浏览器、邮件或多Agent协作部署环境、模型供应商和日志保留要求
ACTION STEPS

建议按什么顺序推进

01

先明确目标与边界

盘点模型、知识、工具、身份和数据流。

02

验证关键依赖

按业务后果建立威胁模型和测试样本。

03

形成可评审成果

执行越权、注入、滥用、泄露和恢复测试。

04

用真实结果决定下一步

完成整改、固定回归集和上线后的持续复测。

PRACTICAL EXAMPLE

放到实际业务中如何理解

示例用于说明判断方法

采购Agent可以读取报价邮件并创建采购申请。安全测试不仅要问它是否会泄露信息,还要在附件中植入指令,尝试修改供应商账号、提高金额、重复提交和跳过审批,确认工具层校验、审批和告警都能生效。 示例不代表特定客户业绩,实际结论需要结合企业自己的业务量、样本、系统和责任边界验证。

COMMON RISKS

最容易踩的坑

沿用普通聊天机器人的安全清单

在模拟工具中通过测试却未验证生产权限

测试完成后不在模型或工具升级时复测

ACCEPTANCE

最终应该怎样验收或确认

报告应列出资产、版本、攻击路径、复现证据、风险等级、整改责任和剩余风险。严重越权和不可逆动作必须在执行层阻断,关键安全样本应进入每次发布的自动或人工回归。

准备与供应商或内部团队沟通时,建议带上当前流程、代表性样本、现有系统、计划时间和预算等级。先把未知项明确标注,再决定采用诊断、PoC、固定范围项目或持续研发,通常比直接索要一个缺少边界的价格和工期更可靠。

你的项目条件与上面的示例不同?

可以先整理业务目标、现有系统、样本与计划时间,再由顾问结合实际边界给出初步判断。

联系项目顾问