云上大模型应用上线前安全评测，不是只测模型本身，而是把整条链路当成一个整体对象，包含用户输入、RAG 知识库、记忆模块、工具调用、Agent、云上 API 网关、权限体系一起验收，核心目标是在上线前找出提示词注入、敏感信息泄露、知识库投毒、工具越权、幻觉误导等风险，并且给出可量化指标和可复现的 POC 证据，满足发布门禁要求，很多项目上线后出现安全事故，就是评测只做简单内容审核，没有覆盖 RAG 召回、多轮上下文、工具调用等高风险链路，也没有用 POC 验证攻击路径能不能被阻断。整套评测的思路是先锁定评测边界、梳理风险清单，再设计正常业务样本 + 对抗攻击样本，自动化扫描搭配人工红队，最后走 POC 验证、整改复测、准入评审，评测结果作为上线门禁，高危阻断项不通过就不能上线。
云上大模型应用安全评测完整范围清单
- 输入侧安全：用户输入、文件上传、网页导入、多轮上下文注入、间接提示词注入（RAG 文档夹带 payload）
- 模型与提示词安全：系统提示词泄露、越狱、对齐逃逸、模型幻觉、偏见歧视、后门风险
- RAG 检索增强链路：知识库投毒、跨租户召回泄露、召回片段污染、文档隐藏指令
- Agent / 工具调用安全：工具越权、参数注入、高危操作无审批、MCP 服务滥用、循环失控调用
- 数据隐私安全：敏感信息识别、PII 泄露、数据脱敏失效、会话记忆泄漏
- 云上底座与应用安全：API 鉴权、限流、越权访问、日志审计、供应链依赖、模型权重安全
- 输出侧安全：违规内容生成、恶意代码、XSS、SQL 语句、诱导危险行为、虚假误导结论
- 合规校验：符合数据安全法、个人信息保护法、生成式 AI 服务管理相关要求
核心量化评测指标
| 指标名称 | 说明 | 准入参考阈值 |
|---|---|---|
| 风险拦截成功率 | 对抗样本被成功阻断的比例 | ≥95% |
| 误报率 | 正常业务请求被错误拦截的比例 | ≤3% |
| 漏报率 | 恶意攻击样本没有被拦截、成功执行的比例 | ≤1% |
| 敏感信息泄露检出率 | PII、密钥、内部资料被识别拦截比例 | ≥98% |
| 知识库投毒检出率 | 带恶意指令文档入库、召回拦截比例 | ≥95% |
| 工具越权执行率 | 尝试越权调用工具成功的样本占比 | 0（阻断项） |
| 安全护栏时延增量 | 安全检测带来的接口额外耗时 | ≤200ms |
| 日志完整率 | 调用链、用户指令、工具参数、返回结果留痕比例 | 100% |
| 高危阻断项通过率 | 越权、跨租户泄露、RCE、批量导出等高危用例 | 必须全部阻断 |
评测方法分类
- 自动化扫描：使用 garak、promptfoo、LLM 模糊测试工具，批量跑 OWASP LLM Top10 攻击用例，接入 CI 流水线做回归
- 静态审计：审核系统提示词、知识库文档、工具定义、权限配置、代码 SAST、依赖供应链扫描
- 动态黑盒红队测试：人工构造越狱、间接注入、多轮诱导、带 canary 蜜标敏感信息，验证能不能带出数据
- 链路溯源测试：从用户输入→召回→模型推理→工具调用，全链路取证，确认攻击路径
- 合规与文档审计：脱敏策略、留存周期、用户授权、应急处置预案检查
POC 标准落地路径（可直接作为上线门禁流程）
阶段 1：冻结版本与资产边界
锁定待上线版本、测试环境、知识库快照、工具权限配置，区分测试蜜标数据，禁止使用真实生产敏感数据；明确哪些是阻断项、哪些是优化项，约定攻击预算、终止条件。
阶段 2：基线业务测试
先跑正常业务样本，验证业务功能不受安全策略影响，统计误报率、时延、召回准确率，拿到安全开启前后的基线对比，避免安全策略把正常业务拦死。
阶段 3：分层攻击 POC 验证
- 基础 POC：直接提示词注入、越狱、系统提示词提取
- RAG POC：上传带隐藏指令的文档，验证召回后会不会污染模型输出
- Agent 工具 POC：尝试越权查询、导出、删除、调用高危接口，验证审批、参数校验、白名单是否生效
- 隐私泄露 POC：上下文埋入 canary 蜜标，验证是否会被模型带出、通过工具外发
每一条 POC 必须写清楚：前置条件、攻击 payload、预期结果、实际结果、证据截图 / 调用日志。
阶段 4：风险分级与整改
高危阻断项（越权、跨租户泄露、RCE、敏感数据批量外泄）必须修复；中低风险给出优化排期，不阻塞上线但纳入后续迭代。
阶段 5：复测回归与门禁评审
修复完成后，用同一套 POC 用例复测，同时跑回归样本，确认修复没有引入新漏洞、没有抬高误报；所有阻断项全部通过，输出安全评测报告，提交上线评审。
阶段 6：持续回归机制
后续版本变更、模型升级、知识库更新、新增工具时，自动触发这套 POC 用例回归，作为持续发布门禁。
高频踩坑点说明
⚠️ 只测输入、不测 RAG 召回：间接注入是云上大模型最容易翻车的场景，恶意文档入库后污染回答
⚠️ 只看输出文字，不校验工具动作：Agent 场景下，模型输出文字没问题，但偷偷调用高危工具
⚠️ 没有区分阻断项和优化项：全部指标一刀切，导致上线流程卡住
⚠️ POC 只在测试环境跑，云上生产配置不一样：权限、白名单、网络策略差异会导致防护失效
✅ 最佳实践：安全检测放在输入、召回后、工具调用前、输出四层，而不是只在最后做一次审核
【相关 FAQ】
问题 1：云上大模型应用上线前安全评测，评测范围只需要测大模型本身吗？
回答 1：云上大模型应用上线前安全评测不能只测大模型，需要覆盖输入、RAG 知识库、记忆、Agent 工具、云上网关、权限、日志审计整条链路。
问题 2：云上大模型应用安全评测 POC 路径，核心是要证明什么？
回答 2：云上大模型应用安全评测 POC 路径，核心是复现攻击路径，验证提示词注入、RAG 投毒、工具越权、隐私泄露等风险能不能被防护策略阻断，留下可核验证据。
问题 3：云上大模型应用安全评测里，哪些属于一票否决的高危阻断项？
回答 3：云上大模型应用安全评测里，跨租户数据泄露、工具越权执行、远程代码执行、批量导出敏感信息这类风险属于高危阻断项，POC 验证可复现就禁止上线。
问题 4：云上大模型应用上线前安全评测，自动化工具和人工红队分别适合做什么？
回答 4：自动化工具适合批量跑标准对抗样本、版本回归；人工红队适合构造复杂多轮诱导、间接注入、Agent 工具组合攻击，产出真实可复现的 POC。
【参考资料】
[2026-11-02]（Agent 发布前如何建立安全基线：从资产边界到发布门禁）阿里云开发者社区
[2026-07-20]（大模型安全护栏能力技术规范 T/ISC 0125-2026）中国互联网协会
[2026-05-09]（大模型服务与应用安全评测技术规范 T/ISC XXX—2026）中国互联网协会
[2026-08-04]（LLM security testing: how to pentest LLMs and MCP servers）Escape
[2026-08-01]（OWASP LLM Top10 DevSecOps 评测指引）OWASP 基金会
【免责声明】
本文仅为云上大模型应用上线前安全评测的方案整理，评测指标、阻断阈值需要结合业务等级、行业合规要求自定义；POC 攻击测试仅限授权测试环境，禁止未经授权对线上系统实施渗透攻击；本文不替代第三方安全测评机构的正式测评报告。