AISPA：面向用户的大语言模型应用系统提示词审计框架
原标题:AISPA: User-Centric System Prompt Auditing for Large Language Model Applications
AI 导读
论文提出AISPA框架，从八个用户相关维度审计商业AI应用的系统提示词，并分析88款产品中的3,249条指令。研究发现，不同开发者的保护性指令数量差异显著；98.9%的产品至少包含一条保护性指令，但仅24%覆盖全部维度，约40%的产品同时存在损害用户利益的提示词。
为什么值得读
商业AI的关键治理规则往往藏在系统提示词中；这项研究用可复用的八维框架揭示保护措施与用户风险如何并存。
深度解读
1. 发生了什么
原始事实： 论文提出Artificial Intelligence System Prompt Assurance（AISPA），用于从用户视角系统审计AI应用的系统提示词，并分析88款商业AI产品中的3,249条指令。
2. 核心技术
原始事实： AISPA检查系统提示词的具体片段，并依据八个与用户利益相关的维度进行评估，同时将指令分类为保护性或问题性。 分析： 这种方法把通常不可见的产品规则转化为可比较的审计对象，便于跨产品和开发者进行结构化对照。
3. 关键证据与数字
原始事实： 部分组织平均每个产品超过60条保护性指令，另一些少于5条；98.9%的产品至少含一条保护性指令，但只有24%覆盖全部八个维度；约40%的产品至少含一条可能损害用户利益的指令。论文还称，系统提示词持续变长，并且整体上更重视用户保护。 未独立验证： 上述数字来自用户提供的论文摘要，尚未核对正文中的采样方法、标注一致性和统计显著性。
4. 为什么重要
分析： 系统提示词不仅控制回答风格，也可能规定披露边界、拒答策略、商业目标和对用户请求的优先级。若保护性规则与问题性规则共存，仅统计“是否有安全指令”会掩盖实际风险，AISPA强调了覆盖范围和冲突关系的重要性。
5. 实际影响
分析： 产品团队可将八个维度作为提示词评审清单，监管机构和采购方可要求提供经过审计的控制项覆盖率，独立研究者则可用统一分类方法比较不同应用。该框架也可能帮助定位需要人工复核的提示词片段。
6. 局限与不确定性
原始事实： 摘要未说明八个维度的具体定义、产品样本如何获得、3,249条指令如何抽取，以及“问题性”分类的标注流程。 分析： 系统提示词可能随版本、地区、账户权限和上下文动态变化，因此一次性审计未必代表产品的长期行为。仅凭提示词文本也无法证明模型一定会遵循某条指令或产生对应用户影响。 未验证推断： “问题性”指令的比例可能受研究者定义、样本可见性和产品类型分布影响，不能直接解释为整个商业AI市场的总体比例。
7. 原始来源
- arXiv abstract: AISPA: User-Centric System Prompt Auditing for Large Language Model Applications
- 提供信息：来源为hf-papers，发布日期标注为2026-08-03。