红队测试是评估 AI 系统安全性的常见方法：由专门的测试者以“攻击者”的视角，主动寻找模型的失效方式。

一、测什么。 常见范围包括：有害内容生成、越狱（绕过安全限制）、提示注入（通过外部内容劫持模型行为）、隐私与训练数据泄露、偏见与歧视，以及在智能体场景下的越权操作。

二、怎么做。 人工红队依靠测试者的创造力和领域知识，能发现意想不到的问题；自动化红队则用另一个模型生成大量攻击提示，覆盖面更广、可重复，但容易集中在已知的攻击模式。实践中常将两者结合，并在每次模型或系统提示更新后重新回归测试。

三、局限。 红队测试只能证明“发现了问题”，不能证明“不存在问题”：没找到漏洞，可能只是测试者没想到。结果的判定标准（什么算“有害”）也带有主观性，需要事先写清评分细则。此外，它测的是特定版本、特定部署方式下的行为，系统更新后结论不一定仍然成立。

四、与能力评测的区别。 能力评测关注模型“能做什么”，红队测试关注“在对抗条件下会怎样失败”，两者互补。

五、进一步的问题。 随着模型具备更强的推理和工具使用能力，红队测试也需要覆盖多轮对话、长任务以及与外部系统交互的场景，并把发现的问题转化为可复现的测试用例，纳入持续的回归测试中。

讨论问题：
1. 红队测试的结果应当如何披露，才既有利于改进又不被滥用？
2. 自动化红队能在多大程度上替代人工？你认为哪些问题只有人工才能发现？
3. 对于能调用工具的智能体，红队测试需要增加哪些新的维度？