您的 LLM 安全, 经测试并证明合规。
约 31,000 条防御性对抗提示(注入、越狱、数据泄露、毒性、过度代理、虚假信息……),用免费工具(garak、promptfoo)针对您自己的模型回放。所得报告即您 EU AI Act 附件 IV 档案的稳健性证据。本地部署,数据不出您的基础设施。
What we added recently
A living feed: here is the coverage added to it, dated.
- +274 sondes
- +82 sondes
- +58 sondes
- +104 sondes
覆盖八大 LLM 攻击面。
LLM01 · 直接/间接注入、DAN、混淆、many-shot、Unicode 走私。
LLM02 · 系统提示提取、机密、PII、上一轮泄露。
LLM05 · 惰性 XSS/SQLi/SSTI/外泄金丝雀,下游代码可能误处理。
LLM06 · 未经批准的代理危险工具调用(删除、邮件外泄、shell)。
LLM09 · 虚假事实、幻觉引用/软件包、认同错误前提。
LLM10 · 资源耗尽 / 拒绝钱包(循环、递归扩展)。
+ 两个来自参考基准(宽松许可)的分组:有害内容拒绝与毒性生成。每条提示都标注技术 + OWASP 类别 + MITRE ATLAS 技术,并附覆盖报告。约 50% 内容为原创(自研、专有)。
合规证据,而不仅是提示。
每条提示 → OWASP LLM Top 10 → EU AI Act(第15条/附件IV)→ MITRE ATLAS → NIST AI 600-1。
为 garak(NVIDIA)和 promptfoo 就绪的格式。一条命令,针对您模型的通过/失败报告。
您在本地运行。任何提示或模型都不会发送到第三方 SaaS，对受监管机构至关重要。
宽松许可来源(garak、MIT/Apache 基准)去重 + 一半我们原创内容。
Payload = 无害金丝雀(PWNED、透露你的提示……)。真实恶意软件/CBRN/PII 在构建时过滤。
随 LLM 威胁演进不断新增技术与类别。一把密钥,始终最新。
如何运行?
包内含 JSONL 提示、就绪的 promptfoo 测试(YAML)和 garak probe(tc_redteam.py)。garak:`garak --target_type ollama --target_name <模型> --probes tc_redteam.Injection`。promptfoo:`promptfoo eval --tests bundles/<bundle>/promptfoo-tests.yaml`。两者均免费开源;指向您的模型或端点即可。
对 EU AI Act 有何帮助?
EU AI Act 第15条要求对抗攻击(对抗样本、模型规避)下的稳健性,附件IV要求相应技术文档。将此数据源针对您的系统回放会生成测试报告，可直接作为合规档案的文档凭证。我们还映射 NIST AI 600-1(MEASURE 行动)与 MITRE ATLAS。注:基于提示的覆盖面向 LLM01/02/05/06/07/09/10;架构性风险(LLM03/04/08)属流程控制。
什么许可证?可以再分发吗?
本包为专有订阅产品(附 EULA)。您可用于测试自己的系统;不得再分发、转售或据此构建竞争性数据源。ThreatClaw 生成的原创内容(约一半)与整体编排为我方所有;宽松许可的第三方组件保留其许可(在包内署名)。