其他工具测试指南

使用非 CASA 预配置扫描工具：

希望使用 SAST 和 DAST 扫描工具（内部开发的工具或商业工具）的开发者必须提供：

  • 针对 OWASP 基准的扫描输出。扫描工具应该能够检测映射到 CASA 的所有真正正例漏洞（请参阅下面的说明）
  • 扫描政策。这可以是工具扫描配置的导出内容，也可以是显示该工具扫描的是哪个 CWE 的屏幕截图。 

运行基准

您必须安装以下内容才能运行 Benchmark：

  1. GIT：https://git-scm.com/ 或 https://github.com/
  2. Maven：https://maven.mozilla.org/（版本：3.2.3 或更高版本）。
  3. Java：https://www.oracle.com/java/technologies/javase-downloads.html（Java 7 或 8）（64 位）

出于 CASA 的目的，请务必为您的 DAST 或 SAST 扫描工具生成并提交基准统计信息摘要。请注意，该基准包含大量测试，因此可能需要一段时间才能完成扫描。 

运行以下命令，下载并运行基准应用： 

$ git clone https://github.com/OWASP-Benchmark/BenchmarkJava
    $ cd benchmark
    $ mvn compile
    $ runBenchmark.sh

基准将运行于 https://localhost:8443/benchmark/。它可以用作任何 DAST 扫描的目标。现在，您可以针对基准源代码和运行时应用运行您选择的工具了。请务必将您的结果保存在基准存储库的 /results 目录中。 

在统计信息摘要生成器的输出文件名中添加以下内容：

  1. 基准版本号，以防止错误的预期输出被映射
  2. 扫描工具的名称
  3. 扫描工具的版本

以下示例输出文件名映射到使用版本 3.0 的“toolname”进行扫描，并与基准版本 1.2 进行比较。  

Benchmark_1.2-toolname-v3.0.xml

生成基准分数

基准测试会根据四个指标为应用打分：

  1. 真正例 - 该工具能够正确识别真正的漏洞
  2. 假负例 - 工具未能识别真正的漏洞
  3. 真负例 – 工具正确忽略假警报
  4. 假负例 - 工具无法忽略假警报

基准统计信息摘要概述了您的扫描工具在这些维度上的表现。从 GitHub 下载 Benchmark 工具时，它会包含 BenchmarkScore 工具。针对扫描输出运行该工具将生成一个 PNG 图，其中概述了您的最终得分。您可以在此处查看示例结果。如需生成您自己的基准统计信息摘要，请运行以下命令：

sh createScorecards.sh

这将为 /results 目录中的每个输出创建一个统计信息摘要。生成的统计信息摘要将保存在 /scorecard 目录中。在 CASA 评估过程中提交统计信息摘要。