使用 Bazel 实现代码覆盖率

Nightly · 9.0 · 8.6 · 8.5 · 8.4 · 8.3 · 8.2 · 7.7

Bazel 具有 coverage 子命令，用于生成可使用 bazel coverage 进行测试的代码库的代码覆盖率 报告。由于各种语言生态系统的特殊性，对于给定的项目，让此功能正常运行并不总是那么简单。

本页面介绍了创建和查看 覆盖率报告的一般流程，还针对配置众所周知的语言提供了一些特定于语言的说明。最好先阅读 一般部分，然后再 阅读有关特定语言的要求。另请注意 远程执行部分，该部分需要考虑一些 其他事项。

虽然可以进行大量自定义，但本文档重点介绍如何 生成和使用 lcov 报告，这是目前支持最完善的方式。

创建覆盖率报告

准备工作

创建覆盖率报告的基本工作流程需要满足以下条件：

  • 具有测试目标的基本代码库
  • 安装了特定于语言的代码覆盖率工具的工具链
  • 正确的“插桩”配置

前两个是特定于语言的，并且大多很简单， 但对于复杂的项目，后一个可能会更难。

在这种情况下，“插桩”是指用于特定目标的覆盖率工具。Bazel 允许使用 --instrumentation_filter 标志为特定文件子集启用此功能，该标志用于指定针对启用插桩的测试目标的过滤器。如需为测试启用插桩，需要使用 --instrument_test_targets 标志。

默认情况下，bazel 会尝试匹配目标软件包，并将 相关过滤器作为 INFO 消息输出。

运行覆盖率

如需生成覆盖率报告，请使用 bazel coverage --combined_report=lcov [target]。这会针对目标运行 测试，并为每个文件生成 lcov 格式 的覆盖率报告。

完成后，bazel 会运行一项操作，该操作会收集所有生成的 覆盖率文件，并将它们合并为一个文件，然后最终 在 $(bazel info output_path)/_coverage/_coverage_report.dat 下创建该文件。

如果测试失败，也会生成覆盖率报告，但请注意，这不适用于失败的测试，只会报告通过的测试。

查看覆盖率

覆盖率报告仅以非人类可读的 lcov 格式输出。由此，我们可以使用 genhtml 实用程序（lcov 项目的一部分）生成可在网络 浏览器中查看的报告：

genhtml --output genhtml "$(bazel info output_path)/_coverage/_coverage_report.dat"

请注意，genhtml 也会读取源代码，以注释这些文件中缺失的覆盖率。为此，我们希望在 bazel 项目的根目录中执行 genhtml。

如需查看结果，只需在任何网络浏览器中打开 genhtml 目录中生成的 index.html 文件即可。

如需详细了解 genhtml 工具或 lcov 覆盖率格式，请参阅 the lcov project。

远程执行

目前，使用远程测试执行运行有一些注意事项：

  • 报告组合操作尚无法远程运行。这是因为 Bazel 不会将覆盖率输出文件视为其图的一部分（请参阅 此问题），因此无法正确地将它们视为组合操作的输入。如需解决此问题，请使用 --strategy=CoverageReport=local。
    • 注意：如果 Bazel 设置为尝试 local,remote，则可能需要指定类似 --strategy=CoverageReport=local,remote 的内容，具体取决于 Bazel 解析策略的方式。
  • --remote_download_minimal 和类似标志也无法使用 由于上述原因。
  • 如果之前缓存了测试 ，Bazel 目前将无法创建覆盖率信息。如需解决此问题， --nocache_test_results可以专门为覆盖率运行设置， 但这样做当然会大大增加测试时间。
  • --experimental_split_coverage_postprocessing 和 --experimental_fetch_all_coverage_outputs
    • 通常，覆盖率作为测试操作的一部分运行，因此默认情况下，我们不会默认将所有覆盖率作为远程执行的输出返回。这些标志会替换默认值并获取 覆盖率数据。如需了解详情，请参阅此问题。

特定于语言的配置

Java

Java 应该可以使用默认配置开箱即用。 bazel 工具链还包含 远程执行所需的一切内容，包括 JUnit。

Python

前提条件

使用 Python 运行覆盖率有一些前提条件：

  • 包含 b01c859 的 bazel 二进制文件， 应该是任何 Bazel > 3.0。
  • coverage.py 的修改版本。

使用修改后的 coverage.py

一种方法是通过 rules_python，它能够使用 requirements.txt 文件，然后使用 pip_install 代码库规则将文件中列出的要求创建为 bazel 目标。

requirements.txt 应包含以下条目：

git+https://github.com/ulfjack/coveragepy.git@lcov-support

然后，应在 WORKSPACE 文件中使用 rules_python、pip_install 和 requirements.txt 文件，如下所示：

load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive")

http_archive(
    name = "rules_python",
    url = "https://github.com/bazelbuild/rules_python/releases/download/0.5.0/rules_python-0.5.0.tar.gz",
    sha256 = "cd6730ed53a002c56ce4e2f396ba3b3be262fd7cb68339f0377a45e8227fe332",
)

load("@rules_python//python:pip.bzl", "pip_install")

pip_install(
   name = "python_deps",
   requirements = "//:requirements.txt",
)

然后，可以通过让测试目标使用 coverage.py 要求，在 BUILD 文件中 设置以下内容：

load("@python_deps//:requirements.bzl", "entry_point")

alias(
    name = "python_coverage_tools",
    actual = entry_point("coverage"),
)

py_test(
    name = "test",
    srcs = ["test.py"],
    env = {
        "PYTHON_COVERAGE": "$(location :python_coverage_tools)",
    },
    deps = [
        ":main",
        ":python_coverage_tools",
    ],
)

如果您使用的是封闭的 Python 工具链，则无需将覆盖率 依赖项添加到每个 py_test 目标，而是可以将覆盖率工具添加到 工具链配置中。

由于 pip_install 规则依赖于 Python 工具链，因此无法使用它来提取 coverage 模块。 请改为在 WORKSPACE 中添加，例如

http_archive(
    name = "coverage_linux_x86_64"",
    build_file_content = """
py_library(
    name = "coverage",
    srcs = ["coverage/__main__.py"],
    data = glob(["coverage/*", "coverage/**/*.py"]),
    visibility = ["//visibility:public"],
)
""",
    sha256 = "84631e81dd053e8a0d4967cedab6db94345f1c36107c71698f746cb2636c63e3",
    type = "zip",
    urls = [
        "https://files.pythonhosted.org/packages/74/0d/0f3c522312fd27c32e1abe2fb5c323b583a5c108daf2c26d6e8dfdd5a105/coverage-6.4.1-cp39-cp39-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl",
    ],
)

然后，配置您的 Python 工具链，例如

py_runtime(
    name = "py3_runtime_linux_x86_64",
    coverage_tool = "@coverage_linux_x86_64//:coverage",
    files = ["@python3_9_x86_64-unknown-linux-gnu//:files"],
    interpreter = "@python3_9_x86_64-unknown-linux-gnu//:bin/python3",
    python_version = "PY3",
)

py_runtime_pair(
    name = "python_runtimes_linux_x86_64",
    py2_runtime = None,
    py3_runtime = ":py3_runtime_linux_x86_64",
)

toolchain(
    name = "python_toolchain_linux_x86_64",
    exec_compatible_with = [
        "@platforms//os:linux",
        "@platforms//cpu:x86_64",
    ],
    toolchain = ":python_runtimes_linux_x86_64",
    toolchain_type = "@bazel_tools//tools/python:toolchain_type",
)