การครอบคลุมของโค้ดด้วย Bazel

Bazel มีคำสั่งย่อย coverage เพื่อสร้างรายงานการครอบคลุมของโค้ดในที่เก็บที่ทดสอบได้ด้วย bazel coverage เนื่องจากระบบนิเวศของภาษาที่หลากหลายมีความแตกต่าง การเปลี่ยนแปลงนี้จะใช้กับโครงงานหนึ่งๆ จึงไม่มีความสำคัญเสมอไป

หน้านี้แสดงขั้นตอนทั่วไปในการสร้างและดูรายงานการครอบคลุม และยังมีหมายเหตุเฉพาะภาษาสำหรับภาษาที่ระบบรู้จักการกำหนดค่า ขอแนะนำให้อ่านหัวข้อทั่วไปก่อน แล้วจึงอ่านเกี่ยวกับข้อกำหนดสำหรับภาษาใดภาษาหนึ่ง และโปรดดูส่วนการดำเนินการระยะไกลซึ่งมีข้อควรพิจารณาเพิ่มเติม

แม้ว่าคุณจะปรับแต่งได้มากมาย แต่เอกสารนี้มุ่งเน้นที่การสร้างและใช้รายงาน lcov ซึ่งเป็นเส้นทางที่เรารองรับมากที่สุดในปัจจุบัน

การสร้างรายงานการครอบคลุม

การเตรียมพร้อม

ขั้นตอนการทำงานพื้นฐานสำหรับการสร้างรายงานการครอบคลุมต้องมีสิ่งต่อไปนี้

• ที่เก็บพื้นฐานที่มีเป้าหมายในการทดสอบ
• เชนเครื่องมือที่ติดตั้งเครื่องมือการครอบคลุมโค้ดเฉพาะภาษา
• การกำหนดค่า "การใช้เครื่องมือ" ที่ถูกต้อง

ทั้ง 2 อย่างแรกมีความเฉพาะเจาะจงในภาษาและตรงไปตรงมาเป็นส่วนใหญ่ แต่รูปแบบหลังอาจทำได้ยากกว่าสำหรับโครงการที่ซับซ้อน

"การวัดคุม" ในกรณีนี้หมายถึงเครื่องมือการครอบคลุมที่ใช้สําหรับเป้าหมายหนึ่งๆ Bazel อนุญาตให้เปิดฟีเจอร์นี้กับชุดย่อยที่เจาะจงของไฟล์โดยใช้แฟล็ก --instrumentation_filter ซึ่งระบุตัวกรองสำหรับเป้าหมายที่ทดสอบเมื่อเปิดใช้การใช้เครื่องมือ หากต้องการเปิดใช้การใช้เครื่องมือสำหรับการทดสอบ ต้องใช้แฟล็ก --instrument_test_targets

โดยค่าเริ่มต้น Bazel จะพยายามจับคู่แพ็กเกจเป้าหมาย แล้วพิมพ์ตัวกรองที่เกี่ยวข้องเป็นข้อความ INFO

การครอบคลุมที่ทำงานอยู่

หากต้องการสร้างรายงานการครอบคลุม ให้ใช้ bazel coverage --combined_report=lcov [target] การดำเนินการนี้จะเรียกใช้การทดสอบสำหรับเป้าหมาย โดยสร้างรายงานการครอบคลุมในรูปแบบ lcov สำหรับแต่ละไฟล์

เมื่อดำเนินการเสร็จแล้ว Bazel จะเรียกใช้การดำเนินการที่รวบรวมไฟล์การครอบคลุมที่สร้างขึ้นทั้งหมด จากนั้นผสานไฟล์เหล่านั้นเป็นไฟล์เดียว ซึ่งสุดท้ายแล้วจะสร้างขึ้นภายใต้ $(bazel info output_path)/_coverage/_coverage_report.dat

นอกจากนี้ จะมีการสร้างรายงานการครอบคลุมด้วยหากการทดสอบล้มเหลว โปรดทราบว่าการรายงานนี้ไม่ได้รวมถึงการทดสอบที่ล้มเหลว แต่จะรายงานเฉพาะการทดสอบที่ผ่านเท่านั้น

กำลังดูการรายงานข่าว

รายงานการครอบคลุมจะแสดงในรูปแบบ lcov ที่มนุษย์อ่านไม่ได้เท่านั้น จากข้อมูลนี้ เราจะใช้ยูทิลิตี genhtml (ซึ่งเป็นส่วนหนึ่งของโปรเจ็กต์ lcov) เพื่อสร้างรายงานที่ดูในเว็บเบราว์เซอร์ได้

genhtml --output genhtml "$(bazel info output_path)/_coverage/_coverage_report.dat"

โปรดทราบว่า genhtml จะอ่านซอร์สโค้ดด้วย เพื่ออธิบายการครอบคลุมที่ขาดหายไปในไฟล์เหล่านี้ การดำเนินการดังกล่าวต้องมีการดำเนินการ genhtml ในรูทของโปรเจ็กต์ Bazel

หากต้องการดูผลลัพธ์ เพียงเปิดไฟล์ index.html ที่สร้างขึ้นในไดเรกทอรี genhtml ในเว็บเบราว์เซอร์

หากต้องการความช่วยเหลือและข้อมูลเพิ่มเติมเกี่ยวกับเครื่องมือ genhtml หรือ รูปแบบการครอบคลุมของ lcov โปรดดูโปรเจ็กต์ lcov

การดำเนินการจากระยะไกล

ปัจจุบันการเรียกใช้การทดสอบจากระยะไกลมีข้อควรระวังอยู่ 2-3 ข้อ

• การทำงานของชุดรายงานยังทำงานจากระยะไกลไม่ได้ เนื่องจาก Bazel ไม่ได้ถือว่าไฟล์เอาต์พุตการครอบคลุมเป็นส่วนหนึ่งของกราฟ (ดูปัญหานี้) จึงไม่สามารถจัดการกับไฟล์เหล่านั้นว่าเป็นอินพุตของการดำเนินการชุดค่าผสมได้อย่างถูกต้อง หากต้องการแก้ปัญหานี้ ให้ใช้ --strategy=CoverageReport=local
  • หมายเหตุ: คุณอาจต้องระบุบางอย่าง เช่น --strategy=CoverageReport=local,remote แทน หาก Bazel ตั้งค่าให้ลองใช้ local,remote เนื่องจาก Bazel แก้ไขกลยุทธ์
• และไม่สามารถใช้ --remote_download_minimal และแฟล็กที่คล้ายกัน อันเป็นผลมาจากแบบแรกได้ด้วย
• ตอนนี้ Bazel จะสร้างข้อมูลการครอบคลุมไม่ได้หากมีการแคชการทดสอบไว้ก่อนหน้านี้ หากต้องการแก้ปัญหานี้ คุณสามารถตั้งค่า --nocache_test_results สำหรับการเรียกใช้การครอบคลุมโดยเฉพาะ แม้ว่าวิธีนี้จะมีค่าใช้จ่ายสูงในแง่ของเวลาทดสอบ
• --experimental_split_coverage_postprocessing และ --experimental_fetch_all_coverage_outputs
  • โดยปกติแล้ว การครอบคลุมจะมีการทำงานเป็นส่วนหนึ่งของการดำเนินการทดสอบ ดังนั้นโดยค่าเริ่มต้น เราไม่ได้รับการครอบคลุมทั้งหมดเป็นเอาต์พุตของการดำเนินการจากระยะไกลโดยค่าเริ่มต้น แฟล็กเหล่านี้จะแทนที่ค่าเริ่มต้นและ รับข้อมูลการครอบคลุม ดูรายละเอียดเพิ่มเติมได้จากปัญหานี้

การกำหนดค่าเฉพาะภาษา

Java

Java ควรทำงานได้ทันทีด้วยการกำหนดค่าเริ่มต้น Bazel Toolchains มีทุกอย่างที่จำเป็นสำหรับการดำเนินการระยะไกล รวมถึง JUnit ด้วย

Python

ข้อกำหนดเบื้องต้น

การเรียกใช้การครอบคลุมด้วย Python มีข้อกำหนดเบื้องต้นดังนี้

• ไบนารีแบบเบเซลที่มี b01c859 ซึ่งควรเป็น Bazel ใดๆ ที่มี >3.0
• ความครอบคลุม.py เวอร์ชันแก้ไข

การใช้ความครอบคลุมที่แก้ไข

วิธีการคือการใช้ rules_python ที่จะทำให้สามารถใช้ไฟล์ requirements.txt จากนั้นข้อกำหนดที่ระบุไว้ในไฟล์จะสร้างขึ้นเป็นเป้าหมายแบบ Bazel โดยใช้กฎที่เก็บ pip_install

requirements.txt ควรมีรายการดังต่อไปนี้

git+https://github.com/ulfjack/coveragepy.git@lcov-support

จากนั้นควรใช้ไฟล์ rules_python, pip_install และ requirements.txt ในไฟล์ WORKSPACE เป็น

load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive")

http_archive(
    name = "rules_python",
    url = "https://github.com/bazelbuild/rules_python/releases/download/0.5.0/rules_python-0.5.0.tar.gz",
    sha256 = "cd6730ed53a002c56ce4e2f396ba3b3be262fd7cb68339f0377a45e8227fe332",
)

load("@rules_python//python:pip.bzl", "pip_install")

pip_install(
   name = "python_deps",
   requirements = "//:requirements.txt",
)

เป้าหมายการทดสอบสามารถใช้ข้อกำหนด privacy.py ได้โดยการตั้งค่าต่อไปนี้ในไฟล์ BUILD

load("@python_deps//:requirements.bzl", "entry_point")

alias(
    name = "python_coverage_tools",
    actual = entry_point("coverage"),
)

py_test(
    name = "test",
    srcs = ["test.py"],
    env = {
        "PYTHON_COVERAGE": "$(location :python_coverage_tools)",
    },
    deps = [
        ":main",
        ":python_coverage_tools",
    ],
)

หากคุณใช้ Toolchain ของ Python อย่างสม่ำเสมอ คุณจะเพิ่มเครื่องมือการครอบคลุมลงในการกำหนดค่า Toolchain แทนการเพิ่มการอ้างอิงการครอบคลุมให้กับเป้าหมาย py_test ทุกรายการได้

เนื่องจากกฎ pip_install อิงตาม Python toolchain จึงไม่สามารถดึงโมดูล coverage ได้ แต่ให้เพิ่ม WORKSPACE ของคุณแทน เช่น

http_archive(
    name = "coverage_linux_x86_64"",
    build_file_content = """
py_library(
    name = "coverage",
    srcs = ["coverage/__main__.py"],
    data = glob(["coverage/*", "coverage/**/*.py"]),
    visibility = ["//visibility:public"],
)
""",
    sha256 = "84631e81dd053e8a0d4967cedab6db94345f1c36107c71698f746cb2636c63e3",
    type = "zip",
    urls = [
        "https://files.pythonhosted.org/packages/74/0d/0f3c522312fd27c32e1abe2fb5c323b583a5c108daf2c26d6e8dfdd5a105/coverage-6.4.1-cp39-cp39-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl",
    ],
)

จากนั้นกำหนดค่าห่วงโซ่เครื่องมือ Python เช่น

py_runtime(
    name = "py3_runtime_linux_x86_64",
    coverage_tool = "@coverage_linux_x86_64//:coverage",
    files = ["@python3_9_x86_64-unknown-linux-gnu//:files"],
    interpreter = "@python3_9_x86_64-unknown-linux-gnu//:bin/python3",
    python_version = "PY3",
)

py_runtime_pair(
    name = "python_runtimes_linux_x86_64",
    py2_runtime = None,
    py3_runtime = ":py3_runtime_linux_x86_64",
)

toolchain(
    name = "python_toolchain_linux_x86_64",
    exec_compatible_with = [
        "@platforms//os:linux",
        "@platforms//cpu:x86_64",
    ],
    toolchain = ":python_runtimes_linux_x86_64",
    toolchain_type = "@bazel_tools//tools/python:toolchain_type",
)