การครอบคลุมของโค้ดด้วย Bazel

Bazel มีคำสั่งย่อย coverage เพื่อสร้างรายงานการครอบคลุมโค้ด ในที่เก็บที่ทดสอบได้ด้วย bazel coverage เนื่องจากลักษณะเฉพาะของระบบนิเวศของภาษาต่างๆ การทำให้ฟังก์ชันนี้ทำงานสำหรับโปรเจ็กต์หนึ่งๆ จึงไม่ใช่เรื่องง่ายเสมอไป

หน้านี้จะอธิบายกระบวนการทั่วไปในการสร้างและดูรายงานการครอบคลุม รวมถึงมีหมายเหตุเฉพาะภาษาสำหรับภาษาที่มีการกำหนดค่าที่ทราบกันดี คุณควรอ่านส่วนทั่วไปก่อน แล้วจึงอ่านเกี่ยวกับข้อกำหนดของภาษาที่ต้องการ นอกจากนี้ โปรดอ่านส่วนการดำเนินการระยะไกล ซึ่งต้องพิจารณาเพิ่มเติม

แม้ว่าคุณจะปรับแต่งได้หลายอย่าง แต่เอกสารนี้จะเน้นที่การสร้างและใช้ lcovรายงาน ซึ่งเป็นวิธีที่ได้รับการสนับสนุนมากที่สุดในปัจจุบัน

การสร้างรายงานการครอบคลุม

การเตรียมพร้อม

เวิร์กโฟลว์พื้นฐานสำหรับการสร้างรายงานการครอบคลุมต้องมีสิ่งต่อไปนี้

  • ที่เก็บข้อมูลพื้นฐานที่มีเป้าหมายการทดสอบ
  • ชุดเครื่องมือที่มีเครื่องมือการครอบคลุมโค้ดเฉพาะภาษาติดตั้งอยู่
  • การกำหนดค่า "การวัดประสิทธิภาพ" ที่ถูกต้อง

2 ข้อแรกเป็นภาษาเฉพาะและค่อนข้างตรงไปตรงมา แต่ข้อสุดท้ายอาจยากกว่าสำหรับโปรเจ็กต์ที่ซับซ้อน

"การวัดประสิทธิภาพ" ในที่นี้หมายถึงเครื่องมือการครอบคลุมที่ใช้สำหรับเป้าหมายที่เฉพาะเจาะจง Bazel อนุญาตให้เปิดใช้ฟังก์ชันนี้สำหรับไฟล์ชุดย่อยที่ เฉพาะเจาะจงโดยใช้แฟล็ก --instrumentation_filter ซึ่งระบุตัวกรองสำหรับเป้าหมายที่ทดสอบโดยเปิดใช้การ วัดประสิทธิภาพ หากต้องการเปิดใช้การวัดประสิทธิภาพสำหรับการทดสอบ คุณต้องใช้ --instrument_test_targets แฟล็ก

โดยค่าเริ่มต้น Bazel จะพยายามจับคู่แพ็กเกจเป้าหมายและพิมพ์ตัวกรองที่เกี่ยวข้องเป็นข้อความ INFO

การครอบคลุมที่ทำงานอยู่

หากต้องการสร้างรายงานการครอบคลุม ให้ใช้ bazel coverage --combined_report=lcov [target] ซึ่งจะเรียกใช้การทดสอบสำหรับเป้าหมาย โดยสร้างรายงานการครอบคลุมในรูปแบบ lcov สำหรับแต่ละไฟล์

เมื่อเสร็จแล้ว Bazel จะเรียกใช้การดำเนินการที่รวบรวมไฟล์การครอบคลุมทั้งหมดที่สร้างขึ้น และผสานไฟล์เหล่านั้นเป็นไฟล์เดียว ซึ่งจะสร้างขึ้นในที่สุด ภายใต้ $(bazel info output_path)/_coverage/_coverage_report.dat

ระบบจะสร้างรายงานการครอบคลุมแม้ว่าการทดสอบจะไม่สำเร็จ แต่โปรดทราบว่ารายงานนี้จะไม่รวมการทดสอบที่ไม่สำเร็จ โดยจะรายงานเฉพาะการทดสอบที่ผ่านเท่านั้น

การดูการครอบคลุม

ระบบจะแสดงผลรายงานการครอบคลุมในรูปแบบ lcov ที่เครื่องอ่านได้เท่านั้น จากนั้นเราสามารถใช้ยูทิลิตี genhtml (ซึ่งเป็นส่วนหนึ่งของ โปรเจ็กต์ lcov) เพื่อสร้างรายงานที่ดูได้ในเว็บเบราว์เซอร์

genhtml --branch-coverage --output genhtml "$(bazel info output_path)/_coverage/_coverage_report.dat"

โปรดทราบว่า genhtml จะอ่านซอร์สโค้ดด้วยเพื่อใส่คำอธิบายประกอบการครอบคลุมที่ขาดหายไปในไฟล์เหล่านี้ genhtml ต้องทำงานในรูทของโปรเจ็กต์ Bazel จึงจะทำงานได้

หากต้องการดูผลลัพธ์ เพียงเปิดไฟล์ index.html ที่สร้างขึ้นในไดเรกทอรี genhtml ในเว็บเบราว์เซอร์ใดก็ได้

หากต้องการความช่วยเหลือและข้อมูลเพิ่มเติมเกี่ยวกับเครื่องมือ genhtml หรือรูปแบบการครอบคลุม lcov โปรดดู โปรเจ็กต์ lcov

การดำเนินการระยะไกล

การดำเนินการทดสอบระยะไกลในปัจจุบันมีข้อควรระวังบางประการดังนี้

  • การดำเนินการรวมรายงานยังไม่สามารถทำงานจากระยะไกลได้ เนื่องจาก Bazel ไม่ถือว่าไฟล์เอาต์พุตการครอบคลุมเป็นส่วนหนึ่งของกราฟ (ดูปัญหาข้อนี้) จึงไม่สามารถจัดการไฟล์เหล่านั้นเป็นอินพุตสำหรับการดำเนินการรวมได้อย่างถูกต้อง หากต้องการหลีกเลี่ยงปัญหานี้ ให้ใช้ --strategy=CoverageReport=local
    • หมายเหตุ: คุณอาจต้องระบุค่า เช่น --strategy=CoverageReport=local,remote แทน หากตั้งค่า Bazel ให้ลองใช้ local,remote เนื่องจากวิธีที่ Bazel แก้ไขกลยุทธ์
  • คุณยังใช้แฟล็ก --remote_download_minimal และแฟล็กที่คล้ายกันไม่ได้ด้วยเนื่องจากข้อจำกัดก่อนหน้า
  • ปัจจุบัน Bazel จะสร้างข้อมูลการครอบคลุมไม่สำเร็จหากมีการแคชการทดสอบไว้ก่อนหน้านี้ หากต้องการหลีกเลี่ยงปัญหานี้ คุณสามารถตั้งค่า --nocache_test_results สำหรับการครอบคลุมที่ทำงานอยู่โดยเฉพาะได้ แม้ว่าวิธีนี้จะทำให้เวลาในการทดสอบเพิ่มขึ้นอย่างมากก็ตาม
  • --experimental_split_coverage_postprocessing และ --experimental_fetch_all_coverage_outputs
    • โดยปกติแล้ว การครอบคลุมจะทำงานเป็นส่วนหนึ่งของการดำเนินการทดสอบ ดังนั้นโดยค่าเริ่มต้น เราจึงไม่ได้รับข้อมูลการครอบคลุมทั้งหมดกลับมาเป็นเอาต์พุตของการดำเนินการระยะไกล แฟล็กเหล่านี้จะลบล้างค่าเริ่มต้นและรับข้อมูลการครอบคลุม ดูรายละเอียดเพิ่มเติมได้ที่ปัญหาข้อนี้

การกำหนดค่าเฉพาะภาษา

Java

Java ควรทำงานได้ทันทีด้วยการกำหนดค่าเริ่มต้น ชุดเครื่องมือ Bazel มีทุกสิ่งที่จำเป็นสำหรับการดำเนินการ ระยะไกล รวมถึง JUnit

Python

ดูขั้นตอนเพิ่มเติมที่จำเป็นในการเปิดใช้การรองรับการครอบคลุมใน Python ได้ที่เอกสารการครอบคลุม rules_python