การครอบคลุมของโค้ดด้วย Bazel

รายงานปัญหา ดูแหล่งที่มา

Bazel มีคำสั่งย่อย coverage เพื่อสร้างรายงานการครอบคลุมของโค้ดในที่เก็บที่ทดสอบได้ด้วย bazel coverage เนื่องจากระบบนิเวศของภาษาที่หลากหลายมีความแตกต่าง การเปลี่ยนแปลงนี้จะใช้กับโครงงานหนึ่งๆ จึงไม่มีความสำคัญเสมอไป

หน้านี้แสดงขั้นตอนทั่วไปในการสร้างและดูรายงานการครอบคลุม และยังมีหมายเหตุเฉพาะภาษาสำหรับภาษาที่ระบบรู้จักการกำหนดค่า ขอแนะนำให้อ่านหัวข้อทั่วไปก่อน แล้วจึงอ่านเกี่ยวกับข้อกำหนดสำหรับภาษาใดภาษาหนึ่ง และโปรดดูส่วนการดำเนินการระยะไกลซึ่งมีข้อควรพิจารณาเพิ่มเติม

แม้ว่าคุณจะปรับแต่งได้มากมาย แต่เอกสารนี้มุ่งเน้นที่การสร้างและใช้รายงาน lcov ซึ่งเป็นเส้นทางที่เรารองรับมากที่สุดในปัจจุบัน

การสร้างรายงานการครอบคลุม

การเตรียมพร้อม

ขั้นตอนการทำงานพื้นฐานสำหรับการสร้างรายงานการครอบคลุมต้องมีสิ่งต่อไปนี้

  • ที่เก็บพื้นฐานที่มีเป้าหมายในการทดสอบ
  • เชนเครื่องมือที่ติดตั้งเครื่องมือการครอบคลุมโค้ดเฉพาะภาษา
  • การกำหนดค่า "การใช้เครื่องมือ" ที่ถูกต้อง

ทั้ง 2 อย่างแรกมีความเฉพาะเจาะจงในภาษาและตรงไปตรงมาเป็นส่วนใหญ่ แต่รูปแบบหลังอาจทำได้ยากกว่าสำหรับโครงการที่ซับซ้อน

"การวัดคุม" ในกรณีนี้หมายถึงเครื่องมือการครอบคลุมที่ใช้สําหรับเป้าหมายหนึ่งๆ Bazel อนุญาตให้เปิดฟีเจอร์นี้กับชุดย่อยที่เจาะจงของไฟล์โดยใช้แฟล็ก --instrumentation_filter ซึ่งระบุตัวกรองสำหรับเป้าหมายที่ทดสอบเมื่อเปิดใช้การใช้เครื่องมือ หากต้องการเปิดใช้การใช้เครื่องมือสำหรับการทดสอบ ต้องใช้แฟล็ก --instrument_test_targets

โดยค่าเริ่มต้น Bazel จะพยายามจับคู่แพ็กเกจเป้าหมาย แล้วพิมพ์ตัวกรองที่เกี่ยวข้องเป็นข้อความ INFO

การครอบคลุมที่ทำงานอยู่

หากต้องการสร้างรายงานการครอบคลุม ให้ใช้ bazel coverage --combined_report=lcov [target] การดำเนินการนี้จะเรียกใช้การทดสอบสำหรับเป้าหมาย โดยสร้างรายงานการครอบคลุมในรูปแบบ lcov สำหรับแต่ละไฟล์

เมื่อดำเนินการเสร็จแล้ว Bazel จะเรียกใช้การดำเนินการที่รวบรวมไฟล์การครอบคลุมที่สร้างขึ้นทั้งหมด จากนั้นผสานไฟล์เหล่านั้นเป็นไฟล์เดียว ซึ่งสุดท้ายแล้วจะสร้างขึ้นภายใต้ $(bazel info output_path)/_coverage/_coverage_report.dat

นอกจากนี้ จะมีการสร้างรายงานการครอบคลุมด้วยหากการทดสอบล้มเหลว โปรดทราบว่าการรายงานนี้ไม่ได้รวมถึงการทดสอบที่ล้มเหลว แต่จะรายงานเฉพาะการทดสอบที่ผ่านเท่านั้น

กำลังดูการรายงานข่าว

รายงานการครอบคลุมจะแสดงในรูปแบบ lcov ที่มนุษย์อ่านไม่ได้เท่านั้น จากข้อมูลนี้ เราจะใช้ยูทิลิตี genhtml (ซึ่งเป็นส่วนหนึ่งของโปรเจ็กต์ lcov) เพื่อสร้างรายงานที่ดูในเว็บเบราว์เซอร์ได้

genhtml --output genhtml "$(bazel info output_path)/_coverage/_coverage_report.dat"

โปรดทราบว่า genhtml จะอ่านซอร์สโค้ดด้วย เพื่ออธิบายการครอบคลุมที่ขาดหายไปในไฟล์เหล่านี้ การดำเนินการดังกล่าวต้องมีการดำเนินการ genhtml ในรูทของโปรเจ็กต์ Bazel

หากต้องการดูผลลัพธ์ เพียงเปิดไฟล์ index.html ที่สร้างขึ้นในไดเรกทอรี genhtml ในเว็บเบราว์เซอร์

หากต้องการความช่วยเหลือและข้อมูลเพิ่มเติมเกี่ยวกับเครื่องมือ genhtml หรือ รูปแบบการครอบคลุมของ lcov โปรดดูโปรเจ็กต์ lcov

การดำเนินการจากระยะไกล

ปัจจุบันการเรียกใช้การทดสอบจากระยะไกลมีข้อควรระวังอยู่ 2-3 ข้อ

  • การทำงานของชุดรายงานยังทำงานจากระยะไกลไม่ได้ เนื่องจาก Bazel ไม่ได้ถือว่าไฟล์เอาต์พุตการครอบคลุมเป็นส่วนหนึ่งของกราฟ (ดูปัญหานี้) จึงไม่สามารถจัดการกับไฟล์เหล่านั้นว่าเป็นอินพุตของการดำเนินการชุดค่าผสมได้อย่างถูกต้อง หากต้องการแก้ปัญหานี้ ให้ใช้ --strategy=CoverageReport=local
    • หมายเหตุ: คุณอาจต้องระบุบางอย่าง เช่น --strategy=CoverageReport=local,remote แทน หาก Bazel ตั้งค่าให้ลองใช้ local,remote เนื่องจาก Bazel แก้ไขกลยุทธ์
  • และไม่สามารถใช้ --remote_download_minimal และแฟล็กที่คล้ายกัน อันเป็นผลมาจากแบบแรกได้ด้วย
  • ตอนนี้ Bazel จะสร้างข้อมูลการครอบคลุมไม่ได้หากมีการแคชการทดสอบไว้ก่อนหน้านี้ หากต้องการแก้ปัญหานี้ คุณสามารถตั้งค่า --nocache_test_results สำหรับการเรียกใช้การครอบคลุมโดยเฉพาะ แม้ว่าวิธีนี้จะมีค่าใช้จ่ายสูงในแง่ของเวลาทดสอบ
  • --experimental_split_coverage_postprocessing และ --experimental_fetch_all_coverage_outputs
    • โดยปกติแล้ว การครอบคลุมจะมีการทำงานเป็นส่วนหนึ่งของการดำเนินการทดสอบ ดังนั้นโดยค่าเริ่มต้น เราไม่ได้รับการครอบคลุมทั้งหมดเป็นเอาต์พุตของการดำเนินการจากระยะไกลโดยค่าเริ่มต้น แฟล็กเหล่านี้จะแทนที่ค่าเริ่มต้นและ รับข้อมูลการครอบคลุม ดูรายละเอียดเพิ่มเติมได้จากปัญหานี้

การกำหนดค่าเฉพาะภาษา

Java

Java ควรทำงานได้ทันทีด้วยการกำหนดค่าเริ่มต้น Bazel Toolchains มีทุกอย่างที่จำเป็นสำหรับการดำเนินการระยะไกล รวมถึง JUnit ด้วย

Python

ดูขั้นตอนเพิ่มเติมที่จำเป็นในการเปิดใช้การรองรับการครอบคลุมใน Python ได้ในเอกสารเกี่ยวกับการครอบคลุมของ rules_python