Mức độ sử dụng mã với Bazel

Bazel có một lệnh con coverage để tạo báo cáo mức độ sử dụng mã trên các kho lưu trữ có thể được kiểm thử bằng bazel coverage. Do đặc điểm riêng của các hệ sinh thái ngôn ngữ khác nhau, nên không phải lúc nào cũng dễ dàng để thực hiện việc này cho một dự án nhất định.

Trang này ghi lại quy trình chung để tạo và xem báo cáo mức độ sử dụng, đồng thời có một số lưu ý dành riêng cho ngôn ngữ đối với những ngôn ngữ có cấu hình được biết đến. Bạn nên đọc phần chung trước, sau đó đọc về các yêu cầu đối với một ngôn ngữ cụ thể. Cũng lưu ý phần thực thi từ xa, phần này yêu cầu một số điểm cần cân nhắc bổ sung.

Mặc dù có thể tuỳ chỉnh nhiều, nhưng tài liệu này tập trung vào việc tạo và sử dụng lcov báo cáo, đây hiện là phương thức được hỗ trợ tốt nhất.

Tạo báo cáo mức độ sử dụng

Chuẩn bị

Quy trình làm việc cơ bản để tạo báo cáo mức độ sử dụng yêu cầu những điều sau:

• Một kho lưu trữ cơ bản có mục tiêu kiểm thử
• Một chuỗi công cụ đã cài đặt các công cụ mức độ sử dụng mã dành riêng cho ngôn ngữ
• Cấu hình "instrumentation" chính xác

Hai cấu hình đầu tiên dành riêng cho ngôn ngữ và hầu hết đều đơn giản, tuy nhiên, cấu hình sau có thể khó hơn đối với các dự án phức tạp.

Trong trường hợp này, "instrumentation" đề cập đến các công cụ mức độ sử dụng được dùng cho một mục tiêu cụ thể. Bazel cho phép bật tính năng này cho một tập hợp con cụ thể của các tệp bằng cờ --instrumentation_filter, cờ này chỉ định một bộ lọc cho các mục tiêu được kiểm thử khi bật tính năng instrumentation. Để bật tính năng instrumentation cho các bài kiểm thử, bạn cần có cờ --instrument_test_targets.

Theo mặc định, bazel cố gắng khớp(các) gói mục tiêu và in bộ lọc liên quan dưới dạng thông báo INFO.

Chạy mức độ sử dụng

Để tạo báo cáo mức độ sử dụng, hãy dùng bazel coverage --combined_report=lcov [target]. Lệnh này chạy các bài kiểm thử cho mục tiêu, tạo báo cáo mức độ sử dụng ở định dạng lcov cho mỗi tệp.

Sau khi hoàn tất, bazel sẽ chạy một hành động thu thập tất cả các tệp mức độ sử dụng đã tạo và hợp nhất chúng thành một tệp. Tệp này sau đó sẽ được tạo trong $(bazel info output_path)/_coverage/_coverage_report.dat.

Báo cáo mức độ sử dụng cũng được tạo nếu các bài kiểm thử không đạt, mặc dù lưu ý rằng báo cáo này không mở rộng cho các bài kiểm thử không đạt – chỉ các bài kiểm thử đạt mới được báo cáo.

Xem mức độ sử dụng

Báo cáo mức độ sử dụng chỉ được xuất ở định dạng không thể đọc được lcov. Từ đó, chúng ta có thể sử dụng tiện ích genhtml (một phần của dự án lcov) để tạo báo cáo có thể xem được trong trình duyệt web:

genhtml --branch-coverage --output genhtml "$(bazel info output_path)/_coverage/_coverage_report.dat"

Xin lưu ý rằng genhtml cũng đọc mã nguồn để chú thích mức độ sử dụng bị thiếu trong các tệp này. Để hoạt động, dự kiến sẽ được thực thi trong thư mục gốc của dự án bazel. genhtml

Để xem kết quả, hãy mở tệp index.html được tạo trong thư mục genhtml trong bất kỳ trình duyệt web nào.

Để được trợ giúp và biết thêm thông tin về công cụ genhtml hoặc định dạng mức độ sử dụng lcov , hãy xem dự án lcov.

Thực thi từ xa

Việc chạy với tính năng thực thi kiểm thử từ xa có một số lưu ý:

• Hành động kết hợp báo cáo chưa thể chạy từ xa. Lý do là vì Bazel không coi các tệp đầu ra mức độ sử dụng là một phần của biểu đồ (xem vấn đề #4685 của Bazel) và do đó, không thể xử lý chính xác các tệp này dưới dạng dữ liệu đầu vào cho hành động kết hợp. Để giải quyết vấn đề này, hãy sử dụng --strategy=CoverageReport=local.
  • Lưu ý: Bạn có thể cần chỉ định một nội dung như --strategy=CoverageReport=local,remote thay vì nếu Bazel được thiết lập để thử local,remote, do cách Bazel phân giải các chiến lược.
• --remote_download_minimal và các cờ tương tự cũng không thể được sử dụng do hậu quả của cờ trước.
• Bazel sẽ không tạo được thông tin mức độ sử dụng nếu các bài kiểm thử đã được lưu vào bộ nhớ đệm trước đó. Để giải quyết vấn đề này, --nocache_test_results có thể được đặt dành riêng cho các lượt chạy mức độ sử dụng, mặc dù điều này chắc chắn sẽ gây ra chi phí lớn về thời gian kiểm thử.
• --experimental_split_coverage_postprocessing và --experimental_fetch_all_coverage_outputs
  • Thông thường, mức độ sử dụng được chạy như một phần của hành động kiểm thử, vì vậy, theo mặc định, chúng ta không nhận được tất cả mức độ sử dụng dưới dạng đầu ra của quá trình thực thi từ xa theo mặc định. Các cờ này ghi đè giá trị mặc định và thu thập dữ liệu mức độ sử dụng. Xem vấn đề #4685 của Bazel để biết thêm thông tin chi tiết.

Cấu hình theo ngôn ngữ cụ thể

Các phần sau đây trình bày chi tiết những điểm cần cân nhắc dành riêng cho ngôn ngữ để thiết lập mức độ sử dụng mã bằng Bazel.

C++

Linux

Mức độ sử dụng C++ sẽ hoạt động ngay khi bạn sử dụng cấu hình mặc định.

macOS

Giá trị mặc định của GCOV_PREFIX_STRIP gần như chắc chắn là không chính xác và cần được điều chỉnh theo cách thủ công vì giá trị chính xác phụ thuộc vào thiết lập của bạn.

Khi giá trị không chính xác, hệ thống sẽ không tìm thấy dữ liệu mức độ sử dụng.

Ví dụ về cách đặt GCOV_PREFIX_STRIP=10 bazel coverage //foo:foo_test --test_env=GCOV_PREFIX_STRIP=10`

Java

Java sẽ hoạt động ngay khi bạn sử dụng cấu hình mặc định. Các chuỗi công cụ bazel chứa mọi thứ cần thiết cho quá trình thực thi từ xa, cũng như JUnit.

Python

Hãy xem tài liệu về mức độ sử dụng rules_python để biết các bước bổ sung cần thiết để bật tính năng hỗ trợ mức độ sử dụng trong Python.