Gỡ lỗi các lượt truy cập vào bộ nhớ đệm từ xa để thực thi từ xa

Báo cáo vấn đề Xem nguồn Nightly · 7.4 . 7.3 · 7.2 · 7.1 · 7.0 · 6.5

Trang này mô tả cách kiểm tra tỷ lệ truy cập vào bộ nhớ đệm và cách điều tra các lần không truy cập được vào bộ nhớ đệm trong bối cảnh thực thi từ xa.

Trang này giả định rằng bạn có một bản dựng và/hoặc kiểm thử sử dụng thành công tính năng thực thi từ xa và bạn muốn đảm bảo rằng bạn đang sử dụng hiệu quả bộ nhớ đệm từ xa.

Kiểm tra tỷ lệ truy cập vào bộ nhớ đệm

Trong kết quả tiêu chuẩn của lần chạy Bazel, hãy xem dòng INFO liệt kê các quy trình tương ứng gần đúng với các hành động của Bazel. Dòng đó nêu chi tiết nơi thực hiện hành động. Tìm nhãn remote, nhãn này cho biết một thao tác được thực thi từ xa, linux-sandbox cho các thao tác được thực thi trong hộp cát cục bộ và các giá trị khác cho các chiến lược thực thi khác. Một hành động có kết quả đến từ bộ nhớ đệm từ xa sẽ hiển thị dưới dạng remote cache hit.

Ví dụ:

INFO: 11 processes: 6 remote cache hit, 3 internal, 2 remote.

Trong ví dụ này, có 6 lượt truy cập vào bộ nhớ đệm từ xa, còn 2 thao tác không có lượt truy cập vào bộ nhớ đệm và được thực thi từ xa. Bạn có thể bỏ qua 3 phần nội bộ. Đó thường là những hành động nhỏ nội bộ, ví dụ như tạo các liên kết tượng trưng. Số lượt truy cập vào bộ nhớ đệm cục bộ không được đưa vào bản tóm tắt này. Nếu bạn nhận được 0 quy trình (hoặc một con số thấp hơn dự kiến), hãy chạy bazel clean, theo sau là lệnh bản dựng/kiểm thử.

Khắc phục sự cố về số lượt truy cập vào bộ nhớ đệm

Nếu bạn không nhận được tỷ lệ lượt truy cập vào bộ nhớ đệm mà mình mong muốn, hãy làm như sau:

Đảm bảo việc chạy lại cùng một lệnh bản dựng/kiểm thử sẽ tạo ra các lượt truy cập vào bộ nhớ đệm

  1. Chạy (các) bản dựng và/hoặc kiểm thử mà bạn dự kiến sẽ điền vào bộ nhớ đệm. Trong lần đầu tiên chạy một bản dựng mới trên một ngăn xếp cụ thể, bạn có thể không nhận được lượt truy cập vào bộ nhớ đệm từ xa. Trong quá trình thực thi từ xa, kết quả hành động được lưu trữ trong bộ nhớ đệm và lần chạy tiếp theo sẽ nhận được kết quả đó.

  2. Chạy bazel clean. Lệnh này sẽ xoá bộ nhớ đệm cục bộ, cho phép bạn điều tra các lượt truy cập bộ nhớ đệm từ xa mà không khiến kết quả bị che khuất bởi các lượt truy cập bộ nhớ đệm cục bộ.

  3. Chạy (các) bản dựng và kiểm thử mà bạn đang điều tra lại (trên cùng một máy).

  4. Kiểm tra dòng INFO để biết tỷ lệ truy cập vào bộ nhớ đệm. Nếu bạn không thấy quy trình nào ngoại trừ remote cache hit và internal, thì bộ nhớ đệm của bạn đang được điền và truy cập chính xác. Trong trường hợp đó, hãy chuyển sang phần tiếp theo.

  5. Một nguồn có thể gây ra sự khác biệt là một vấn đề không kín trong bản dựng khiến các hành động nhận được các khoá hành động khác nhau trong hai lần chạy. Để tìm các thao tác đó, hãy làm như sau:

    a. Chạy lại(các) bản dựng hoặc(các) chương trình kiểm thử có liên quan để lấy nhật ký thực thi:

      bazel clean
  bazel --optional-flags build //your:target --execution_log_binary_file=/tmp/exec1.log

    b. So sánh nhật ký thực thi giữa hai lần chạy. Đảm bảo rằng các hành động giống hệt nhau trên hai tệp nhật ký. Sự khác biệt cung cấp gợi ý về những thay đổi đã xảy ra giữa các lần chạy. Hãy cập nhật bản dựng để loại bỏ những điểm chênh lệch đó.

    Nếu bạn có thể giải quyết các vấn đề về bộ nhớ đệm và giờ đây, việc chạy lại sẽ tạo ra tất cả các lượt truy cập vào bộ nhớ đệm, hãy chuyển sang phần tiếp theo.

    Nếu mã nhận dạng hành động của bạn giống hệt nhau nhưng không có lượt truy cập vào bộ nhớ đệm, thì có gì đó trong cấu hình của bạn đang ngăn việc lưu vào bộ nhớ đệm. Tiếp tục với phần này để kiểm tra các vấn đề thường gặp.

    Nếu không cần so sánh nhật ký thực thi, bạn có thể sử dụng cờ --execution_log_json_file mà con người có thể đọc được. Bạn không thể sử dụng hàm này để so sánh ổn định vì hàm này chứa thời gian thực thi và không đảm bảo thứ tự.

  6. Kiểm tra để đảm bảo rằng tất cả các hành động trong nhật ký thực thi đều có cacheable được đặt thành true. Nếu cacheable không xuất hiện trong nhật ký thực thi cho một hành động nhất định, thì điều đó có nghĩa là quy tắc tương ứng có thể có thẻ no-cache trong định nghĩa của quy tắc đó trong tệp BUILD. Hãy xem trường progress_message có thể đọc được trong nhật ký thực thi để xác định nguồn gốc của hành động.

  7. Nếu các hành động giống hệt nhau và cacheable nhưng không có lượt truy cập vào bộ nhớ đệm, thì có thể dòng lệnh của bạn bao gồm --noremote_accept_cached sẽ tắt tính năng tra cứu bộ nhớ đệm cho một bản dựng.

    Nếu bạn gặp khó khăn trong việc tìm ra dòng lệnh thực tế, hãy sử dụng dòng lệnh chuẩn từ Build Event Protocol (Giao thức sự kiện bản dựng) như sau:

    a. Thêm --build_event_text_file=/tmp/bep.txt vào lệnh Bazel để nhận phiên bản văn bản của nhật ký.

    b. Mở phiên bản văn bản của nhật ký và tìm thông báo structured_command_line bằng command_line_label: "canonical". Thao tác này sẽ liệt kê tất cả các tuỳ chọn sau khi mở rộng.

    c. Tìm remote_accept_cached và kiểm tra xem thuộc tính này có được đặt thành false hay không.

    d. Nếu remote_accept_cached là false, hãy xác định vị trí đặt thành false: ở dòng lệnh hoặc trong tệp bazelrc.

Đảm bảo lưu vào bộ nhớ đệm trên nhiều máy

Sau khi các lượt truy cập vào bộ nhớ đệm diễn ra như dự kiến trên cùng một máy, hãy chạy (các) bản dựng/kiểm thử tương tự trên một máy khác. Nếu bạn nghi ngờ rằng quá trình lưu vào bộ nhớ đệm không diễn ra trên các máy, hãy làm như sau:

  1. Thực hiện một sửa đổi nhỏ đối với bản dựng để tránh truy cập vào bộ nhớ đệm hiện có.

  2. Chạy bản dựng trên máy đầu tiên:

     bazel clean
 bazel ... build ... --execution_log_binary_file=/tmp/exec1.log

  3. Chạy bản dựng trên máy thứ hai, đảm bảo bao gồm nội dung sửa đổi từ bước 1:

     bazel clean
 bazel ... build ... --execution_log_binary_file=/tmp/exec2.log

  4. So sánh nhật ký thực thi cho hai lần chạy. Nếu nhật ký không giống nhau, hãy kiểm tra cấu hình bản dựng để tìm sự khác biệt cũng như các thuộc tính từ môi trường lưu trữ bị rò rỉ vào một trong hai bản dựng.

So sánh nhật ký thực thi

Nhật ký thực thi chứa bản ghi của tất cả các hành động được thực thi trong quá trình tạo bản dựng. Đối với mỗi thao tác, có một phần tử SpawnExec chứa tất cả thông tin từ khoá thao tác. Do đó, nếu nhật ký giống hệt nhau thì khoá bộ nhớ đệm thao tác cũng vậy.

Để so sánh nhật ký của hai bản dựng không chia sẻ lượt truy cập vào bộ nhớ đệm như mong đợi, hãy làm như sau:

  1. Lấy nhật ký thực thi từ mỗi bản dựng và lưu trữ dưới dạng /tmp/exec1.log và /tmp/exec2.log.

  2. Tải mã nguồn Bazel xuống rồi chuyển đến thư mục Bazel bằng cách sử dụng lệnh bên dưới. Bạn cần mã nguồn để phân tích cú pháp nhật ký thực thi bằng trình phân tích cú pháp execlog.

    git clone https://github.com/bazelbuild/bazel.git
cd bazel

  3. Sử dụng trình phân tích cú pháp nhật ký thực thi để chuyển đổi nhật ký thành văn bản. Lệnh gọi sau đây cũng sắp xếp các hành động trong nhật ký thứ hai để khớp với thứ tự hành động trong nhật ký đầu tiên để dễ so sánh.

    bazel build src/tools/execlog:parser
bazel-bin/src/tools/execlog/parser \
  --log_path=/tmp/exec1.log \
  --log_path=/tmp/exec2.log \
  --output_path=/tmp/exec1.log.txt \
  --output_path=/tmp/exec2.log.txt

  4. Sử dụng văn bản bạn yêu thích khác với /tmp/exec1.log.txt và /tmp/exec2.log.txt.