JSON トレース プロファイル

問題を報告 ソースを表示

JSON トレース プロファイルは、呼び出し中に Bazel が費やした時間をすばやく把握するのに非常に便利です。

デフォルトでは、すべてのビルドに似たコマンドとクエリで、Bazel はこのようなプロファイルを command.profile.gz に書き込みます。プロファイルを書き込むかどうかを --generate_json_trace_profile フラグで構成し、書き込み先のロケーションを --profile フラグで構成できます。末尾が .gz のロケーションは、GZIP で圧縮されます。--experimental_announce_profile_path フラグを使用すると、このファイルのパスをログに出力できます。

ツール

このプロファイルを chrome://tracing に読み込むことも、他のツールで分析して後処理することもできます。

chrome://tracing

プロファイルを表示するには、Chrome ブラウザのタブで chrome://tracing を開き、[読み込み] をクリックして、(圧縮されている可能性のある)プロファイル ファイルを選択します。詳細な結果を確認するには、左下のボックスをクリックします。

プロファイルの例:

プロフィールの例

図 1. プロファイルの例。

次のキーボード コントロールを使用して操作できます。

  • 「選択」モードにするには 1 キーを押します。このモードでは、特定のボックスを選択してイベントの詳細を調べることができます(左下隅を参照)。概要と集計データを確認するには、複数のイベントを選択してください。
  • 「パン」モードにするには 2 キーを押します。マウスをドラッグしてビューを動かします。a / d を使用して左右に移動することもできます。
  • 「ズーム」モードにするには 3 キーを押します。マウスをドラッグしてズームします。w/s を使用してズームイン/ズームアウトすることもできます。
  • 2 つのイベント間の距離を測定できる「タイミング」モードで 4 を押します。
  • ? キーを押すと、すべてのコントロールが表示されます。

bazel analyze-profile

Bazel サブコマンド analyze-profile は、プロファイル形式を使用して、各ビルドフェーズのさまざまなタスクタイプの累積統計情報とクリティカル パスの分析を出力します。

たとえば、

$ bazel build --profile=/tmp/profile.gz //path/to:target
...
$ bazel analyze-profile /tmp/profile.gz

次のような出力が生成されます。

INFO: Profile created on Tue Jun 16 08:59:40 CEST 2020, build ID: 0589419c-738b-4676-a374-18f7bbc7ac23, output base: /home/johndoe/.cache/bazel/_bazel_johndoe/d8eb7a85967b22409442664d380222c0

=== PHASE SUMMARY INFORMATION ===

Total launch phase time         1.070 s   12.95%
Total init phase time           0.299 s    3.62%
Total loading phase time        0.878 s   10.64%
Total analysis phase time       1.319 s   15.98%
Total preparation phase time    0.047 s    0.57%
Total execution phase time      4.629 s   56.05%
Total finish phase time         0.014 s    0.18%
------------------------------------------------
Total run time                  8.260 s  100.00%

Critical path (4.245 s):
       Time Percentage   Description
    8.85 ms    0.21%   _Ccompiler_Udeps for @local_config_cc// compiler_deps
    3.839 s   90.44%   action 'Compiling external/com_google_protobuf/src/google/protobuf/compiler/php/php_generator.cc [for host]'
     270 ms    6.36%   action 'Linking external/com_google_protobuf/protoc [for host]'
    0.25 ms    0.01%   runfiles for @com_google_protobuf// protoc
     126 ms    2.97%   action 'ProtoCompile external/com_google_protobuf/python/google/protobuf/compiler/plugin_pb2.py'
    0.96 ms    0.02%   runfiles for //tools/aquery_differ aquery_differ

Bazel 呼び出しアナライザ

オープンソースの Bazel Invocation Analyzer は、プロファイル形式を使用して、ビルドのパフォーマンスを改善する方法の提案を出力します。この分析は、CLI または https://analyzer.engflow.com を使用して行うことができます。

jq

jq は、JSON データの sed に似ています。jq の使用例では、ローカル アクションの実行時にサンドボックス作成手順のすべての時間を抽出します。

$ zcat $(../bazel-6.0.0rc1-linux-x86_64 info output_base)/command.profile.gz | jq '.traceEvents | .[] | select(.name == "sandbox.createFileSystem") | .dur'
6378
7247
11850
13756
6555
7445
8487
15520
[...]

プロフィール情報

プロファイルに複数の行が含まれています。通常、行の大部分は Bazel スレッドとそれに対応するイベントを表しますが、特別な行も含まれます。

含まれる特別な行は、プロファイルの作成時に呼び出された Bazel のバージョンに依存し、さまざまなフラグでカスタマイズできます。

図 1 は、Bazel v5.3.1 で作成されたプロファイルを示しており、これらの行が含まれています。

  • action count: 処理中の同時実行アクションの数が表示されます。これをクリックすると、実際の値が表示されます。クリーンビルドで --jobs の値まで増やす必要があります。
  • CPU usage (Bazel): ビルドの 1 秒ごとに、Bazel によって使用された CPU の量を表示します(値 1 は 1 つのコアが 100% ビジー状態であることに相当します)。
  • Critical Path: クリティカル パス上のアクションごとに 1 つのブロックを表示します。
  • Main Thread: Bazel のメインスレッド。「Launch Blaze」、「evaluateTargetPatterns」、「runAnalysisPhase」など、Bazel による処理の概要を把握する際に役立ちます。
  • Garbage Collector: マイナー ガベージ コレクション(GC)の一時停止とメジャー ガベージ コレクション(GC)の一時停止を表示します。

パフォーマンスに関する一般的な問題

パフォーマンス プロファイルを分析する際は、次の点を確認します。

  • 特に増分ビルドで、想定よりも遅い分析フェーズ(runAnalysisPhase)。これは、不適切なルール実装の兆候である可能性があります(たとえば、依存関係をフラット化しているケースなど)。パッケージの読み込みは、大量のターゲット、複雑なマクロ、再帰的な glob によって遅くなることがあります。
  • 個々の遅いアクション(特にクリティカル パス上のアクション)。大規模なアクションを複数の小さなアクションに分割したり、(推移的な)依存関係のセットを減らして動作を高速化したりする可能性があります。PROCESS_TIME 以外(REMOTE_SETUPFETCH など)が異常に多いかどうかも確認してください。
  • ボトルネック(少数のスレッド)はビジー状態となり、他のすべてがアイドル状態になり、結果を待機しています(図 1 の約 22 秒と 29 秒を参照)。これを最適化するには、ほとんどの場合、ルールの実装または Bazel 自体を変更して並列処理を強化します。これは、GC の量が異常である場合にも発生することがあります。

プロファイルのファイル形式

トップレベル オブジェクトには、メタデータ(otherData)と実際のトレースデータ(traceEvents)が含まれます。メタデータには、呼び出し ID や Bazel 呼び出しの日付などの追加情報が含まれます。

例:

{
  "otherData": {
    "build_id": "101bff9a-7243-4c1a-8503-9dc6ae4c3b05",
    "date": "Wed Oct 26 08:22:35 CEST 2022",
    "profile_finish_ts": "1677666095162000",
    "output_base": "/usr/local/google/_bazel_johndoe/573d4be77eaa72b91a3dfaa497bf8cd0"
  },
  "traceEvents": [
    {"name":"thread_name","ph":"M","pid":1,"tid":0,"args":{"name":"Critical Path"}},
    ...
    {"cat":"build phase marker","name":"Launch Blaze","ph":"X","ts":-1306000,"dur":1306000,"pid":1,"tid":21},
    ...
    {"cat":"package creation","name":"foo","ph":"X","ts":2685358,"dur":784,"pid":1,"tid":246},
    ...
    {"name":"thread_name","ph":"M","pid":1,"tid":11,"args":{"name":"Garbage Collector"}},
    {"cat":"gc notification","name":"minor GC","ph":"X","ts":825986,"dur":11000,"pid":1,"tid":11},
    ...
    {"cat":"action processing","name":"Compiling foo/bar.c","ph":"X","ts":54413389,"dur":357594,"pid":1,"args":{"mnemonic":"CppCompile"},"tid":341},
 ]
}

トレース イベントのタイムスタンプ(ts)と期間(dur)はマイクロ秒単位です。カテゴリ(cat)は ProfilerTask の列挙値の一つです。非常に短く互いに近いイベントについては、マージされることに注意してください。イベントのマージを防ぐには、--noslim_json_profile を渡してください。

Chrome トレース イベント形式の仕様もご覧ください。