リモート実行のルールをテストするために Bazel CI を構成する

問題を報告 ソースを表示

このページは、Bazel ルール リポジトリのオーナーと管理者を対象としています。リポジトリに Bazel 継続的インテグレーション(CI)システムを構成して、リモート実行シナリオとの互換性のルールをテストする方法について説明します。このページの手順は、GitHub リポジトリに保存されているプロジェクトに適用されます。

前提条件

このページの手順を完了する前に、次のことを確認してください。

テスト用の Bazel CI の設定

  1. .bazelci/presubmit.yml ファイルで、次の操作を行います。

    a. rbe_ubuntu1604 という名前の構成を追加します。

    b. rbe_ubuntu1604 構成で、リモート実行に対してテストするビルドとテストのターゲットを追加します。

  2. bazel-toolchains GitHub リポジトリを WORKSPACE ファイルに追加して、最新リリースに固定します。また、buildkite_config という名前の rbe_autoconfig ターゲットを追加します。この例では、rbe_ubuntu1604 用に BuildKite CI を使用してリモート実行用のツールチェーン構成を作成します。

load("@bazel_toolchains//rules:rbe_repo.bzl", "rbe_autoconfig")
rbe_autoconfig(name = "buildkite_config")
  1. presubmit.yml ファイルに変更した pull リクエストを送信します。(pull リクエストの例をご覧ください)。

  2. ビルド結果を表示するには、次の図に示すように、GitHub の RBE(Ubuntu 16.04)pull リクエスト チェックの [Details] をクリックします。このリンクは、pull リクエストがマージされ、CI テストが実行されると使用可能になります。(結果の例をご覧ください)。

    検索結果の例

  3. (省略可)[bazel test(RBE(Ubuntu 16.04))] チェックを、ブランチ保護ルールをマージする前に合格しなければならないテストとして設定します。この設定は、次の図に示すように、GitHub の [Settings] > [Branches] > [Branch protection rules] にあります。

    ブランチ保護ルールの設定

失敗したビルドとテストのトラブルシューティング

ビルドまたはテストが失敗する場合は、次の原因が考えられます。

  • 必要なビルドまたはテストツールがデフォルトのコンテナにインストールされていない。rbe_ubuntu1604 構成を使用したビルドは、rbe-ubuntu16-04 コンテナ内でデフォルトで実行されます。これには、多くの Bazel ビルドに共通するツールが含まれています。ただし、デフォルトのコンテナにないツールがルールで必要な場合は、rbe-ubuntu16-04 コンテナに基づいてカスタム コンテナを作成し、後で説明するようにこれらのツールを含める必要があります。

  • ビルドまたはテストのターゲットが、リモート実行と互換性のないルールを使用している。リモート実行との互換性について詳しくは、リモート実行用の Bazel ルールの適用をご覧ください。

rbe_ubuntu1604 CI 構成でカスタム コンテナを使用する

rbe-ubuntu16-04 コンテナは、次の URL で一般公開されています。

http://gcr.io/cloud-marketplace/google/rbe-ubuntu16-04

Container Registry から直接 pull することも、ソースからビルドすることもできます。次のセクションでは、両方のオプションについて説明します。

始める前に、gclouddockergit がインストールされていることを確認します。ソースからコンテナをビルドする場合は、最新バージョンの Bazel もインストールする必要があります。

Container Registry から rbe-ubuntu16-04 を pull する

rbe-ubuntu16-04 コンテナを Container Registry から pull するには、次のコマンドを実行します。

gcloud docker -- pull gcr.io/cloud-marketplace/google/rbe-ubuntu16-04@sha256:sha256-checksum

sha256-checksum は、最新のコンテナの SHA256 チェックサム値に置き換えます。

ソースから rbe-ubuntu16-04 コンテナをビルドする

ソースから rbe-ubuntu16-04 コンテナをビルドする手順は次のとおりです。

  1. bazel-toolchains リポジトリのクローンを作成します。

    git clone https://github.com/bazelbuild/bazel-toolchains
    
  2. ツールチェーン コンテナの説明に沿ってツールチェーン コンテナ ターゲットを設定し、コンテナをビルドします。

  3. 新たにビルドしたコンテナを pull します。

    gcloud docker -- pull gcr.io/project-id/custom-container-namesha256-checksum
    

カスタム コンテナの実行

カスタム コンテナを実行するには、次のいずれかを行います。

  • Container Registry からコンテナを pull した場合は、次のコマンドを実行します。

    docker run -it gcr.io/cloud-marketplace/google/rbe-ubuntu16-04@sha256:sha256-checksum/bin/bash
    

    sha256-checksum は、最新のコンテナの SHA256 チェックサム値に置き換えます。

  • ソースからコンテナをビルドした場合は、次のコマンドを実行します。

    docker run -it gcr.io/project-id/custom-container-name@sha256:sha256sum /bin/bash
    

カスタム コンテナにリソースを追加する

Dockerfile または rules_docker を使用して、元のリソースのリソースまたは代替バージョンを rbe-ubuntu16-04 コンテナに追加します。Docker を初めて使用する場合は、以下をお読みください。

たとえば、次の Dockerfile スニペットは my_tool_package をインストールします。

FROM gcr.io/cloud-marketplace/google/rbe-ubuntu16-04@sha256:sha256-checksum
RUN apt-get update && yes | apt-get install -y my_tool_package

カスタム コンテナを Container Registry に push する

コンテナをカスタマイズしたら、次のようにコンテナ イメージをビルドして Container Registry に push します。

  1. コンテナ イメージをビルドします。

    docker build -t custom-container-name.
    docker tag custom-container-name gcr.io/project-id/custom-container-name
    
  2. コンテナ イメージを Container Registry に push します。

    gcloud docker -- push gcr.io/project-id/custom-container-name
    
  3. 次の URL に移動して、コンテナが push されていることを確認します。

    https://console.cloud.google.com/gcr/images/project-id/GLOBAL/custom-container-name

  4. カスタム コンテナの SHA256 チェックサムをメモします。後でビルド プラットフォームの定義で指定する必要があります。

  5. イメージを一般公開するで説明されているように、一般公開の方法でコンテナを公開アクセス用に構成します。

    詳細については、イメージの push と pull をご覧ください。

ビルド プラットフォーム定義を指定する

カスタム ツールチェーン構成に Bazel プラットフォーム構成を含める必要があります。これにより、Bazel は目的のハードウェア/ソフトウェア プラットフォームに適したツールチェーンを選択できます。有効なプラットフォームを自動的に生成するには、buildkite_config という名前の rbe_autoconfig ターゲットを WORKSPACE に追加します。これには、カスタム コンテナを選択するための追加属性が含まれています。この設定の詳細については、rbe_autoconfig の最新のドキュメントをご覧ください。