構成

問題を報告 ソースを表示

このページでは、Starlark 構成の利点と基本的な使用方法について説明します。Starlark 構成は、プロジェクトのビルド方法をカスタマイズするための Bazel の API です。ビルド設定の定義方法と例についても説明します。

これにより、次のことが可能になります。

  • プロジェクトのカスタムフラグを定義するため、--define が不要になります。
  • 遷移を作成して、親とは異なる構成(--compilation_mode=opt--cpu=arm など)で依存関係を構成する。
  • より適切なデフォルトをルールに組み込む(たとえば、指定された SDK で //my:android_app を自動的にビルドする)

など、すべて .bzl ファイルから作成できます(Bazel リリースは必要ありません)。については、bazelbuild/examples リポジトリをご覧ください。

ユーザー定義のビルド設定

ビルド設定は、単一の構成情報です。構成は Key-Value マップのようなものです。--cpu=ppc--copt="-DFoo" を設定すると、{cpu: ppc, copt: "-DFoo"} のような構成が生成されます。各エントリはビルド設定です。

cpucopt などの従来のフラグはネイティブ設定です。キーは定義され、値はネイティブの bazel Java コード内で設定されます。Bazel ユーザーは、コマンドラインとネイティブで維持されているその他の API でのみ読み取りと書き込みを行うことができます。ネイティブ フラグと、それを公開する API を変更するには、Bazel リリースが必要です。ユーザー定義のビルド設定は .bzl ファイルで定義されます(したがって、変更を登録するために bazel リリースは必要ありません)。これらはコマンドラインでも設定できます(flags として指定されている場合、詳細は下記を参照)。また、ユーザー定義の遷移で設定することもできます。

ビルド設定の定義

エンドツーエンドの例

build_setting rule() パラメータ

ビルド設定は他のルールと同様のルールであり、Starlark rule() 関数の build_setting 属性を使用して区別されます。

# example/buildsettings/build_settings.bzl
string_flag = rule(
    implementation = _impl,
    build_setting = config.string(flag = True)
)

build_setting 属性は、ビルド設定のタイプを指定する関数を受け取ります。このタイプは、boolstring などの基本的な Starlark タイプのセットに限定されています。詳しくは、config モジュールのドキュメントをご覧ください。より複雑な入力は、ルールの実装関数で実行できます。詳しくは以下をご覧ください。

config モジュールの関数はオプションのブール値パラメータ flag を受け取ります。これはデフォルトで false に設定されています。flag が true に設定されている場合、ビルド設定はユーザーがコマンドラインで設定することも、ルール作成者がデフォルト値や遷移を介して内部で設定することもできます。すべての設定をユーザーが設定できるようにする必要はありません。たとえば、ルール作成者がテストルール内でデバッグモードをオンにしたい場合、その機能をテスト以外の他のルール内でユーザーが無差別にオンにできないようにする必要があります。

gsuite.build_setting_value の使用

すべてのルールと同様に、ビルド設定ルールにも実装関数があります。 ビルド設定の基本的な Starlark 型の値は、ctx.build_setting_value メソッドを介してアクセスできます。このメソッドは、ビルド設定ルールの ctx オブジェクトでのみ使用できます。これらの実装メソッドでは、ビルド設定の値を直接転送したり、型のチェックやより複雑な構造体の作成などの追加処理を行ったりすることができます。enum 型のビルド設定を実装する方法は次のとおりです。

# example/buildsettings/build_settings.bzl
TemperatureProvider = provider(fields = ['type'])

temperatures = ["HOT", "LUKEWARM", "ICED"]

def _impl(ctx):
    raw_temperature = ctx.build_setting_value
    if raw_temperature not in temperatures:
        fail(str(ctx.label) + " build setting allowed to take values {"
             + ", ".join(temperatures) + "} but was set to unallowed value "
             + raw_temperature)
    return TemperatureProvider(type = raw_temperature)

temperature = rule(
    implementation = _impl,
    build_setting = config.string(flag = True)
)

複数セットの文字列フラグの定義

文字列の設定には、allow_multiple パラメータが追加され、コマンドラインまたは bazelrcs でフラグを複数回設定できます。デフォルト値は、文字列型属性を使用して設定されます。

# example/buildsettings/build_settings.bzl
allow_multiple_flag = rule(
    implementation = _impl,
    build_setting = config.string(flag = True, allow_multiple = True)
)
# example/BUILD
load("//example/buildsettings:build_settings.bzl", "allow_multiple_flag")
allow_multiple_flag(
    name = "roasts",
    build_setting_default = "medium"
)

フラグの各設定は、1 つの値として扱われます。

$ bazel build //my/target --//example:roasts=blonde \
    --//example:roasts=medium,dark

上記は {"//example:roasts": ["blonde", "medium,dark"]} に解析され、ctx.build_setting_value はリスト ["blonde", "medium,dark"] を返します。

ビルド設定をインスタンス化する

build_setting パラメータで定義されたルールには、暗黙的に必須の build_setting_default 属性があります。この属性は、build_setting パラメータで宣言されている型と同じ型を使用します。

# example/buildsettings/build_settings.bzl
FlavorProvider = provider(fields = ['type'])

def _impl(ctx):
    return FlavorProvider(type = ctx.build_setting_value)

flavor = rule(
    implementation = _impl,
    build_setting = config.string(flag = True)
)
# example/BUILD
load("//example/buildsettings:build_settings.bzl", "flavor")
flavor(
    name = "favorite_flavor",
    build_setting_default = "APPLE"
)

事前定義の設定

エンドツーエンドの例

Skylib ライブラリには、カスタムの Starlark を記述しなくてもインスタンス化できる事前定義の設定のセットが含まれています。

たとえば、一部の文字列値を受け入れる設定を定義するには、次のようにします。

# example/BUILD
load("@bazel_skylib//rules:common_settings.bzl", "string_flag")
string_flag(
    name = "myflag",
    values = ["a", "b", "c"],
    build_setting_default = "a",
)

詳細なリストについては、一般的なビルド設定ルールをご覧ください。

ビルド設定の使用

ビルド設定によって異なる

ターゲットが構成情報を読み取る場合、通常の属性依存関係を介してビルド設定に直接依存できます。

# example/rules.bzl
load("//example/buildsettings:build_settings.bzl", "FlavorProvider")
def _rule_impl(ctx):
    if ctx.attr.flavor[FlavorProvider].type == "ORANGE":
        ...

drink_rule = rule(
    implementation = _rule_impl,
    attrs = {
        "flavor": attr.label()
    }
)
# example/BUILD
load("//example:rules.bzl", "drink_rule")
load("//example/buildsettings:build_settings.bzl", "flavor")
flavor(
    name = "favorite_flavor",
    build_setting_default = "APPLE"
)
drink_rule(
    name = "my_drink",
    flavor = ":favorite_flavor",
)

言語によっては、その言語のすべてのルールが依存する正規のビルド設定のセットを作成できます。fragments のネイティブのコンセプトは、Starlark の構成の世界ではハードコードされたオブジェクトとして存在しなくなりましたが、このコンセプトを変換する方法の一つは、共通の暗黙的属性のセットを使用することです。次に例を示します。

# kotlin/rules.bzl
_KOTLIN_CONFIG = {
    "_compiler": attr.label(default = "//kotlin/config:compiler-flag"),
    "_mode": attr.label(default = "//kotlin/config:mode-flag"),
    ...
}

...

kotlin_library = rule(
    implementation = _rule_impl,
    attrs = dicts.add({
        "library-attr": attr.string()
    }, _KOTLIN_CONFIG)
)

kotlin_binary = rule(
    implementation = _binary_impl,
    attrs = dicts.add({
        "binary-attr": attr.label()
    }, _KOTLIN_CONFIG)

コマンドラインでビルド設定を使用する

ほとんどのネイティブ フラグと同様に、コマンドラインを使用して、フラグが付いているビルド設定を指定できます。ビルド設定の名前は、name=value 構文を使用した完全なターゲット パスです。

$ bazel build //my/target --//example:string_flag=some-value # allowed
$ bazel build //my/target --//example:string_flag some-value # not allowed

特別なブール構文がサポートされています。

$ bazel build //my/target --//example:boolean_flag
$ bazel build //my/target --no//example:boolean_flag

ビルド設定エイリアスの使用

ビルド設定のターゲットパスにエイリアスを設定すると、コマンドラインで読みやすくなります。エイリアスはネイティブ フラグと同様に機能し、オプションとしてダブル ダッシュの構文を使用します。

エイリアスを設定するには、.bazelrc--flag_alias=ALIAS_NAME=TARGET_PATH を追加します。たとえば、エイリアスを coffee に設定するには、次のようにします。

# .bazelrc
build --flag_alias=coffee=//experimental/user/starlark_configurations/basic_build_setting:coffee-temp

ベスト プラクティス: エイリアスを複数回設定すると、最新のエイリアスが優先されます。意図しない解析結果を避けるため、一意のエイリアス名を使用します。

エイリアスを使用するには、ビルド設定のターゲットパスの代わりにこのエイリアスを入力します。 上記の coffee の例では、ユーザーの .bazelrc で次のように設定しています。

$ bazel build //my/target --coffee=ICED

これは、以下を置き換えるものです。

$ bazel build //my/target --//experimental/user/starlark_configurations/basic_build_setting:coffee-temp=ICED

ベスト プラクティス: コマンドラインでもエイリアスを設定できますが、エイリアスを .bazelrc に残すとコマンドラインが煩雑になります。

ラベルタイプのビルド設定

エンドツーエンドの例

他のビルド設定とは異なり、ラベルタイプの設定は、build_setting ルール パラメータを使用して定義できません。代わりに、bazel には 2 つの組み込みルール(label_flaglabel_setting)があります。これらのルールは、ビルド設定が設定されている実際のターゲットのプロバイダを転送します。label_flaglabel_setting は遷移によって読み書きでき、label_flag は他の build_setting ルールと同様にユーザーが設定できます。唯一の違いは 個別に定義できない点です

ラベルタイプの設定は、最終的には遅延制約のあるデフォルト設定の代わりとなる予定です。遅延制限ありのデフォルト属性はラベル型の属性で、最終的な値は構成の影響を受ける場合があります。Starlark では、これは configuration_field API に代わるものです。

# example/rules.bzl
MyProvider = provider(fields = ["my_field"])

def _dep_impl(ctx):
    return MyProvider(my_field = "yeehaw")

dep_rule = rule(
    implementation = _dep_impl
)

def _parent_impl(ctx):
    if ctx.attr.my_field_provider[MyProvider].my_field == "cowabunga":
        ...

parent_rule = rule(
    implementation = _parent_impl,
    attrs = { "my_field_provider": attr.label() }
)

# example/BUILD
load("//example:rules.bzl", "dep_rule", "parent_rule")

dep_rule(name = "dep")

parent_rule(name = "parent", my_field_provider = ":my_field_provider")

label_flag(
    name = "my_field_provider",
    build_setting_default = ":dep"
)

ビルド設定と select()

エンドツーエンドの例

ユーザーは、select() を使用してビルド設定の属性を構成できます。ビルド設定ターゲットは config_settingflag_values 属性に渡すことができます。構成に一致する値が String として渡され、照合用のビルド設定のタイプに解析されます。

config_setting(
    name = "my_config",
    flag_values = {
        "//example:favorite_flavor": "MANGO"
    }
)

ユーザー定義の遷移

構成遷移は、ビルドグラフ内で、構成済みのターゲットから別のターゲットへの変換をマッピングします。

これらを設定するルールには、特別な属性を含める必要があります。

  "_allowlist_function_transition": attr.label(
      default = "@bazel_tools//tools/allowlists/function_transition_allowlist"
  )

遷移を追加することで、ビルドグラフのサイズを簡単に増大できます。これにより、このルールのターゲットを作成できるパッケージに許可リストが設定されます。上記のコードブロックのデフォルト値では、すべてが許可されます。ただし、ルールを使用するユーザーを制限する場合は、その属性を設定して、独自のカスタム許可リストを指定できます。遷移がビルドのパフォーマンスに与える影響についてアドバイスや支援が必要な場合は、bazel-discuss@googlegroups.com にお問い合わせください。

定義

移行では、ルール間の構成の変更を定義します。たとえば、「親とは異なる CPU に依存関係をコンパイルする」のようなリクエストは、遷移によって処理されます。

形式的には、遷移とは、入力構成から 1 つ以上の出力構成への関数を指します。「--cpu=ppc で入力構成をオーバーライドする」など、ほとんどの遷移は 1:1 です。1:2 以上の遷移が存在する場合もありますが、特別な制限があります。

Starlark では、遷移はルールと同様に定義され、transition() 関数と実装関数を定義します。

# example/transitions/transitions.bzl
def _impl(settings, attr):
    _ignore = (settings, attr)
    return {"//example:favorite_flavor" : "MINT"}

hot_chocolate_transition = transition(
    implementation = _impl,
    inputs = [],
    outputs = ["//example:favorite_flavor"]
)

transition() 関数は、実装関数、読み取るビルド設定のセット(inputs)、書き込むビルド設定のセット(outputs)を受け取ります。実装関数には、settingsattr の 2 つのパラメータがあります。settings は、inputs パラメータで宣言されているすべての設定の transition() への辞書 {String:Object} です。

attr は、遷移がアタッチされるルールの属性と値の辞書です。送信エッジ遷移としてアタッチする場合、これらの属性の値はすべて、select() 後に構成された解決になります。受信エッジ遷移としてアタッチする場合、attr には、セレクタを使用して値を解決する属性は含まれません。--foo の受信エッジの遷移が属性 bar を読み取り、さらに --foo を選択して属性 bar を設定した場合、受信エッジの遷移で誤った bar 値が読み取られる可能性があります。

実装関数は、適用する新しいビルド設定値の辞書(複数の出力構成による遷移の場合は辞書のリスト)を返す必要があります。返される辞書の鍵セットには、遷移関数の outputs パラメータに渡されるビルド設定のセットを正確に含める必要があります。これは、ビルド設定が遷移の過程で実際に変更されない場合でも変わりません。返される辞書で元の値を明示的に渡す必要があります。

1 対 2 以上の遷移の定義

エンドツーエンドの例

送信エッジ遷移は、1 つの入力構成を 2 つ以上の出力構成にマッピングできます。これは、マルチアーキテクチャ コードをバンドルするルールを定義するのに役立ちます。

1 対 2 以降の遷移は、遷移実装関数で辞書のリストを返すことで定義されます。

# example/transitions/transitions.bzl
def _impl(settings, attr):
    _ignore = (settings, attr)
    return [
        {"//example:favorite_flavor" : "LATTE"},
        {"//example:favorite_flavor" : "MOCHA"},
    ]

coffee_transition = transition(
    implementation = _impl,
    inputs = [],
    outputs = ["//example:favorite_flavor"]
)

また、ルール実装関数が個々の依存関係を読み取るために使用できるカスタムキーを設定することもできます。

# example/transitions/transitions.bzl
def _impl(settings, attr):
    _ignore = (settings, attr)
    return {
        "Apple deps": {"//command_line_option:cpu": "ppc"},
        "Linux deps": {"//command_line_option:cpu": "x86"},
    }

multi_arch_transition = transition(
    implementation = _impl,
    inputs = [],
    outputs = ["//command_line_option:cpu"]
)

遷移を追加する

エンドツーエンドの例

遷移は、受信エッジと送信エッジの 2 か所に接続できます。これは実質的に、ルールが独自の構成を移行(受信エッジ移行)し、依存関係の構成を移行(送信エッジ移行)できることを意味します。

注: 現在のところ、Starlark の遷移をネイティブ ルールに関連付ける方法はありません。 必要な場合は、回避策を検討するために bazel-discuss@googlegroups.com にお問い合わせください。

入力エッジ遷移

受信エッジ遷移を有効にするには、transition オブジェクト(transition() で作成)を rule()cfg パラメータにアタッチします。

# example/rules.bzl
load("example/transitions:transitions.bzl", "hot_chocolate_transition")
drink_rule = rule(
    implementation = _impl,
    cfg = hot_chocolate_transition,
    ...

受信エッジの遷移は 1 対 1 の遷移である必要があります。

発信エッジ遷移

発信エッジ遷移を有効にするには、transition オブジェクト(transition() で作成)を属性の cfg パラメータにアタッチします。

# example/rules.bzl
load("example/transitions:transitions.bzl", "coffee_transition")
drink_rule = rule(
    implementation = _impl,
    attrs = { "dep": attr.label(cfg = coffee_transition)}
    ...

発信エッジ遷移は、1:1 または 1:2 以上です。

これらのキーの読み方については、遷移による属性へのアクセスをご覧ください。

ネイティブ オプションの切り替え

エンドツーエンドの例

Starlark 遷移では、オプション名に特別な接頭辞を使用することで、ネイティブ ビルド構成オプションで読み取りと書き込みを宣言することもできます。

# example/transitions/transitions.bzl
def _impl(settings, attr):
    _ignore = (settings, attr)
    return {"//command_line_option:cpu": "k8"}

cpu_transition = transition(
    implementation = _impl,
    inputs = [],
    outputs = ["//command_line_option:cpu"]

サポートされていないネイティブ オプション

Bazel では、"//command_line_option:define" を使用した --define での遷移はサポートされていません。代わりに、カスタムのビルド設定を使用してください。一般に、ビルド設定を優先するため、新たに --define を使用することは推奨されません。

Bazel は、--config での移行をサポートしていません。これは、--config が他のフラグに展開される「拡張」フラグであるためです。

重要なのは、--spawn_strategy など、ビルド構成に影響しないフラグを --config に含めることができることです。Bazel は設計上、このようなフラグを個々のターゲットにバインドできません。つまり、遷移に適用される一貫した方法がありません。

回避策として、遷移の構成の一部であるフラグを明示的に項目化します。そのためには、既知の UI の欠陥である 2 つの場所で --config の拡張を維持する必要があります。

複数のビルド設定を許可する場合の遷移

複数の値を許可するビルド設定を行う場合は、設定の値をリストで設定する必要があります。

# example/buildsettings/build_settings.bzl
string_flag = rule(
    implementation = _impl,
    build_setting = config.string(flag = True, allow_multiple = True)
)
# example/BUILD
load("//example/buildsettings:build_settings.bzl", "string_flag")
string_flag(name = "roasts", build_setting_default = "medium")
# example/transitions/rules.bzl
def _transition_impl(settings, attr):
    # Using a value of just "dark" here will throw an error
    return {"//example:roasts" : ["dark"]},

coffee_transition = transition(
    implementation = _transition_impl,
    inputs = [],
    outputs = ["//example:roasts"]
)

NoOps の遷移

遷移によって {}[]、または None が返された場合、これはすべての設定を元の値に維持するための省略形です。これは、各出力を明示的にそれ自体に設定するよりも便利です。

# example/transitions/transitions.bzl
def _impl(settings, attr):
    _ignore = (attr)
    if settings["//example:already_chosen"] is True:
      return {}
    return {
      "//example:favorite_flavor": "dark chocolate",
      "//example:include_marshmallows": "yes",
      "//example:desired_temperature": "38C",
    }

hot_chocolate_transition = transition(
    implementation = _impl,
    inputs = ["//example:already_chosen"],
    outputs = [
        "//example:favorite_flavor",
        "//example:include_marshmallows",
        "//example:desired_temperature",
    ]
)

遷移による属性へのアクセス

エンドツーエンドの例

送信エッジへの遷移を接続するとき(遷移が 1 対 1 または 1 対 2 以上の遷移であるかどうかにかかわらず)、ctx.attr は強制的にリスト形式になります(まだリストされていない場合)。このリストに含まれる要素の順序は指定されていません。

# example/transitions/rules.bzl
def _transition_impl(settings, attr):
    return {"//example:favorite_flavor" : "LATTE"},

coffee_transition = transition(
    implementation = _transition_impl,
    inputs = [],
    outputs = ["//example:favorite_flavor"]
)

def _rule_impl(ctx):
    # Note: List access even though "dep" is not declared as list
    transitioned_dep = ctx.attr.dep[0]

    # Note: Access doesn't change, other_deps was already a list
    for other_dep in ctx.attr.other_deps:
      # ...


coffee_rule = rule(
    implementation = _rule_impl,
    attrs = {
        "dep": attr.label(cfg = coffee_transition)
        "other_deps": attr.label_list(cfg = coffee_transition)
    })

遷移が 1:2+ でカスタムキーが設定されている場合、ctx.split_attr を使用して各キーの依存関係を読み取ることができます。

# example/transitions/rules.bzl
def _impl(settings, attr):
    _ignore = (settings, attr)
    return {
        "Apple deps": {"//command_line_option:cpu": "ppc"},
        "Linux deps": {"//command_line_option:cpu": "x86"},
    }

multi_arch_transition = transition(
    implementation = _impl,
    inputs = [],
    outputs = ["//command_line_option:cpu"]
)

def _rule_impl(ctx):
    apple_dep = ctx.split_attr.dep["Apple deps"]
    linux_dep = ctx.split_attr.dep["Linux deps"]
    # ctx.attr has a list of all deps for all keys. Order is not guaranteed.
    all_deps = ctx.attr.dep

multi_arch_rule = rule(
    implementation = _rule_impl,
    attrs = {
        "dep": attr.label(cfg = multi_arch_transition)
    })

こちらの完全な例をご覧ください。

プラットフォームとツールチェーンとの統合

現在、--cpu--crosstool_top など、多くのネイティブ フラグはツールチェーンの解決に関連しています。将来的には、この種のフラグの明示的な移行は、ターゲット プラットフォームでの移行によって置き換えられる可能性があります。

メモリとパフォーマンスに関する考慮事項

ビルドに遷移を追加して新しい構成を追加すると、ビルドグラフが大きくなり、ビルドグラフがわかりにくくなり、ビルドが遅くなります。ビルドルールで遷移を使用することを検討する場合は、これらのコストを考慮する価値があります。以下に、遷移によってビルドグラフが指数関数的に増加する場合の例を示します。

不正な動作のビルド: ケーススタディ

スケーラビリティ グラフ

図 1. 最上位のターゲットとその依存関係を示すスケーラビリティ グラフ。

このグラフは、//pkg:1_0//pkg:1_1 の 2 つのターゲットに依存する最上位のターゲット //pkg:app を示しています。これらのターゲットはどちらも、//pkg:2_0//pkg:2_1 の 2 つのターゲットに依存します。これらのターゲットはどちらも、//pkg:3_0//pkg:3_1 の 2 つのターゲットに依存します。これは、//pkg:n_0//pkg:n_1 まで続きます。どちらも単一のターゲット //pkg:dep に依存します。

//pkg:app を構築するには \(2n+2\) ターゲット:

  • //pkg:app
  • //pkg:dep
  • \(i\) \([1..n]\)で //pkg:i_0//pkg:i_1

フラグ --//foo:owner=<STRING>implementし、//pkg:i_b

depConfig = myConfig + depConfig.owner="$(myConfig.owner)$(b)"

つまり、//pkg:i_b は、すべての依存関係の --owner の古い値に b を追加します。

これにより、次の構成済みターゲットが生成されます。

//pkg:app                              //foo:owner=""
//pkg:1_0                              //foo:owner=""
//pkg:1_1                              //foo:owner=""
//pkg:2_0 (via //pkg:1_0)              //foo:owner="0"
//pkg:2_0 (via //pkg:1_1)              //foo:owner="1"
//pkg:2_1 (via //pkg:1_0)              //foo:owner="0"
//pkg:2_1 (via //pkg:1_1)              //foo:owner="1"
//pkg:3_0 (via //pkg:1_0 → //pkg:2_0)  //foo:owner="00"
//pkg:3_0 (via //pkg:1_0 → //pkg:2_1)  //foo:owner="01"
//pkg:3_0 (via //pkg:1_1 → //pkg:2_0)  //foo:owner="10"
//pkg:3_0 (via //pkg:1_1 → //pkg:2_1)  //foo:owner="11"
...

//pkg:dep が \(2^n\) 構成されたターゲットを生成します。config.owner= \(b_0b_1...b_n\)(すべての \(b_i\) \(\{0,1\}\))

これにより、ビルドグラフはターゲット グラフよりも指数関数的に大きくなり、それに応じてメモリとパフォーマンスに影響します。

TODO: これらの問題の測定と軽減のための戦略を追加する。

参考資料

ビルド構成の変更について詳しくは、以下をご覧ください。