BazelCon 2022 findet vom 16. bis 17. November in New York und online statt.
Jetzt anmelden

Aktionsgrafikabfrage (Aquery)

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Mit dem Befehl aquery können Sie nach Aktionen in Ihrer Build-Grafik abfragen. Sie arbeitet mit dem nach der Analyse konfigurierten Zieldiagramm und liefert Informationen zu Aktionen, Artefakten und ihren Beziehungen.

aquery ist nützlich, wenn Sie an den Properties der Aktionen/Artefakte interessiert sind, die aus dem konfigurierten Zieldiagramm generiert werden. Beispielsweise werden die tatsächlichen Befehle und ihre Eingaben/Ausgabe/Mnemoniken ausgeführt.

Das Tool akzeptiert verschiedene Befehlszeilenoptionen. Vor allem wird der Abfragebefehl auf einem regulären Build mit Istio ausgeführt und übernimmt die während des Builds verfügbaren Optionen.

Sie unterstützt dieselben Funktionen, die auch für die herkömmlichen query verfügbar sind, aber siblings, buildfiles und tests.

Beispiel für eine aquery-Ausgabe (ohne spezifische Details):

$ bazel aquery 'deps(//some:label)'
action 'Writing file some_file_name'
  Mnemonic: ...
  Target: ...
  Configuration: ...
  ActionKey: ...
  Inputs: [...]
  Outputs: [...]

Grundlegende Syntax

Ein einfaches Beispiel für die Syntax für aquery:

bazel aquery "aquery_function(function(//target))"

Der Abfrageausdruck (in Anführungszeichen) besteht aus folgenden Elementen:

# aquery examples:
# Get the action graph generated while building //src/target_a
$ bazel aquery '//src/target_a'

# Get the action graph generated while building all dependencies of //src/target_a
$ bazel aquery 'deps(//src/target_a)'

# Get the action graph generated while building all dependencies of //src/target_a
# whose inputs filenames match the regex ".*cpp".
$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

Abfragefunktionen verwenden

Es gibt drei aquery-Funktionen:

  • inputs: Filtert Aktionen nach Eingaben.
  • outputs: Aktionen nach Ausgaben filtern
  • mnemonic: Aktionen nach Memory filtern

expr ::= inputs(word, expr)

Der Operator inputs gibt die Aktionen zurück, die beim Erstellen von expr generiert wurden. Die Dateinamen der Eingabe entsprechen dem Regex von word.

$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

Die Funktionen outputs und mnemonic haben eine ähnliche Syntax.

Sie können Funktionen auch kombinieren, um den UND-Vorgang zu erreichen. Beispiel:

  $ bazel aquery 'mnemonic("Cpp.*", (inputs(".*cpp", inputs("foo.*", //src/target_a))))'

Mit dem oben gezeigten Befehl werden alle Aktionen ermitteln, die an der Erstellung von //src/target_a beteiligt sind, deren Dynamik mit "Cpp.*" und den Eingaben mit den Mustern ".*cpp" und "foo.*" übereinstimmt.

Ein Beispiel für den generierten Syntaxfehler:

        $ bazel aquery 'deps(inputs(".*cpp", //src/target_a))'
        ERROR: aquery filter functions (inputs, outputs, mnemonic) produce actions,
        and therefore can't be the input of other function types: deps
        deps(inputs(".*cpp", //src/target_a))

Optionen

Build-Optionen

aquery wird auf einem regulären Istio-Build ausgeführt und übernimmt somit die während eines Builds verfügbaren Optionen.

Abfrageoptionen

--output=(text|summary|proto|jsonproto|textproto), default=text

Das Standardausgabeformat (text) ist für Menschen lesbar. Verwenden Sie für maschinenlesbares Format proto, textproto oder jsonproto. Die Proto-Nachricht lautet analysis.ActionGraphContainer.

--include_commandline, default=true

Enthält den Inhalt der Aktionsbefehlszeilen in der Ausgabe (möglicherweise groß).

--include_artifacts, default=true

Enthält die Namen der Ein- und Ausgaben der Aktion in der Ausgabe (möglicherweise groß).

--include_aspects, default=true

Gibt an, ob von der Seite generierte Aktionen in die Ausgabe aufgenommen werden sollen.

--include_param_files, default=false

Fügen Sie den Inhalt der Parametern ein, die im Befehl verwendet werden (möglicherweise groß).

--include_file_write_contents, default=false

Inhalt der Datei actions.write() und Inhalt der Manifestdatei für die Aktion SourceSymlinkManifest festlegen. Der Inhalt der Datei wird im Feld file_contents mit --output=xxxproto zurückgegeben. Bei --output=text enthält die Ausgabe die Zeile FileWriteContents: [<base64-encoded file contents>].

--skyframe_state, default=false

Du kannst die Aktionsgrafik aus dem Skyframe erzeugen, ohne zusätzliche Analysen durchzuführen.

Weitere Tools und Funktionen

Abfrage des Zustands von SkyFrame

Skyframe ist das Bewertungs- und Steigerungsmodell von Istio. Auf jeder Instanz des Istio-Servers speichert Skyframe das Abhängigkeitsdiagramm, das aus den vorherigen Ausführungen der Analysephase erstellt wurde.

In manchen Fällen ist es hilfreich, den Action Graph in SkyFrame abzufragen. Ein Beispiel für einen solchen Anwendungsfall:

  1. Führen Sie bazel build //target_a aus
  2. Führen Sie bazel build //target_b aus
  3. Die Datei foo.out wurde generiert.

Ich möchte als {5/}-Nutzer ermitteln, ob foo.out aus dem Gebäude //target_a oder //target_b generiert wurde.

Man könnte bazel aquery 'outputs("foo.out", //target_a)' und bazel aquery 'outputs("foo.out", //target_b)' ausführen, um die Aktion zu ermitteln, die für das Erstellen von foo.out und damit auch das Ziel verantwortlich ist. Die Anzahl der zuvor erstellten Ziele kann jedoch größer als 2 sein, wodurch die Ausführung mehrerer aquery-Befehle zu aufwendig ist.

Alternativ können Sie das Flag --skyframe_state verwenden:

  # List all actions on Skyframe's action graph
  $ bazel aquery --output=proto --skyframe_state

  # or

  # List all actions on Skyframe's action graph, whose output matches "foo.out"
  $ bazel aquery --output=proto --skyframe_state 'outputs("foo.out")'

Im --skyframe_state-Modus verwendet aquery den Inhalt des Action Graphs, der von SkyFrame auf der Instanz von Istio gespeichert wird. Optional kann der Filter dafür verwendet und der Inhalt wird ausgegeben, ohne dass die Analysephase noch einmal ausgeführt wird.

Besondere Überlegungen

Ausgabeformat

--skyframe_state ist derzeit nur für --output=proto und --output=textproto verfügbar

Nicht berücksichtigte Ziellabels im Abfrageausdruck

Derzeit fragt --skyframe_state das gesamte Aktionsdiagramm ab, das in Skyframe vorhanden ist, unabhängig von den Zielen. Wenn Sie das Ziellabel in der Abfrage zusammen mit --skyframe_state angeben, wird dies als Syntaxfehler betrachtet:

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state **//target_a**
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java", **//target_a**)'
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # CORRECT: Without Target
  $ bazel aquery --output=proto --skyframe_state
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java")'

Abfrageausgaben vergleichen

Mit dem aquery_differ-Tool können Sie die Ausgaben von zwei verschiedenen Abfrageaufrufen vergleichen. Beispiel: Wenn Sie Änderungen an Ihrer Regeldefinition vornehmen und prüfen möchten, ob sich die Befehlszeilee geändert haben aquery_differ hilft Ihnen dabei.

Das Tool ist im Repository bazelbuild/bazel verfügbar. Klonen Sie das Repository auf Ihren lokalen Computer, um es zu verwenden. Beispielanwendung:

  $ bazel run //tools/aquery_differ -- \
  --before=/path/to/before.proto \
  --after=/path/to/after.proto \
  --input_type=proto \
  --attrs=cmdline \
  --attrs=inputs

Der obige Befehl gibt den Unterschied zwischen den Ausgabeergebnissen von before und after zurück: welche Aktionen in dem einen, aber nicht in dem anderen vorhanden waren, welche Aktionen in jeder Abfrageausgabe verschiedene Befehlszeilen/Eingaben haben, ...

  Aquery output 'after' change contains an action that generates the following outputs that aquery output 'before' change doesn't:
  ...
  /list of output files/
  ...

  [cmdline]
  Difference in the action that generates the following output(s):
    /path/to/abc.out
  --- /path/to/before.proto
  +++ /path/to/after.proto
  @@ -1,3 +1,3 @@
    ...
    /cmdline diff, in unified diff format/
    ...

Befehlsoptionen

--before, --after: Die zu vergleichenden Ausgabedateien der Abfrage

--input_type=(proto|text_proto), default=proto: Das Format der Eingabedateien. Für die Abfrageausgaben proto und textproto werden sie unterstützt.

--attrs=(cmdline|inputs), default=cmdline: Die Attribute der zu vergleichenden Aktionen.

Seitenverhältnis

Aspekte können aufeinander angewendet werden. Die Abfrageausgabe der von diesen Attributen generierten Aktion würde dann den Aspektpfad enthalten. Dies ist die Abfolge der Aspekte, die auf das Ziel angewendet wurden, das die Aktion generiert hat.

Beispiel für „Aspect-on-Aspect“:

  t0
  ^
  | <- a1
  t1
  ^
  | <- a2
  t2

t ist ein Ziel der Regel i, die ein Seitenverhältnis i auf seine Abhängigkeiten anwendet.

Nehmen wir an, dass a2 eine Aktion X generiert, wenn sie auf das Ziel t0 angewendet wird. Die Textausgabe für bazel aquery --include_aspects 'deps(//t2)' für Aktion X wäre:

  action ...
  Mnemonic: ...
  Target: //my_pkg:t0
  Configuration: ...
  AspectDescriptors: [//my_pkg:rule.bzl%**a2**(foo=...)
    -> //my_pkg:rule.bzl%**a1**(bar=...)]
  ...

Das bedeutet, dass die Aktion X durch das Seitenverhältnis a2 generiert wurde, das auf a1(t0) angewendet wurde, wobei a1(t0) das Ergebnis des Kriteriums a1 ist, das auf das Ziel t0 angewendet wurde.

Jeder AspectDescriptor hat das folgende Format:

  AspectClass([param=value,...])

AspectClass kann der Name der Aspect-Klasse (für native Seiten) oder bzl_file%aspect_name (für Starlark-Aspekte) sein. AspectDescriptor sind in alphabetischer Reihenfolge nach der Abhängigkeitsgrafik sortiert.

Verknüpfung mit dem JSON-Profil

Während in einer Abfrage Informationen zu den Aktionen, die in einem Build ausgeführt werden (Informationen zu deren Ausführung/Eingaben), werden über das JSON-Profil der Zeitpunkt und die Dauer der Ausführung angegeben. Es ist möglich, diese beiden Gruppen von Informationen über einen gemeinsamen Nenner zu kombinieren: eine primäre Ausgabe.

Wenn Sie Aktionen in # Das JSON-Profil einschließen möchten, generieren Sie das Profil mit --experimental_include_primary_output --noexperimental_slim_json_profile. Slim-Profile sind nicht mit Primärausgaben kompatibel. Die primäre Ausgabe einer Aktion ist standardmäßig in der Abfrage enthalten.

Derzeit bieten wir kein kanonisches Tool, um diese beiden Datenquellen zu kombinieren. Sie sollten aber ein eigenes Skript mit den oben genannten Informationen erstellen können.

Bekannte Probleme

Umgang mit gemeinsamen Aktionen

Manchmal werden Aktionen zwischen konfigurierten Zielen gemeinsam genutzt.

In der Ausführungsphase werden diese freigegebenen Aktionen einfach als eine Aktion betrachtet und nur einmal ausgeführt. Bei einer Abfrage wird jedoch das Aktionsdiagramm vor der Ausführung und nach der Analyse verarbeitet. Daher werden diese wie separate Aktionen behandelt, deren Ausgabeartefakte genau das gleiche execPath haben. Daher werden äquivalente Artefakte doppelt angezeigt.

Die Liste der Abfrageprobleme oder geplanten Features finden Sie auf GitHub.

FAQ

Der ActionKey bleibt gleich, auch wenn sich der Inhalt einer Eingabedatei geändert hat.

Im Kontext einer Abfrage bezieht sich ActionKey auf die String, die aus ActionAnalysisMetadata#getKey abgerufen wurde:

  Returns a string encoding all of the significant behaviour of this Action that might affect the
  output. The general contract of `getKey` is this: if the work to be performed by the
  execution of this action changes, the key must change.

  ...

  Examples of changes that should affect the key are:

  - Changes to the BUILD file that materially affect the rule which gave rise to this Action.
  - Changes to the command-line options, environment, or other global configuration resources
      which affect the behaviour of this kind of Action (other than changes to the names of the
      input/output files, which are handled externally).
  - An upgrade to the build tools which changes the program logic of this kind of Action
      (typically this is achieved by incorporating a UUID into the key, which is changed each
      time the program logic of this action changes).
  Note the following exception: for actions that discover inputs, the key must change if any
  input names change or else action validation may falsely validate.

Dadurch werden die Änderungen am Inhalt der Eingabedateien ausgeschlossen und nicht mit RemoteCacheClient#ActionKey verwechselt.

Updates

Wenn Sie Fragen zu Funktionen oder Funktionen haben, können Sie hier ein Problem melden.