Consulta do gráfico de ações (aquery)

Informar um problema Ver código-fonte

O comando aquery permite consultar ações no gráfico do build. Ele opera no gráfico de destino configurado pós-análise e expõe informações sobre Ações, artefatos e as relações delas.

O aquery é útil quando você tem interesse nas propriedades das ações/artefatos gerados pelo gráfico de destino configurado. Por exemplo, os comandos reais são executados e as respectivas entradas/saídas/mnemônicas.

A ferramenta aceita várias opções de linha de comando. Em especial, o comando aquery é executado sobre um build normal do Bazel e herda o conjunto de opções disponíveis durante a criação.

Ele oferece suporte ao mesmo conjunto de funções que também está disponível para query tradicional, mas siblings, buildfiles e tests.

Exemplo de saída aquery (sem detalhes específicos):

$ bazel aquery 'deps(//some:label)'
action 'Writing file some_file_name'
  Mnemonic: ...
  Target: ...
  Configuration: ...
  ActionKey: ...
  Inputs: [...]
  Outputs: [...]

Sintaxe básica

Um exemplo simples da sintaxe de aquery é o seguinte:

bazel aquery "aquery_function(function(//target))"

A expressão de consulta (entre aspas) consiste no seguinte:

  • aquery_function(...): funções específicas de aquery. Veja mais detalhes abaixo.
  • function(...): as funções padrão como query tradicional.
  • //target é o rótulo para o destino desejado.
# aquery examples:
# Get the action graph generated while building //src/target_a
$ bazel aquery '//src/target_a'

# Get the action graph generated while building all dependencies of //src/target_a
$ bazel aquery 'deps(//src/target_a)'

# Get the action graph generated while building all dependencies of //src/target_a
# whose inputs filenames match the regex ".*cpp".
$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

Como usar funções aquery

Há três funções aquery:

  • inputs: filtra ações por entradas.
  • outputs: filtrar ações por saídas
  • mnemonic: filtrar ações por mnemônica

expr ::= inputs(word, expr)

O operador inputs retorna as ações geradas a partir da criação de expr, cujos nomes de arquivo de entrada correspondem ao regex fornecido por word.

$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

As funções outputs e mnemonic compartilham uma sintaxe semelhante.

Também é possível combinar funções para alcançar a operação AND. Exemplo:

  $ bazel aquery 'mnemonic("Cpp.*", (inputs(".*cpp", inputs("foo.*", //src/target_a))))'

O comando acima encontraria todas as ações envolvidas na criação de //src/target_a, que têm mnemônicas correspondentes a "Cpp.*" e entradas que correspondem aos padrões ".*cpp" e "foo.*".

Um exemplo do erro de sintaxe produzido:

        $ bazel aquery 'deps(inputs(".*cpp", //src/target_a))'
        ERROR: aquery filter functions (inputs, outputs, mnemonic) produce actions,
        and therefore can't be the input of other function types: deps
        deps(inputs(".*cpp", //src/target_a))

Opções

Opções de build

aquery é executado sobre um build normal do Bazel e, portanto, herda o conjunto de opções disponíveis durante um build.

Opções de consulta

--output=(text|summary|proto|jsonproto|textproto), default=text

O formato de saída padrão (text) é legível. Use proto, textproto ou jsonproto para formato legível por máquina. A mensagem do proto é analysis.ActionGraphContainer.

--include_commandline, default=true

Inclui o conteúdo das linhas de comando de ação na saída (potencialmente grande).

--include_artifacts, default=true

Inclui nomes das entradas de ação e saídas na saída (potencialmente grande).

--include_aspects, default=true

Define se ações incluídas geradas pelo aspecto serão incluídas na saída.

--include_param_files, default=false

Inclua o conteúdo dos arquivos de parâmetros usados no comando (possivelmente grande).

--include_file_write_contents, default=false

Inclua o conteúdo do arquivo da ação actions.write() e o conteúdo do arquivo de manifesto da ação SourceSymlinkManifest. O conteúdo do arquivo é retornado no campo file_contents com --output=xxxproto. Com --output=text, a saída tem FileWriteContents: [<base64-encoded file contents>] linha

--skyframe_state, default=false

Sem realizar análises extras, despeje o gráfico de ação do Skyframe.

Outras ferramentas e recursos

Como consultar o estado do Skyframe

O Skyframe é o modelo de avaliação e incrementabilidade do Bazel. Em cada instância do servidor do Bazel, o Skyframe armazena o gráfico de dependência criado a partir das execuções anteriores da fase de análise.

Em alguns casos, é útil consultar o gráfico de ação no Skyframe. Um exemplo de caso de uso:

  1. Run bazel build //target_a
  2. Run bazel build //target_b
  3. O arquivo foo.out foi gerado.

Como usuário do Bazel, quero determinar se foo.out foi gerado com base na criação de //target_a ou //target_b.

É possível executar bazel aquery 'outputs("foo.out", //target_a)' e bazel aquery 'outputs("foo.out", //target_b)' para descobrir a ação responsável por criar foo.out e, por sua vez, o destino. No entanto, o número de destinos diferentes criados anteriormente pode ser maior que dois, o que facilita a execução de vários comandos aquery.

Como alternativa, use a sinalização --skyframe_state:

  # List all actions on Skyframe's action graph
  $ bazel aquery --output=proto --skyframe_state

  # or

  # List all actions on Skyframe's action graph, whose output matches "foo.out"
  $ bazel aquery --output=proto --skyframe_state 'outputs("foo.out")'

No modo --skyframe_state, o aquery extrai o conteúdo do gráfico de ações que o Skyframe mantém na instância do Bazel e, em seguida, filtra o conteúdo e gera o conteúdo sem executar novamente a fase de análise.

Considerações especiais

Formato da saída

--skyframe_state está disponível apenas para --output=proto e --output=textproto.

Inclusão de rótulos de destino na expressão de consulta

Atualmente, o --skyframe_state consulta todo o gráfico de ação que existe no Skyframe, independente dos destinos. Ter o rótulo de destino especificado na consulta com --skyframe_state é considerado um erro de sintaxe:

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state **//target_a**
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java", **//target_a**)'
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # CORRECT: Without Target
  $ bazel aquery --output=proto --skyframe_state
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java")'

Comparação das saídas de uma consulta

É possível comparar as saídas de duas invocações diferentes do Aquery usando a ferramenta aquery_differ. Por exemplo, quando você altera a definição das regras e quer verificar se as linhas de comando em execução não mudaram. A aquery_differ é a ferramenta ideal para isso.

A ferramenta está disponível no repositório bazelbuild/bazel. Para usá-lo, clone o repositório na sua máquina local. Um exemplo de uso:

  $ bazel run //tools/aquery_differ -- \
  --before=/path/to/before.proto \
  --after=/path/to/after.proto \
  --input_type=proto \
  --attrs=cmdline \
  --attrs=inputs

O comando acima retorna a diferença entre as saídas de consulta before e after: quais ações estavam presentes em uma, mas não a outra, quais ações têm linhas/entradas de comando diferentes em cada saída de consulta...... O resultado da execução do comando acima seria:

  Aquery output 'after' change contains an action that generates the following outputs that aquery output 'before' change doesn't:
  ...
  /list of output files/
  ...

  [cmdline]
  Difference in the action that generates the following output(s):
    /path/to/abc.out
  --- /path/to/before.proto
  +++ /path/to/after.proto
  @@ -1,3 +1,3 @@
    ...
    /cmdline diff, in unified diff format/
    ...

Opções de comando

--before, --after: os arquivos de saída da consulta a serem comparados.

--input_type=(proto|text_proto), default=proto: o formato dos arquivos de entrada. O suporte para a saída de consultas proto e textproto foi fornecido.

--attrs=(cmdline|inputs), default=cmdline: os atributos das ações a serem comparadas.

Aspecto em relação ao aspecto

É possível aplicar os aspectos uns sobre os outros. O resultado de consulta da ação gerada por esses aspectos incluiria o Caminho do aspecto, que é a sequência de Aspectos aplicados ao destino que gerou a ação.

Um exemplo de Aspecto no aspecto:

  t0
  ^
  | <- a1
  t1
  ^
  | <- a2
  t2

Permita que i seja um destino da regra ri, que aplica um aspecto ai às dependências dele.

Suponha que a2 gere uma ação X quando aplicada ao destino t0. A saída de texto de bazel aquery --include_aspects 'deps(//t2)' para a ação X seria:

  action ...
  Mnemonic: ...
  Target: //my_pkg:t0
  Configuration: ...
  AspectDescriptors: [//my_pkg:rule.bzl%**a2**(foo=...)
    -> //my_pkg:rule.bzl%**a1**(bar=...)]
  ...

Isso significa que a ação X foi gerada pelo aspecto a2 aplicado ao a1(t0), em que a1(t0) é o resultado do aspecto a1 aplicado ao destino t0.

Cada AspectDescriptor tem o seguinte formato:

  AspectClass([param=value,...])

AspectClass pode ser o nome da classe Aspect (para aspectos nativos) ou bzl_file%aspect_name (para Starlark Aspects). As AspectDescriptor são classificadas em ordem topológica do gráfico de dependências.

Vincular com o perfil JSON

Embora uma consulta forneça informações sobre as ações que estão sendo executadas em uma versão (por que estão sendo executadas, as entradas/saídas delas), o perfil JSON nos informa o tempo e a duração da execução. É possível combinar esses dois conjuntos de informações usando um denominador comum: a saída principal de uma ação.

Para incluir as saídas das ações no perfil JSON, gere o perfil com --experimental_include_primary_output --noexperimental_slim_json_profile. Os perfis finos são incompatíveis com a inclusão de saídas primárias. A saída principal de uma ação é incluída por padrão por uma consulta.

No momento, não fornecemos uma ferramenta canônica para combinar essas duas fontes de dados, mas você conseguirá criar seu próprio script com as informações acima.

Problemas conhecidos

Como gerenciar ações compartilhadas

Às vezes, as ações são compartilhadas entre os destinos configurados.

Na fase de execução, essas ações compartilhadas são simplesmente consideradas uma e executadas apenas uma vez. No entanto, uma consulta opera no gráfico de ações pré-execução e pós-análise e, portanto, trata essas ações como ações separadas com artefatos de saída exatamente iguais em execPath. Como resultado, os artefatos equivalentes aparecem duplicados.

A lista de problemas de consulta/recursos planejados pode ser encontrada no GitHub (link em inglês).

Perguntas frequentes

A ActionKey continua a mesma, embora o conteúdo de um arquivo de entrada tenha mudado.

No contexto de uma consulta, o ActionKey se refere ao String recebido de ActionAnalysisMetadata#getKey:

  Returns a string encoding all of the significant behaviour of this Action that might affect the
  output. The general contract of `getKey` is this: if the work to be performed by the
  execution of this action changes, the key must change.

  ...

  Examples of changes that should affect the key are:

  - Changes to the BUILD file that materially affect the rule which gave rise to this Action.
  - Changes to the command-line options, environment, or other global configuration resources
      which affect the behaviour of this kind of Action (other than changes to the names of the
      input/output files, which are handled externally).
  - An upgrade to the build tools which changes the program logic of this kind of Action
      (typically this is achieved by incorporating a UUID into the key, which is changed each
      time the program logic of this action changes).
  Note the following exception: for actions that discover inputs, the key must change if any
  input names change or else action validation may falsely validate.

Isso exclui as alterações no conteúdo dos arquivos de entrada e não deve ser confundido com RemoteCacheClient#ActionKey.

Atualizações

Para problemas/solicitações de recursos, registre um problema aqui.