การค้นหากราฟการดำเนินการ (Aquery)

รายงานปัญหา ดูแหล่งที่มา รุ่น Nightly · 7.4 7.3 · 7.2 · 7.1 · 7.0 · 6.5

คำสั่ง aquery ช่วยให้คุณค้นหาการดำเนินการในกราฟบิลด์ได้ โดยจะทํางานกับกราฟเป้าหมายที่กําหนดค่าไว้หลังการวิเคราะห์ และแสดงข้อมูลเกี่ยวกับการดําเนินการ อาร์ติแฟกต์ และความสัมพันธ์ของสิ่งเหล่านี้

aquery มีประโยชน์เมื่อคุณสนใจพร็อพเพอร์ตี้ของการดำเนินการ/อาร์ติแฟกต์ที่สร้างขึ้นจากกราฟเป้าหมายที่กำหนดค่าไว้ ตัวอย่างเช่น คำสั่งจริงที่เรียกใช้ และอินพุต/เอาต์พุต/ช่วยจำ

เครื่องมือนี้ยอมรับตัวเลือกบรรทัดคำสั่งหลายรายการ สิ่งที่น่าสังเกตคือคําสั่ง aquery จะทํางานบนบิลด์ Bazel ปกติและรับชุดตัวเลือกที่ใช้ได้ในระหว่างบิลด์

รองรับฟังก์ชันชุดเดียวกันกับที่สามารถใช้งานได้กับแบบเก่า query แต่ siblings, buildfiles และ tests

ตัวอย่างเอาต์พุต aquery (ไม่มีรายละเอียดเฉพาะ)

$ bazel aquery 'deps(//some:label)'
action 'Writing file some_file_name'
  Mnemonic: ...
  Target: ...
  Configuration: ...
  ActionKey: ...
  Inputs: [...]
  Outputs: [...]

ไวยากรณ์พื้นฐาน

ตัวอย่างไวยากรณ์ง่ายๆ สำหรับ aquery มีดังนี้

bazel aquery "aquery_function(function(//target))"

นิพจน์ข้อความค้นหา (ในเครื่องหมายคำพูด) ประกอบด้วยข้อมูลต่อไปนี้

  • aquery_function(...): ฟังก์ชันเฉพาะของ aquery ดูรายละเอียดเพิ่มเติมด้านล่าง
  • function(...): ฟังก์ชันมาตรฐาน เป็น query ดั้งเดิม
  • //target คือป้ายกํากับของเป้าหมายที่สนใจ
# aquery examples:
# Get the action graph generated while building //src/target_a
$ bazel aquery '//src/target_a'

# Get the action graph generated while building all dependencies of //src/target_a
$ bazel aquery 'deps(//src/target_a)'

# Get the action graph generated while building all dependencies of //src/target_a
# whose inputs filenames match the regex ".*cpp".
$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

การใช้ฟังก์ชันข้อความค้นหา

ฟังก์ชัน aquery มี 3 ประเภทดังนี้

  • inputs: กรองการดำเนินการตามอินพุต
  • outputs: กรองการดำเนินการตามเอาต์พุต
  • mnemonic: กรองการดำเนินการตามเทคนิคช่วยจำ

expr ::= inputs(word, expr)

โอเปอเรเตอร์ inputs จะแสดงการดำเนินการที่สร้างขึ้นจากการสร้าง expr ซึ่งมีชื่อไฟล์อินพุตตรงกับนิพจน์ทั่วไปที่ word ระบุ

$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

ฟังก์ชัน outputs และ mnemonic มีไวยากรณ์คล้ายกัน

นอกจากนี้ คุณยังสามารถรวมฟังก์ชันต่างๆ เข้าด้วยกันเพื่อให้ดำเนินการ "และ" ได้ เช่น

  $ bazel aquery 'mnemonic("Cpp.*", (inputs(".*cpp", inputs("foo.*", //src/target_a))))'

คำสั่งข้างต้นจะค้นหาการดำเนินการทั้งหมดที่เกี่ยวข้องกับการสร้าง //src/target_a ซึ่งคําช่วยจําตรงกับ "Cpp.*" และอินพุตตรงกับรูปแบบ ".*cpp" และ "foo.*"

ตัวอย่างข้อผิดพลาดทางไวยากรณ์

        $ bazel aquery 'deps(inputs(".*cpp", //src/target_a))'
        ERROR: aquery filter functions (inputs, outputs, mnemonic) produce actions,
        and therefore can't be the input of other function types: deps
        deps(inputs(".*cpp", //src/target_a))

ตัวเลือก

ตัวเลือกบิลด์

aquery ทำงานบนบิลด์ Bazel ปกติ จึงรับชุดตัวเลือกที่ใช้ได้ในระหว่างการบิลด์

ตัวเลือกการค้นหา

--output=(text|summary|proto|jsonproto|textproto), default=text

รูปแบบเอาต์พุตเริ่มต้น (text) เป็นรูปแบบที่มนุษย์อ่านได้ ใช้ proto, textproto หรือ jsonproto สำหรับรูปแบบที่เครื่องอ่านได้ ข้อความ Proto คือ analysis.ActionGraphContainer

--include_commandline, default=true

รวมเนื้อหาของบรรทัดคำสั่งการดำเนินการไว้ในเอาต์พุต (อาจมีขนาดใหญ่)

--include_artifacts, default=true

รวมชื่ออินพุตและเอาต์พุตการดําเนินการไว้ในเอาต์พุต (อาจมีขนาดใหญ่)

--include_aspects, default=true

ระบุว่าจะรวมการดำเนินการที่เกิดจากแง่มุมไว้ในเอาต์พุตหรือไม่

--include_param_files, default=false

รวมเนื้อหาของไฟล์พารามิเตอร์ที่ใช้ในคำสั่ง (อาจมีขนาดใหญ่)

--include_file_write_contents, default=false

รวมเนื้อหาไฟล์สำหรับการดำเนินการ actions.write() และเนื้อหาของไฟล์ ไฟล์ Manifest สำหรับการดำเนินการ SourceSymlinkManifest เนื้อหาของไฟล์คือ แสดงผลในช่อง file_contents โดยมี --output=xxxproto เมื่อใช้ --output=text เอาต์พุตจะมี FileWriteContents: [<base64-encoded file contents>] บรรทัด

--skyframe_state, default=false

ดัมพ์ Action Graph จาก Skyframe โดยไม่ต้องทำการวิเคราะห์เพิ่มเติม

เครื่องมือและฟีเจอร์อื่นๆ

การค้นหาเกี่ยวกับสถานะของ Skyframe

Skyframe คือการประเมินและ โมเดลส่วนเพิ่มของ Bazel Skyframe จะเก็บกราฟทรัพยากร Dependency ไว้ในอินสแตนซ์ของเซิร์ฟเวอร์ Bazel แต่ละรายการ สร้างขึ้นจากการเรียกใช้ก่อนหน้าของระยะการวิเคราะห์

ในบางกรณี การค้นหากราฟการดำเนินการใน Skyframe จะมีประโยชน์ ตัวอย่าง Use Case มีดังนี้

  1. เรียกใช้ bazel build //target_a
  2. เรียกใช้ bazel build //target_b
  3. สร้างไฟล์ foo.out แล้ว

ในฐานะผู้ใช้ Bazel ฉันต้องการทราบว่า foo.out นั้นสร้างขึ้นจากอาคารหรือไม่ //target_a หรือ //target_b

ผู้ใช้อาจเรียกใช้ bazel aquery 'outputs("foo.out", //target_a)' และ bazel aquery 'outputs("foo.out", //target_b)' เพื่อหาการดําเนินการที่รับผิดชอบต่อการสร้างขึ้นของ foo.out และในทางกลับกันก็คือเป้าหมาย อย่างไรก็ตาม จำนวนของ เป้าหมายที่สร้างไว้ก่อนหน้านี้อาจมีขนาดใหญ่กว่า 2 เป้าหมาย ซึ่งทำให้เรียกใช้ aquery หลายรายการได้ จึงเป็นเรื่องยุ่งยาก

หรือจะใช้ Flag --skyframe_state แทนก็ได้

  # List all actions on Skyframe's action graph
  $ bazel aquery --output=proto --skyframe_state

  # or

  # List all actions on Skyframe's action graph, whose output matches "foo.out"
  $ bazel aquery --output=proto --skyframe_state 'outputs("foo.out")'

เมื่อใช้โหมด --skyframe_state aquery จะนําเนื้อหาของกราฟการดำเนินการที่ Skyframe เก็บไว้ในอินสแตนซ์ของ Bazel (ไม่บังคับ) กรองเนื้อหา และแสดงผลเนื้อหาโดยไม่ต้องเรียกใช้ระยะการวิเคราะห์อีกครั้ง

สิ่งที่ควรพิจารณาเป็นพิเศษ

รูปแบบเอาต์พุต

ขณะนี้ --skyframe_state มีให้บริการใน --output=proto และ --output=textproto เท่านั้น

การไม่รวมป้ายกำกับเป้าหมายในนิพจน์การค้นหา

ปัจจุบัน --skyframe_state จะค้นหากราฟการดำเนินการทั้งหมดที่มีอยู่ใน Skyframe โดยไม่คำนึงถึงเป้าหมาย การระบุป้ายกำกับเป้าหมายในการค้นหาพร้อมกับ --skyframe_state ถือว่าเป็นข้อผิดพลาดทางไวยากรณ์

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state **//target_a**
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java", **//target_a**)'
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # CORRECT: Without Target
  $ bazel aquery --output=proto --skyframe_state
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java")'

การเปรียบเทียบเอาต์พุตคำค้นหา

คุณสามารถเปรียบเทียบเอาต์พุตของการเรียกใช้คำค้นหาที่แตกต่างกัน 2 รายการโดยใช้เครื่องมือ aquery_differ ตัวอย่างเช่น เมื่อคุณทำการเปลี่ยนแปลงบางอย่างกับคำจำกัดความของกฎ และต้องการยืนยันว่า บรรทัดคำสั่งที่เรียกใช้จะไม่เปลี่ยนแปลง aquery_differ เป็นเครื่องมือสำหรับการดำเนินการดังกล่าว

เครื่องมือมีอยู่ในที่เก็บ bazelbuild/bazel หากต้องการใช้งาน ให้โคลนที่เก็บไปยังเครื่องภายในของคุณ ตัวอย่างการใช้

  $ bazel run //tools/aquery_differ -- \
  --before=/path/to/before.proto \
  --after=/path/to/after.proto \
  --input_type=proto \
  --attrs=cmdline \
  --attrs=inputs

คำสั่งข้างต้นจะแสดงผลต่างระหว่างเอาต์พุต aquery before กับ after ซึ่งได้แก่ การดำเนินการที่แสดงในรายการหนึ่งแต่ไม่ได้แสดงในอีกรายการหนึ่ง การดำเนินการที่มีบรรทัดคำสั่ง/อินพุตต่างกันในเอาต์พุต aquery แต่ละรายการ ฯลฯ ผลลัพธ์ของการเรียกใช้คำสั่งข้างต้นจะเป็นดังนี้

  Aquery output 'after' change contains an action that generates the following outputs that aquery output 'before' change doesn't:
  ...
  /list of output files/
  ...

  [cmdline]
  Difference in the action that generates the following output(s):
    /path/to/abc.out
  --- /path/to/before.proto
  +++ /path/to/after.proto
  @@ -1,3 +1,3 @@
    ...
    /cmdline diff, in unified diff format/
    ...

ตัวเลือกคำสั่ง

--before, --after: ไฟล์เอาต์พุต aquery ที่จะเปรียบเทียบ

--input_type=(proto|text_proto), default=proto: รูปแบบของอินพุต รองรับเอาต์พุต aquery ของ proto และ textproto

--attrs=(cmdline|inputs), default=cmdline: แอตทริบิวต์ของการดำเนินการ ที่จะเปรียบเทียบ

อัตราส่วนภาพ

แง่มุมอาจวางซ้อนกันได้ เอาต์พุตคำค้นหาของการดำเนินการที่สร้างขึ้นโดย ส่วนเหล่านี้ก็จะรวมเส้นทางของ Aspect ซึ่งเป็นลำดับของ มีการใช้สัดส่วนกับเป้าหมายที่สร้างการดำเนินการแล้ว

ตัวอย่างของการแสดงผลแบบภาพซ้อนภาพ

  t0
  ^
  | <- a1
  t1
  ^
  | <- a2
  t2

ให้iเป็นเป้าหมายของกฎi ซึ่งจะใช้ Aspect ai ทรัพยากร Dependency ได้

สมมติว่า a2 สร้างการกระทํา X เมื่อใช้กับ t0 เป้าหมาย เอาต์พุตข้อความของ bazel aquery --include_aspects 'deps(//t2)' สําหรับการดําเนินการ X จะเป็นดังนี้

  action ...
  Mnemonic: ...
  Target: //my_pkg:t0
  Configuration: ...
  AspectDescriptors: [//my_pkg:rule.bzl%**a2**(foo=...)
    -> //my_pkg:rule.bzl%**a1**(bar=...)]
  ...

ซึ่งหมายความว่าการกระทํา X สร้างขึ้นโดยแง่มุม a2 ที่นําไปใช้กับ a1(t0) โดยที่ a1(t0) คือผลลัพธ์ของแง่มุม a1 ที่นําไปใช้กับเป้าหมาย t0

AspectDescriptor แต่ละรายการมีรูปแบบดังนี้

  AspectClass([param=value,...])

AspectClass อาจเป็นชื่อของคลาสแง่มุม (สำหรับแง่มุมแบบเนทีฟ) หรือ bzl_file%aspect_name (สำหรับแง่มุม Starlark) AspectDescriptor จะเรียงตามลําดับเชิงทอพอโลยีของกราฟทรัพยากร Dependency

การลิงก์กับโปรไฟล์ JSON

ขณะที่คำค้นหาจะให้ข้อมูลเกี่ยวกับการทำงานที่เรียกใช้ในบิลด์ (สาเหตุที่เรียกใช้ อินพุต/เอาต์พุต) และโปรไฟล์ JSON จะบอกระยะเวลาและระยะเวลาในการดำเนินการ คุณสามารถรวมข้อมูล 2 ชุดนี้เข้าด้วยกันผ่านตัวหารร่วมได้ ซึ่งก็คือเอาต์พุตหลักของการดำเนินการ

หากต้องการรวมเอาต์พุตของการดำเนินการไว้ในโปรไฟล์ JSON ให้สร้างโปรไฟล์ด้วย --experimental_include_primary_output --noexperimental_slim_json_profile โปรไฟล์แบบสลิมไม่สามารถใช้กับการรวมเอาต์พุตหลัก เอาต์พุตหลักของการดำเนินการ รวมโดยค่าเริ่มต้นด้วยคำค้นหา

ปัจจุบันเราไม่มีเครื่องมือมาตรฐานในการรวมแหล่งข้อมูล 2 แหล่งนี้ แต่คุณควรสร้างสคริปต์ของคุณเองได้ด้วยข้อมูลข้างต้น

ปัญหาที่ทราบ

การจัดการการดำเนินการที่แชร์

บางครั้งการกระทำ แชร์แล้ว ระหว่างเป้าหมายที่กำหนดค่าไว้

ในระยะการดำเนินการ การดำเนินการที่แชร์เหล่านั้นจะ พิจารณาง่ายๆ ว่าเป็น 1 และดำเนินการเพียงครั้งเดียว อย่างไรก็ตาม คำค้นหาจะทำงานในกราฟการทำงานก่อนการดำเนินการ หลังการวิเคราะห์ จึงประมวลผล เช่น การดำเนินการแยกต่างหากที่อาร์ติแฟกต์เอาต์พุตมี execPath เหมือนกัน ด้วยเหตุนี้ รายการต่างๆ จึงดูเหมือนซ้ำกัน

ดูรายการปัญหาในการค้นหา/ฟีเจอร์ที่วางแผนไว้ได้ใน GitHub

คำถามที่พบบ่อย

ActionKey ยังคงเหมือนเดิม แม้ว่าเนื้อหาของไฟล์อินพุตจะเปลี่ยนไปก็ตาม

ในบริบทของ aquery ActionKey จะหมายถึง String ที่ได้มาจาก ActionAnalysisMetadata#getKey

  Returns a string encoding all of the significant behaviour of this Action that might affect the
  output. The general contract of `getKey` is this: if the work to be performed by the
  execution of this action changes, the key must change.

  ...

  Examples of changes that should affect the key are:

  - Changes to the BUILD file that materially affect the rule which gave rise to this Action.
  - Changes to the command-line options, environment, or other global configuration resources
      which affect the behaviour of this kind of Action (other than changes to the names of the
      input/output files, which are handled externally).
  - An upgrade to the build tools which changes the program logic of this kind of Action
      (typically this is achieved by incorporating a UUID into the key, which is changed each
      time the program logic of this action changes).
  Note the following exception: for actions that discover inputs, the key must change if any
  input names change or else action validation may falsely validate.

โดยไม่รวมการเปลี่ยนแปลงเนื้อหาของไฟล์อินพุต และอย่าสับสนกับ RemoteCacheClient#ActionKey

อัปเดต

หากพบปัญหา/ต้องการขอฟีเจอร์ใดๆ โปรดแจ้งปัญหาที่นี่