שאילתה של תרשים פעולה (שאילתה)

פקודת aquery מאפשרת להריץ שאילתות על פעולות בתרשים ה-build. הוא פועל בתרשים ניתוח מוגדר לאחר ניתוח וחושף מידע על פעולות, פריטי מידע שנוצר במערכת והקשר שלהם.

aquery שימושי כאשר אתם מעוניינים במאפיינים של פעולות/אובייקטים שנוצרו מתרשים יעדים מוגדר. לדוגמה, הפקודות בפועל פועלות והקלט/פלט/המינונים שלהם.

הכלי מקבל כמה אפשרויות בשורת הפקודה. יש לשים לב שפקודת ה-query מריצה מעל גרסת build רגילה של Bazel ועוברת בירושה את קבוצת האפשרויות הזמינות במהלך גרסת build.

יש תמיכה באותה קבוצת פונקציות הזמינה גם לquery רגילים, אבל לsiblings, לbuildfiles ול tests.

פלט aquery לדוגמה (ללא פרטים ספציפיים):

$ bazel aquery 'deps(//some:label)'
action 'Writing file some_file_name'
  Mnemonic: ...
  Target: ...
  Configuration: ...
  ActionKey: ...
  Inputs: [...]
  Outputs: [...]

תחביר בסיסי

דוגמה פשוטה לתחביר של aquery:

bazel aquery "aquery_function(function(//target))"

ביטוי השאילתה (במירכאות) מורכב מהביטויים הבאים:

• aquery_function(...): פונקציות ספציפיות ל-aquery. פרטים נוספים בהמשך.
• function(...): הפונקציות הרגילות בתקן query.
• //target היא התווית של היעד המעניין.

# aquery examples:
# Get the action graph generated while building //src/target_a
$ bazel aquery '//src/target_a'

# Get the action graph generated while building all dependencies of //src/target_a
$ bazel aquery 'deps(//src/target_a)'

# Get the action graph generated while building all dependencies of //src/target_a
# whose inputs filenames match the regex ".*cpp".
$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

שימוש בפונקציות aquery

יש שלוש פונקציות aquery:

• inputs: סינון פעולות לפי קלט.
• outputs: סינון פעולות לפי פלט
• mnemonic: סינון פעולות לפי שיטות

expr ::= inputs(word, expr)

האופרטור inputs מחזיר את הפעולות שנוצרו ממבנה expr, ששמות הקבצים שלו תואמים לביטוי הרגולרי שסופק על ידי word.

$ bazel aquery 'inputs(".*cpp", deps(//src/target_a))'

לפונקציות outputs ו-mnemonic יש תחביר דומה.

אפשר גם לשלב פונקציות כדי לבצע את פעולת AND. למשל:

  $ bazel aquery 'mnemonic("Cpp.*", (inputs(".*cpp", inputs("foo.*", //src/target_a))))'

הפקודה שלמעלה תאתר את כל הפעולות הכרוכות בבנייה //src/target_a, שהמאקלים שלו תואמים ל-"Cpp.*" והקלטים תואמים לתבניות ".*cpp" ו-"foo.*".

דוגמה לשגיאת התחביר שנוצרה:

        $ bazel aquery 'deps(inputs(".*cpp", //src/target_a))'
        ERROR: aquery filter functions (inputs, outputs, mnemonic) produce actions,
        and therefore can't be the input of other function types: deps
        deps(inputs(".*cpp", //src/target_a))

אפשרויות

אפשרויות build

aquery פועל מעל גרסת build רגילה של Bazel, וכך יורש את קבוצת האפשרויות שזמינות במהלך build.

אפשרויות שאילתה

--output=(text|summary|proto|jsonproto|textproto), default=text

פורמט הפלט המוגדר כברירת מחדל (text) ניתן לקריאה על ידי אנשים. יש להשתמש ב-proto, ב-textproto או ב-jsonproto לפורמט קריא למחשבים. הודעת הפרוטו היא analysis.ActionGraphContainer.

--include_commandline, default=true

כולל את התוכן של שורות פקודת הפעולה בפלט (פוטנציאליות).

--include_artifacts, default=true

כולל שמות של קלט ופלט של פעולות בפלט (אולי בעתיד).

--include_aspects, default=true

האם לכלול בפלט פעולות שנוצרו על ידי הרוחב.

--include_param_files, default=false

יש לכלול את תוכן קובצי הפרמטרים שנעשה בהם שימוש בפקודה (פוטנציאלית).

--include_file_write_contents, default=false

כלול את תוכן הקובץ של הפעולה actions.write() ואת התוכן בקובץ המניפסט של הפעולה SourceSymlinkManifest. תוכן הקובץ יוחזר בשדה file_contents עם --output=xxxproto. עם --output=text, הפלט כולל FileWriteContents: [<base64-encoded file contents>] שורה

--skyframe_state, default=false

מבלי לבצע ניתוח נוסף, משחררים את תרשים הפעולה מ-Skyframe.

תכונות וכלים נוספים

שליחת שאילתה כנגד מצב Skyframe

Skyframe הוא מודל ההערכה ההגדלה וההגדלה. בכל מופע של שרת Bazel, ניתן לראות בתרשים התלויות שנבנה מההפעלות הקודמות של שלב הניתוח.

במקרים מסוימים, כדאי להריץ שאילתות ב-Action Graph ב-Skyframe. דוגמה לשימוש:

1. מקצה bazel build //target_a
2. מקצה bazel build //target_b
3. הקובץ foo.out נוצר.

כמשתמש ב-Bazel אני רוצה לקבוע אם foo.out נוצר מהבניין //target_a או //target_b.

אחד מהם יכול להפעיל את bazel aquery 'outputs("foo.out", //target_a)' ואת bazel aquery 'outputs("foo.out", //target_b)' כדי להבין את הפעולה שאחראית ליצירת foo.out, וכתוצאה מכך להשלים את היעד. עם זאת, מספר היעדים השונים שנוצרו בעבר יכול להיות גדול מ-2, דבר שגורם להרצת aquery יותר טרחה.

כחלופה, ניתן להשתמש בסימון --skyframe_state:

  # List all actions on Skyframe's action graph
  $ bazel aquery --output=proto --skyframe_state

  # or

  # List all actions on Skyframe's action graph, whose output matches "foo.out"
  $ bazel aquery --output=proto --skyframe_state 'outputs("foo.out")'

במצב --skyframe_state, הפונקציה aquery מקבלת את התוכן של ה-Action Graph ש-Skyframe שומרת על המופע של Bazel, באופן אופציונלי (כולל) סינון באמצעותה ופלטת התוכן, בלי להפעיל מחדש את שלב הניתוח.

שיקולים מיוחדים

פורמט פלט

--skyframe_state זמין כרגע רק ל---output=proto ול---output=textproto

ללא הכללת תוויות יעד בביטוי השאילתה

בשלב זה, --skyframe_state שולח שאילתה בכל תרשים הפעולות הקיים ב-Skyframe, ללא קשר ליעדים. ציון תווית היעד בשאילתה יחד עם --skyframe_state נחשב לשגיאת תחביר:

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state **//target_a**
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # WRONG: Target Included
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java", **//target_a**)'
  ERROR: Error while parsing '//target_a)': Specifying build target(s) [//target_a] with --skyframe_state is currently not supported.

  # CORRECT: Without Target
  $ bazel aquery --output=proto --skyframe_state
  $ bazel aquery --output=proto --skyframe_state 'inputs(".*.java")'

השוואת פלטי שאילתות

אפשר להשוות בין הפלט של שתי הפעלות שונות של שאילתות באמצעות הכלי aquery_differ. לדוגמה: כשאתם מבצעים שינויים בהגדרת הכלל ואתם רוצים לוודא ששורות הפקודות שאתם מפעילים לא השתנו. aquery_differ הוא הכלי לכך.

הכלי זמין במאגר bazelbuild/bazel. כדי להשתמש בה, יש לשכפל את המאגר למכונה המקומית שלך. דוגמה לשימוש:

  $ bazel run //tools/aquery_differ -- \
  --before=/path/to/before.proto \
  --after=/path/to/after.proto \
  --input_type=proto \
  --attrs=cmdline \
  --attrs=inputs

הפקודה שלמעלה מחזירה את ההפרש בין הפלט של השאילתה before לבין after: אילו פעולות התרחשו באחת אבל לא, ובאילו פעולות יש פלט/שורת פקודה שונים בכל פלט של שאילתה, ...). התוצאה של הפעלת הפקודה שלמעלה תהיה:

  Aquery output 'after' change contains an action that generates the following outputs that aquery output 'before' change doesn't:
  ...
  /list of output files/
  ...

  [cmdline]
  Difference in the action that generates the following output(s):
    /path/to/abc.out
  --- /path/to/before.proto
  +++ /path/to/after.proto
  @@ -1,3 +1,3 @@
    ...
    /cmdline diff, in unified diff format/
    ...

אפשרויות פקודה

--before, --after: יש להשוות את קובצי הפלט של השאילתה להשוואה

--input_type=(proto|text_proto), default=proto: הפורמט של קובצי הקלט. התמיכה ניתנת לפלט שאילתה של proto ושל textproto.

--attrs=(cmdline|inputs), default=cmdline: המאפיינים של הפעולות שצריך להשוות.

יחס גובה-רוחב

ניתן להחיל היבטים אחד על השני. פלט השאילתה של הפעולה שנוצרה על ידי ההיבטים האלה יכלול את נתיב הרוחב, שהוא רצף ההיבטים שהוחלו על היעד שיצר את הפעולה.

דוגמה לרוחב:

  t0
  ^
  | <- a1
  t1
  ^
  | <- a2
  t2

מגדירים ל-_i את היעד של r_i, שחל על _AA.

מניחים ש-A2 יוצר פעולה X כשמחילים אותה על יעד t0. פלט הטקסט של bazel aquery --include_aspects 'deps(//t2)' לפעולה X יהיה:

  action ...
  Mnemonic: ...
  Target: //my_pkg:t0
  Configuration: ...
  AspectDescriptors: [//my_pkg:rule.bzl%**a2**(foo=...)
    -> //my_pkg:rule.bzl%**a1**(bar=...)]
  ...

פירוש הדבר הוא שהפעולה X נוצרה על ידי הרוחב (a2) הוחלה על a1(t0), כאשר a1(t0) הוא תוצאה של a1 בשימוש על יעד t0.

לכל AspectDescriptor יש את הפורמט הבא:

  AspectClass([param=value,...])

AspectClass יכול להיות שם המחלקה (היבטים) עבור היבטים מקומיים) bzl_file%aspect_name (עבור היבטים של Starlark). AspectDescriptor ממוינות לפי סדר טופולוגי של תרשים תלות.

קישור לפרופיל JSON

בזמן שהשאילתה מספקת מידע על הפעולות שמתבצעות במסגרת build (למה הן פועלות, מה הקלט/פלט שלהן), פרופיל JSON מיידע אותנו על התזמון ועל משך הביצוע שלהן. אפשר לשלב את שתי קבוצות המידע האלה, באמצעות מכנה משותף: הפלט הראשי של פעולה.

כדי לכלול פעולות' פלט בפרופיל JSON, יש ליצור את הפרופיל --experimental_include_primary_output --noexperimental_slim_json_profile. פרופילים דקים לא תואמים להכללה של פלט ראשי. הפלט הראשי של הפעולה כלול כברירת מחדל באמצעות שאילתה.

נכון לעכשיו, אנחנו לא מספקים כלי קנוני שמשלב את שני מקורות הנתונים האלה, אבל אמורה להיות לכם אפשרות ליצור סקריפט משלכם עם המידע שלמעלה.

בעיות ידועות

טיפול בפעולות משותפות

לפעמים הפעולות הן משותפים בין היעדים שהוגדרו.

בשלב הביצוע, הפעולות המשותפות הן נחשבות כאחת והן מבוצעות רק פעם אחת. עם זאת, שאילתה פועלת בתרשים טרום-ביצוע, בתרשים פעולות לאחר ניתוח, ומתייחסת לפעולות האלה כמו פעולות נפרדות שפלט חפצים שלהן כולל בדיוק את אותה execPath. כתוצאה מכך, מוצגים זהים.

רשימת הבעיות/התכונות המתוכננות בשאילתה מופיעה ב-GitHub.

שאלות נפוצות

ה-ActionKey נשאר ללא שינוי, גם אם התוכן של קובץ קלט השתנה.

בהקשר של שאילתה, המונח ActionKey מתייחס לערך String שהתקבל מ-ActionAnalysisMetadata#getKey:

  Returns a string encoding all of the significant behaviour of this Action that might affect the
  output. The general contract of `getKey` is this: if the work to be performed by the
  execution of this action changes, the key must change.

  ...

  Examples of changes that should affect the key are:

  - Changes to the BUILD file that materially affect the rule which gave rise to this Action.
  - Changes to the command-line options, environment, or other global configuration resources
      which affect the behaviour of this kind of Action (other than changes to the names of the
      input/output files, which are handled externally).
  - An upgrade to the build tools which changes the program logic of this kind of Action
      (typically this is achieved by incorporating a UUID into the key, which is changed each
      time the program logic of this action changes).
  Note the following exception: for actions that discover inputs, the key must change if any
  input names change or else action validation may falsely validate.

התוכן הזה יחריג את השינויים בתוכן של קובצי הקלט, ולא יבלבל ביניהם RemoteCacheClient#ActionKey.

עדכונים

אם נתקלת בבעיות או בבקשות שקשורות לתכונות, אפשר להגיש בעיה כאן.