การดำเนินการแบบไดนามิก

การดำเนินการแบบไดนามิกเป็นฟีเจอร์ใน Bazel ตั้งแต่เวอร์ชัน 0.21 ซึ่งจะมีการเริ่มการดำเนินการเดียวกันทั้งในเครื่องและระยะไกลพร้อมกัน โดยใช้เอาต์พุตจาก Branch แรกที่เสร็จสิ้นแล้วและยกเลิกอีก Branch โดยรวมความสามารถในการดำเนินการและ/หรือแคชที่ใช้ร่วมกันขนาดใหญ่ของระบบการสร้างระยะไกลกับเวลาในการตอบสนองต่ำของการดำเนินการภายในเครื่อง ซึ่งให้สิ่งที่ดีที่สุดจากทั้ง 2 ด้านสำหรับบิลด์ที่สะอาดและมีจำนวนเพิ่มขึ้นเรื่อยๆ

หน้านี้จะอธิบายวิธีเปิดใช้ ปรับแต่ง และแก้ไขข้อบกพร่องของการดำเนินการแบบไดนามิก หากคุณตั้งค่าการดำเนินการทั้งในเครื่องและระยะไกลและพยายามปรับการตั้งค่า Bazel เพื่อประสิทธิภาพที่ดีขึ้น หน้านี้คือหน้าที่เหมาะสำหรับคุณ หากยังไม่ได้ตั้งค่าการดำเนินการระยะไกล ให้ไปที่ภาพรวมการดำเนินการระยะไกลของ Bazel ก่อน

กำลังเปิดใช้การดำเนินการแบบไดนามิกใช่ไหม

โมดูลการดำเนินการแบบไดนามิกเป็นส่วนหนึ่งของ Bazel แต่หากต้องการใช้งานการดำเนินการแบบไดนามิก คุณต้องคอมไพล์ได้ทั้งแบบในเครื่องและจากระยะไกลจากการตั้งค่า Bazel เดียวกัน

หากต้องการเปิดโมดูลการดำเนินการแบบไดนามิก ให้ส่งแฟล็ก --internal_spawn_scheduler ไปยัง Bazel การดำเนินการนี้จะเพิ่มกลยุทธ์การดำเนินการใหม่ที่ชื่อว่า dynamic ตอนนี้คุณใช้กลยุทธ์นี้เป็นกลยุทธ์สําหรับการช่วยจำที่ต้องการเรียกใช้แบบไดนามิก เช่น --strategy=Javac=dynamic ได้แล้ว ดูที่ส่วนถัดไปสำหรับวิธีเลือกการช่วยจำ เพื่อเปิดใช้การดำเนินการแบบไดนามิก

สำหรับการช่วยจำที่ใช้กลยุทธ์แบบไดนามิก กลยุทธ์การดำเนินการระยะไกลจะนำมาจากแฟล็ก --dynamic_remote_strategy และกลยุทธ์ในพื้นที่จากแฟล็ก --dynamic_local_strategy การส่ง --dynamic_local_strategy=worker,sandboxed จะกำหนดค่าเริ่มต้นสำหรับสาขาในท้องถิ่นของการดำเนินการแบบไดนามิกเพื่อลองใช้กับผู้ปฏิบัติงานหรือการดำเนินการที่แซนด์บ็อกซ์ไว้ในลำดับดังกล่าว การส่ง --dynamic_local_strategy=Javac=worker จะลบล้างค่าเริ่มต้นของระบบช่วยจำของ Javac เท่านั้น เวอร์ชันระยะไกลทำงานเหมือนกัน คุณสามารถระบุแฟล็กทั้งสองได้หลายครั้ง หากดำเนินการภายในเครื่องไม่ได้ การดำเนินการดังกล่าวก็จะดำเนินการจากระยะไกลตามปกติ หรือในทางกลับกัน

หากระบบระยะไกลมีแคช แฟล็ก --local_execution_delay จะเพิ่มการหน่วงเวลาให้กับการดำเนินการภายในเครื่องเป็นมิลลิวินาทีหลังจากที่ระบบระยะไกลระบุว่ามีการพบแคช การดำเนินการนี้จะหลีกเลี่ยงการเรียกใช้การดำเนินการภายในเมื่อมีแนวโน้มว่าจะพบแคชเพิ่มขึ้น ค่าเริ่มต้นคือ 1, 000 มิลลิวินาที แต่ควรปรับให้นานกว่าการพบแคชตามปกติเล็กน้อย เวลาจริงขึ้นอยู่กับระบบระยะไกลและระยะเวลาเดินทางไป-กลับ โดยปกติแล้ว ค่าจะเท่ากันสำหรับผู้ใช้ทุกรายของระบบระยะไกลหนึ่งๆ เว้นแต่ผู้ใช้บางรายที่อยู่ไกลพอที่จะเพิ่มเวลาในการตอบสนองแบบไป-กลับ คุณสามารถใช้ฟีเจอร์การทำโปรไฟล์ Bazel เพื่อดูระยะเวลาที่ Hit ของแคชโดยทั่วไปใช้

การดำเนินการแบบไดนามิกใช้ได้กับกลยุทธ์ที่แซนด์บ็อกซ์ในเครื่องและกับผู้ปฏิบัติงานตลอดเวลา ผู้ปฏิบัติงานถาวรจะเรียกใช้แซนด์บ็อกซ์โดยอัตโนมัติเมื่อใช้ร่วมกับการดำเนินการแบบไดนามิก และจะใช้ผู้ปฏิบัติงาน Multiplex ไม่ได้ กลยุทธ์แบบแซนด์บ็อกซ์ในระบบของดาร์วินและ Windows อาจทำงานช้า คุณสามารถส่ง --reuse_sandbox_directories เพื่อลดค่าใช้จ่ายในการสร้างแซนด์บ็อกซ์ในระบบเหล่านี้

การดำเนินการแบบไดนามิกยังเรียกใช้ด้วยกลยุทธ์ standalone ได้ด้วย อย่างไรก็ตาม เนื่องจากกลยุทธ์ standalone ต้องมีการล็อกเอาต์พุตเมื่อเริ่มดำเนินการ จึงบล็อกกลยุทธ์จากระยะไกลไม่ให้เสร็จสิ้นก่อนได้อย่างมีประสิทธิภาพ แฟล็ก --experimental_local_lockfree_output ช่วยแก้ปัญหานี้โดยอนุญาตให้การดำเนินการภายในเครื่องเขียนไปยังเอาต์พุตโดยตรงได้ แต่การดำเนินการระยะไกลจะยกเลิกการดำเนินการดังกล่าวหากทำให้เสร็จก่อน

หากสาขาหนึ่งของการดำเนินการแบบไดนามิกดำเนินการเสร็จสิ้นก่อน แต่ไม่สำเร็จ การดำเนินการทั้งหมดจะไม่สำเร็จ นี่คือตัวเลือกโดยเจตนาเพื่อป้องกันไม่ให้เกิดความแตกต่างระหว่างการดำเนินการในพื้นที่กับจากระยะไกล

หากต้องการทราบข้อมูลพื้นฐานเพิ่มเติมเกี่ยวกับวิธีการทำงานของการดำเนินการแบบไดนามิกและการล็อก โปรดดูที่บล็อกโพสต์ที่ยอดเยี่ยมของ Julio Merino

ฉันควรใช้การดำเนินการแบบไดนามิกเมื่อใด

การดำเนินการแบบไดนามิกต้องใช้ระบบการดำเนินการระยะไกลบางรูปแบบ ปัจจุบันยังใช้ระบบระยะไกลแบบแคชเท่านั้นไม่ได้ เนื่องจากการไม่พบแคชจะถือว่าเป็นการดำเนินการที่ล้มเหลว

การดำเนินการบางประเภทอาจไม่เหมาะกับการดำเนินการจากระยะไกล ตัวเลือกที่ดีที่สุดคือ ทำงานได้รวดเร็วภายในเครื่องอยู่แล้ว เช่น ผ่านการใช้ผู้ปฏิบัติงานถาวร หรือผู้ปฏิบัติงานที่ทำงานเร็วพอที่ต้นทุนในการดำเนินการจากระยะไกลจะกินเวลาของการดำเนินการ เนื่องจากการดำเนินการแต่ละรายการที่อยู่ในเครื่องจะล็อกทรัพยากร CPU และหน่วยความจำจำนวนหนึ่ง การดำเนินการที่ไม่อยู่ในหมวดหมู่เหล่านั้นจึงเป็นเพียงความล่าช้าในการดำเนินการสำหรับการดำเนินการเหล่านั้น

ตั้งแต่รุ่น 5.0.0-pre.20210708.4 การทำโปรไฟล์ประสิทธิภาพจะมีข้อมูลเกี่ยวกับการดำเนินการของผู้ปฏิบัติงาน รวมถึงเวลาที่ใช้ในการทำตามคำของานให้เสร็จสิ้นหลังจากแพ้การแข่งขันการดำเนินการแบบไดนามิก หากคุณเห็นเทรดของผู้ปฏิบัติงานการดำเนินการแบบไดนามิกใช้เวลาอย่างมากในการรับทรัพยากร หรือใช้เวลานานใน async-worker-finish อาจเป็นเพราะการดำเนินการในพื้นที่ที่ช้าจะทำให้ชุดข้อความของผู้ปฏิบัติงานล่าช้า

ในโปรไฟล์ด้านบนซึ่งใช้ผู้ปฏิบัติงาน Javac 8 รายการ เราพบว่าผู้ปฏิบัติงาน Javac จำนวนมากแพ้การแข่งขันและทำงานในเทรด async-worker-finish ให้เสร็จสิ้น ซึ่งเกิดจากการช่วยจำที่ไม่ใช่ผู้ปฏิบัติงานที่ใช้ทรัพยากรมากจนทำให้ผู้ปฏิบัติงานล่าช้า

เมื่อเรียกใช้ Javac กับการดำเนินการแบบไดนามิกเท่านั้น จะมีเพียงครึ่งหนึ่งของผู้ที่เริ่มต้นทำงานที่แพ้การแข่งขันหลังเริ่มทำงานแล้ว

แฟล็ก --experimental_spawn_scheduler ที่แนะนำก่อนหน้านี้เลิกใช้งานแล้ว โดยเปิดการดำเนินการแบบไดนามิกและตั้งค่า dynamic เป็นกลยุทธ์เริ่มต้นสำหรับการช่วยจำทั้งหมด ซึ่งมักจะทำให้เกิดปัญหาประเภทนี้

การแก้ปัญหา

ปัญหาของการดำเนินการแบบไดนามิกอาจแก้ไขได้ยากและเล็กน้อย เนื่องจากปัญหาเหล่านี้เกิดขึ้นได้ภายใต้ชุดค่าผสมที่เฉพาะเจาะจงของการดำเนินการภายในและระยะไกลเท่านั้น --debug_spawn_scheduler จะเพิ่มเอาต์พุตพิเศษจากระบบการดำเนินการแบบไดนามิกที่ช่วยแก้ปัญหาเหล่านี้ได้ นอกจากนี้ คุณยังสามารถปรับแฟล็ก --local_execution_delay และจำนวนงานระยะไกลเทียบกับงานภายในเพื่อให้จำลองปัญหาได้ง่ายขึ้น

หากพบปัญหาเกี่ยวกับการดำเนินการแบบไดนามิกโดยใช้กลยุทธ์ standalone ให้ลองเรียกใช้โดยไม่ใช้ --experimental_local_lockfree_output หรือเรียกใช้การดำเนินการในเครื่องโดยใช้แซนด์บ็อกซ์ ซึ่งอาจทำให้บิลด์ของคุณทำงานช้าลงเล็กน้อย (ดูด้านบนหากคุณใช้ Mac หรือ Windows) แต่จะนำสาเหตุบางประการที่อาจทำให้ทำงานไม่สำเร็จออก