当您拥有大型代码库时，依赖项链可能会变得非常深。即使是简单的二进制文件，也往往依赖于数万个构建目标。在这种规模下，我们完全不可能在合理的时间内在一台机器上完成构建，因为任何构建系统都无法绕过对机器硬件施加的物理学基本定律。实现此工作的唯一方法是使用支持分布式 build 的构建系统，其中由系统完成的工作单元分布在任意且可扩缩的机器上。假设我们将系统的工作拆分为足够小的单元（稍后会详细介绍），这将让我们能够尽快完成任何大小的构建，只要我们愿意付费即可。这种可伸缩性是我们一直致力于通过定义基于工件的构建系统来实现的终极目标。
远程缓存
最简单的分布式构建类型是仅利用远程缓存的分布式构建，如图 1 所示。
图 1. 显示远程缓存的分布式构建
执行 build 的每个系统（包括开发者工作站和持续集成系统）都会共享对通用远程缓存服务的引用。此服务可能是快速本地短期存储系统（如 Redis）或云服务（如 Google Cloud Storage）。每当用户需要构建工件（无论是直接构建还是构建为依赖项）时，系统都会首先检查远程缓存，以查看该工件是否已存在。如果是，它可以下载工件，而无需进行构建。否则，系统会自行构建工件并将结果上传回缓存。这意味着，不经常更改的低级别依赖项只需构建一次并在用户之间共享，而不必由每个用户重新构建。在 Google，许多工件都通过缓存提供，而非从头开始构建，从而大幅降低了运行构建系统的成本。
为了使远程缓存系统正常运行，构建系统必须保证构建完全可重现。也就是说，对于任何构建目标，都必须能够确定该目标的一组输入，以使同一组输入在任何机器上生成完全相同的输出。只有这样才能确保工件的下载结果与自己构建的结果相同。请注意，这要求缓存中的每个工件都根据其目标及其输入的哈希进行键控，这样，不同的工程师可以同时对同一目标进行不同的修改，而远程缓存会存储生成的所有工件并对其进行适当地传送，而不会发生冲突。
当然，若要从远程缓存中获得任何好处，下载工件需要比构建工件更快。但实际情况并非总是如此，尤其是当缓存服务器离执行构建的机器较远时。Google 的网络和构建系统经过精心调整，能够快速分享构建结果。
远程执行
远程缓存不是真正的分布式构建。如果缓存丢失，或者如果您进行的低级别更改要求重新构建所有内容，那么您仍然需要在机器上本地执行整个构建。真正的目标是支持远程执行，在远程执行中，执行构建的实际工作可以分布在任意数量的工作器之间。图 2 描述了一个远程执行系统。
图 2. 远程执行系统
在每位用户的计算机（用户是人类工程师或自动化构建系统）上运行的构建工具会向中央构建主实例发送请求。构建主实例将请求分解为组件操作，并在可扩缩的工作器池上调度这些操作的执行。每个工作器使用用户指定的输入执行对其要求的操作，并写出生成的工件。在可以生成最终输出并将其发送给用户之前，这些工件会在执行需要它们的操作的其他机器之间共享。
实现此类系统最棘手的部分是管理工作器、主实例和用户本地机器之间的通信。worker 可能依赖于其他 worker 生成的中间工件，并且最终输出需要发送回用户的本地机器。为此，我们可以基于之前所述的分布式缓存进行构建，方法是让每个工作器将其结果写入缓存并从缓存中读取其依赖项。主实例会阻止工作器继续进行后续操作，直至其所依赖的所有内容都完成为止。在这种情况下，它们将能够从缓存中读取输入。此外，系统还会缓存最终产品，以便本地机器下载。请注意，我们还需要另外一种方法来导出用户源代码树中的本地更改，以便 worker 在构建之前应用这些更改。
为此，前面介绍的基于工件的构建系统的所有部分都需要整合在一起。构建环境必须完全自描述，以便我们无需人工干预即可启动工作器。构建流程本身必须完全独立，因为每个步骤可能会在不同的机器上执行。输出必须完全具有确定性，以便每个 worker 都可以信任它从其他 worker 收到的结果。基于任务的系统很难提供这样的保证，这使得基于任务系统构建可靠的远程执行系统几乎不可能。
Google 的分布式构建
自 2008 年以来，Google 一直使用采用远程缓存和远程执行的分布式构建系统，如图 3 所示。
图 3. Google 的分布式构建系统
Google 的远程缓存称为 ObjFS。它包含一个后端，将构建输出存储在 Bigtable 中，这些 Bigtable 分布在我们的生产机器舰队中，以及一个名为 objfsd 的前端 FUSE 守护程序（在每个开发者的机器上运行）。借助 FUSE 守护程序，工程师可以浏览 build 输出，就像是存储在工作站上的普通文件一样，但只能按需下载用户直接请求的少数文件内容。按需提供文件内容可大大减少网络和磁盘使用量，并且系统构建速度是将所有构建输出存储在开发者本地磁盘上时的两倍。
Google 的远程执行系统名为 Forge。Blaze 中的 Forge 客户端（Bazel 的内部等效项）称为分销商，将每项操作的请求发送到在我们的数据中心内运行的作业（称为调度程序）。调度程序会维护操作结果的缓存，以便在系统的任何其他用户创建操作时立即返回响应。如果没有，它会将操作放入队列中。大量的执行器作业会不断从此队列中读取操作，执行这些操作，并将结果直接存储在 ObjFS Bigtable 中。这些结果可供执行器用于后续操作，或由最终用户通过 objfsd 下载。
最终，我们得以打造出一个可扩展的系统，从而高效地支持在 Google 执行的所有构建操作。Google 的构建规模非常庞大：Google 拥有数百万个 build，执行数百万个测试用例，每天通过数十亿行源代码生成 PB 级的构建输出。这样的系统不仅可以让我们的工程师快速构建复杂的代码库，还可以让我们实现大量依赖于我们构建的自动化工具和系统。