优化内存

报告问题 查看源代码 每夜版 · 8.4 · 8.3 · 8.2 · 8.1 · 8.0 · 7.6

本页介绍了如何限制和减少 Bazel 使用的内存。

在 RAM 有限的情况下运行 Bazel

在某些情况下,您可能希望 Bazel 使用最少的内存。您可以通过启动标志 --host_jvm_args 设置最大堆,例如 --host_jvm_args=-Xmx2g

以内存换取增量构建速度

如果您的 build 过大,当内存不足时,Bazel 可能会抛出 OutOfMemoryError (OOM)。您可以传递以下命令标志,使 Bazel 使用更少的内存,但增量构建速度会变慢:--discard_analysis_cache--nokeep_state_after_build--notrack_incremental_state

这些标志会尽可能减少 Bazel 在 build 中使用的内存,但代价是未来的 build 会比标准增量 build 慢。

您还可以单独传递以下任一标志:

  • --discard_analysis_cache 将减少执行期间(而非分析期间)使用的内存。增量 build 无需重新加载软件包,但必须重新进行分析和执行(不过,磁盘上的操作缓存可以防止大多数重新执行)。
  • --notrack_incremental_state 不会在 Bazel 的内部依赖关系图中存储任何边,因此无法用于增量构建。下一个 build 会舍弃该数据,但在那之前,该数据会保留下来以供内部调试,除非指定了 --nokeep_state_after_build
  • --nokeep_state_after_build 会在 build 后舍弃所有数据,因此增量 build 必须从头开始构建(磁盘上的操作缓存除外)。单独使用时,它不会影响当前 build 的高水位标记。

使用 Skyfocus(实验性)在 build 灵活性与内存之间进行权衡

如果您希望 Bazel 使用更少的内存保持增量 build 速度,可以告知 Bazel 您将修改的文件工作集,而 Bazel 将仅保留正确增量重建这些文件更改所需的状态。此功能称为 Skyfocus

如需使用 Skyfocus,请传递 --experimental_enable_skyfocus 标志:

bazel build //pkg:target --experimental_enable_skyfocus

默认情况下,工作集将是正在构建的目标旁边的文件集。在此示例中,//pkg 中的所有文件都将保留在工作集中,并且在您发出 bazel clean 或重启 Bazel 服务器之前,系统将禁止对工作集之外的文件进行更改。

如果您想指定确切的文件或目录集,请使用 --experimental_working_set 标志,如下所示:

bazel build //pkg:target --experimental_enable_skyfocus
--experimental_working_set=path/to/another/dir,path/to/tests/dir

您还可以传递 --experimental_skyfocus_dump_post_gc_stats 以显示内存减少量:

综合来看,您应该会看到类似以下内容:

$ bazel test //pkg:target //tests/... --experimental_enable_skyfocus --experimental_working_set dir1,dir2,dir3/subdir --experimental_skyfocus_dump_post_gc_stats
INFO: --experimental_enable_skyfocus is enabled. Blaze will reclaim memory not needed to build the working set. Run 'blaze dump --skyframe=working_set' to show the working set, after this command.
WARNING: Changes outside of the working set will cause a build error.
INFO: Analyzed 149 targets (4533 packages loaded, 169438 targets configured).
INFO: Found 25 targets and 124 test targets...
INFO: Updated working set successfully.
INFO: Focusing on 334 roots, 3 leafs... (use --experimental_skyfocus_dump_keys to show them)
INFO: Heap: 1237MB -> 676MB (-45.31%)
INFO: Elapsed time: 192.670s ...
INFO: Build completed successfully, 62303 total actions

在此示例中,使用 Skyfocus 后,Bazel 减少了 561MB (45%) 的内存使用量,并且增量构建可以快速处理对 dir1dir2dir3/subdir 下文件的更改,但代价是 Bazel 无法重新构建这些目录之外的已更改文件。

内存分析

Bazel 附带一个内置的内存分析器,可帮助您检查规则的内存使用情况。如需详细了解此流程,请参阅我们关于如何提高自定义规则性能的文档中的内存分析部分