Compilaciones distribuidas

Cuando tienes una base de código grande, las cadenas de dependencias pueden volverse muy profundas. Incluso los objetos binarios simples a menudo pueden depender de decenas de miles de objetivos de compilación. En esta escala, es imposible completar una compilación en una cantidad de tiempo razonable en una sola máquina: ningún sistema de compilación puede cumplir con las leyes fundamentales de la física impuestas al hardware de la máquina. La única forma de hacer que este trabajo sea con un sistema de compilación que admita compilaciones distribuidas en las que las unidades de trabajo que realiza el sistema se reparten en una cantidad arbitraria y escalable de máquinas. Si suponemos que dividimos el trabajo del sistema en unidades lo suficientemente pequeñas (más adelante, esto nos permitiría completar cualquier compilación de cualquier tamaño tan rápido como estemos dispuestos a pagar). Esta escalabilidad es el santo grial que hemos trabajado cuando definimos un sistema de compilación basado en artefactos.

Almacenamiento en caché remota

El tipo de compilación distribuida más simple es aquel que solo aprovecha el almacenamiento en caché remoto, que se muestra en la figura 1.

Compilación distribuida con almacenamiento en caché remoto

Figura 1. Una compilación distribuida que muestra el almacenamiento en caché remoto

Todos los sistemas que realizan compilaciones, incluidas las estaciones de trabajo para desarrolladores y los sistemas de integración continua, comparten una referencia a un servicio común de caché remota. Este servicio puede ser un sistema de almacenamiento a corto plazo y local como Redis o un servicio en la nube como Google Cloud Storage. Cuando un usuario necesita compilar un artefacto, ya sea directamente o como una dependencia, el sistema primero comprueba la caché remota para ver si ya existe ese artefacto. Si es así, puede descargar el artefacto en lugar de compilarlo. De lo contrario, el sistema compila el artefacto y sube el resultado de nuevo a la caché. Esto significa que las dependencias de bajo nivel que no cambian con mucha frecuencia se pueden compilar una vez y compartir entre los usuarios, en lugar de tener que volver a compilarlas. En Google, muchos artefactos se entregan desde una caché en lugar de compilarse desde cero, lo que reduce en gran medida el costo de ejecutar nuestro sistema de compilación.

Para que un sistema de almacenamiento en caché remoto funcione, el sistema de compilación debe garantizar que las compilaciones sean totalmente reproducibles. Es decir, para cualquier objetivo de compilación, debe ser posible determinar el conjunto de entradas de modo que el mismo conjunto de entradas produzca exactamente la misma salida en cualquier máquina. Esta es la única forma de garantizar que los resultados de la descarga de un artefacto sean los mismos que los de la compilación propia. Ten en cuenta que esto requiere que cada artefacto en la caché tenga una clave en su destino y un hash de sus entradas. De esta manera, diferentes ingenieros podrían realizar diferentes modificaciones en el mismo destino al mismo tiempo, y la caché remota almacenará todos los artefactos resultantes y los publicará de forma adecuada sin conflicto.

Por supuesto, para que cualquier beneficio de una caché remota, descargar un artefacto sea más rápido que compilarlo. Esto no siempre es así, especialmente si el servidor de caché está lejos de la máquina que realiza la compilación. La red y el sistema de compilación de Google se ajustan cuidadosamente a fin de poder compartir rápidamente resultados de compilación.

Ejecución remota

El almacenamiento en caché remoto no es una compilación distribuida verdadera. Si se pierde la caché o realizas un cambio de bajo nivel que requiere que todo se vuelva a compilar, deberás realizar la compilación completa de forma local en tu máquina. El objetivo real es admitir la ejecución remota, en la que el trabajo real de realizar la compilación se puede distribuir a cualquier cantidad de trabajadores. En la figura 2, se muestra un sistema de ejecución remota.

Sistema de ejecución remota

Figura 2. Un sistema de ejecución remota

La herramienta de compilación que se ejecuta en la máquina de cada usuario (donde los usuarios son ingenieros humanos o sistemas de compilación automáticos) envía solicitudes a una instancia principal de compilación central. La instancia principal de compilación divide las solicitudes en acciones de componentes y programa la ejecución de esas acciones en un grupo escalable de trabajadores. Cada trabajador realiza las acciones solicitadas con las entradas que especificó el usuario y escribe los artefactos resultantes. Estos artefactos se comparten entre las otras máquinas que ejecutan acciones que los requieren hasta que se puede producir el resultado final y enviarse al usuario.

La parte más complicada de implementar ese sistema es administrar la comunicación entre los trabajadores, la instancia principal y la máquina local del usuario. Los trabajadores pueden depender de artefactos intermedios que producen otros trabajadores, y el resultado final debe enviarse a la máquina local del usuario. Para hacer esto, podemos basarnos en la caché distribuida descrita antes haciendo que cada trabajador escriba sus resultados y lea sus dependencias desde la caché. La instancia principal bloquea a los trabajadores para que no continúen hasta que finalicen todos los eventos, de modo que puedan leer sus entradas desde la caché. El producto final también se almacena en caché, lo que permite que la máquina local lo descargue. Ten en cuenta que también necesitamos un medio independiente para exportar los cambios locales en el árbol fuente del usuario a fin de que los trabajadores puedan aplicar esos cambios antes de la compilación.

Para que esto funcione, todas las partes de los sistemas de compilación basados en artefactos que se describieron antes deben estar unidas. Los entornos de compilación deben ser completamente autodescriptivos para que podamos iniciar trabajadores sin intervención humana. Los procesos de compilación deben ser completamente independientes, ya que cada paso podría ejecutarse en una máquina diferente. Los resultados deben ser completamente deterministas para que cada trabajador pueda confiar en los resultados que recibe de otros trabajadores. Esas garantías son extremadamente difíciles de proporcionar un sistema basado en tareas, lo que hace que sea casi imposible compilar un sistema de ejecución remoto confiable por encima de uno.

Compilaciones distribuidas en Google

Desde 2008, Google usa un sistema de compilación distribuido que emplea almacenamiento en caché remoto y ejecución remota, como se ilustra en la Figura 3.

Sistema de compilación de alto nivel

Figura 3. Sistema de compilación distribuido de Google

La caché remota de Google se llama ObjFS. Consiste en un backend que almacena resultados de compilaciones en Bigtables distribuidos en toda nuestra flota de máquinas de producción y un daemon FUSE de frontend llamado objfsd que se ejecuta en las máquinas de cada desarrollador. El daemon FUSE permite que los ingenieros exploren los resultados de la compilación como si fueran archivos normales almacenados en la estación de trabajo, pero con el contenido del archivo descargado a pedido solo para los pocos archivos que el usuario solicita directamente. Entregar contenido de archivos a pedido reduce en gran medida el uso de la red y el disco, y el sistema puede compilar el doble de rápido en comparación con cuando almacenamos todo el resultado de la compilación en el disco local del desarrollador.

El sistema de ejecución remota de Google se llama Forge. Un cliente de Forge en Blaze (el equivalente interno de Bazel) llamado Distribuidor envía solicitudes para cada acción a un trabajo que se ejecuta en nuestros centros de datos llamado el programador. El programador mantiene una caché de resultados de acción, lo que le permite mostrar una respuesta de inmediato si algún otro usuario del sistema ya creó la acción. De lo contrario, se coloca la acción en una cola. Un grupo grande de trabajos de ejecutores lee continuamente las acciones de esta cola, las ejecuta y almacena los resultados directamente en los Bigtable de ObjFS. Estos resultados están disponibles para los ejecutores de acciones futuras o para que el usuario final los descargue a través de objfsd.

El resultado final es un sistema que escala para admitir de forma eficiente todas las compilaciones realizadas en Google. Además, la escala de las compilaciones de Google es realmente masiva: Google ejecuta millones de compilaciones que ejecutan millones de casos de prueba y produce petabytes de resultados de compilación a partir de miles de millones de líneas de código fuente todos los días. Este sistema no solo permite que nuestros ingenieros compilen bases de código complejas con rapidez, sino que también nos permite implementar una gran cantidad de herramientas y sistemas automatizados que dependen de nuestra compilación.