BazelCon 2022는 11월 16~17일에 뉴욕과 온라인에서 개최됩니다.
지금 등록하기

작업 기반 빌드 시스템

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

이 페이지에서는 작업 기반 빌드 시스템의 작동 원리 및 작업 기반 시스템에서 발생할 수 있는 몇 가지 문제에 관해 설명합니다. 셸 스크립트 후에는 작업 기반 빌드 시스템이 빌드의 차세대 진화가 됩니다.

작업 기반 빌드 시스템 이해

작업 기반 빌드 시스템에서 기본 작업 단위는 작업입니다. 각 태스크는 모든 종류의 로직을 실행할 수 있는 스크립트이며, 다른 태스크를 먼저 실행되어야 하는 종속 항목으로 지정합니다. Ant, Maven, Gradle, Grunt, Rake와 같이 오늘날 사용되는 대부분의 주요 빌드 시스템은 작업 기반입니다. 대부분의 최신 빌드 시스템에서는 셸 스크립트 대신 빌드 수행 방법을 설명하는 빌드 파일을 만들어야 합니다.

Ant 매뉴얼에서 이 예를 가져옵니다.

<project name="MyProject" default="dist" basedir=".">
   <description>
     simple example build file
   </description>
   <!-- set global properties for this build -->
   <property name="src" location="src"/>
   <property name="build" location="build"/>
   <property name="dist" location="dist"/>

   <target name="init">
     <!-- Create the time stamp -->
     <tstamp/>
     <!-- Create the build directory structure used by compile -->
     <mkdir dir="${build}"/>
   </target>
   <target name="compile" depends="init"
       description="compile the source">
     <!-- Compile the Java code from ${src} into ${build} -->
     <javac srcdir="${src}" destdir="${build}"/>
   </target>
   <target name="dist" depends="compile"
       description="generate the distribution">
     <!-- Create the distribution directory -->
     <mkdir dir="${dist}/lib"/>
     <!-- Put everything in ${build} into the MyProject-${DSTAMP}.jar file -->
     <jar jarfile="${dist}/lib/MyProject-${DSTAMP}.jar" basedir="${build}"/>
   </target>
   <target name="clean"
       description="clean up">
     <!-- Delete the ${build} and ${dist} directory trees -->
     <delete dir="${build}"/>
     <delete dir="${dist}"/>
   </target>
</project>

빌드 파일은 XML로 작성되며 작업 목록 (XML의 <target> 태그)과 함께 빌드에 관한 몇 가지 간단한 메타데이터를 정의합니다. (Ant는 대상이라는 단어를 사용하여 태스크를 나타내고 태스크라는 단어를 사용하여 명령어) 각 작업은 Ant에서 정의한 가능한 명령어 목록을 실행합니다. 이 명령어에는 디렉터리 생성 및 삭제, javac 실행, JAR 파일 생성이 포함됩니다. 이 명령어 집합은 모든 종류의 로직을 포괄하는 사용자 제공 플러그인으로 확장될 수 있습니다. 또한 각 작업은 종속 항목 속성을 통해 종속된 작업을 정의할 수 있습니다. 그림 1에 표시된 것처럼 이러한 종속 항목은 비순환 그래프를 구성합니다.

종속 항목을 보여주는 아크릴 그래프

그림 1. 종속 항목을 보여주는 비순환 그래프

사용자는 Ant의 명령줄 도구에 작업을 제공하여 빌드를 실행합니다. 예를 들어 사용자가 ant dist을 입력하면 Ant는 다음 단계를 수행합니다.

  1. 현재 디렉터리에 build.xml 파일을 로드하고 파싱하여 그림 1과 같은 그래프 구조를 만듭니다.
  2. 명령줄에서 제공된 dist라는 작업을 찾고 compile라는 작업에 대한 종속 항목을 찾습니다.
  3. compile라는 작업을 찾고 init라는 작업에 대한 종속 항목을 찾습니다.
  4. init라는 작업을 찾고 종속 항목이 없는지 확인합니다.
  5. init 작업에 정의된 명령어를 실행합니다.
  6. 작업의 모든 종속 항목이 실행되었음을 감안하여 compile 작업에 정의된 명령어를 실행합니다.
  7. 작업의 모든 종속 항목이 실행되었음을 감안하여 dist 작업에 정의된 명령어를 실행합니다.

최종적으로 dist 작업을 실행할 때 Ant에서 실행되는 코드는 다음 셸 스크립트와 같습니다.

./createTimestamp.sh
mkdir build/
javac src/* -d build/
mkdir -p dist/lib/
jar cf dist/lib/MyProject-$(date --iso-8601).jar build/*

구문을 제거해도 빌드 파일과 빌드 스크립트는 실제로 너무 달라지지 않습니다. 하지만 이렇게 함으로써 많은 것을 이미 얻었습니다. 다른 빌드 파일을 새로 만들어 서로 연결할 수 있습니다. 기존 작업에 의존하는 복잡한 임의의 작업을 손쉽게 추가할 수 있습니다. 단일 태스크 이름만 ant 명령줄 도구에 전달하기만 하면 실행해야 하는 모든 사항이 결정됩니다.

Ant는 2000년에 처음 출시된 오래된 소프트웨어입니다. Maven 및 Gradle과 같은 다른 도구는 그동안 몇 년 동안 Ant에서 개선되었으며, 기본적으로 외부 종속 항목의 자동 관리 및 XML 없이 더 깔끔한 구문과 같은 기능을 추가하여 이를 대체했습니다. 하지만 최신 시스템의 특성은 그대로 유지됩니다. 엔지니어가 원칙적으로 모듈화된 방식으로 빌드 스크립트를 작성하고 이러한 태스크를 실행하고 종속 항목을 관리하는 도구를 제공할 수 있기 때문입니다.

작업 기반 빌드 시스템의 어두운 면

이러한 도구는 본질적으로 엔지니어가 스크립트를 작업으로 정의할 수 있도록 해주므로 매우 강력합니다. 따라서 개발자 여러분이 할 수 있는 모든 일을 처리할 수 있습니다. 하지만 이러한 기능에는 단점이 수반되며, 빌드 기반 스크립트가 더 복잡해짐에 따라 작업 기반 빌드 시스템을 사용하기 어려울 수 있습니다. 이러한 시스템의 문제는 실제로는 엔지니어에게 충분한 전력을 공급하지만 시스템에는 충분한 전력이 공급되지 않는다는 점입니다. 시스템은 스크립트의 기능을 알지 못하므로 빌드 단계를 예약하고 실행하는 방법에 매우 보수적이어야 하므로 성능이 저하됩니다. 또한 각 스크립트가 제대로 작동하는지 확인할 수 있는 방법이 없기 때문에 스크립트가 복잡해지고 결국 디버깅이 필요한 또 다른 상황이 됩니다.

빌드 단계를 병렬화하는 것의 어려움

최신 개발 워크스테이션은 여러 빌드 단계를 동시에 실행할 수 있는 여러 코어를 사용하여 매우 강력합니다. 그러나 작업 기반 시스템은 필요할 것으로 보이는 경우에도 작업 실행을 병렬화할 수 없습니다. 작업 A가 작업 B와 C에 종속된다고 가정해 보겠습니다. 작업 B와 C는 서로 종속되지 않으므로, 시스템이 작업 A에 더 빨리 도달할 수 있도록 두 작업을 동시에 실행하는 것이 안전한가요? 같은 리소스를 건드리지 않을 수도 있습니다. 하지만 같은 파일을 사용하여 상태를 추적하고 동시에 실행하면 충돌이 발생할 수 있습니다. 시스템이 일반적으로 알 수 있는 방법이 없으므로 이러한 충돌을 일으킬 위험이 있거나(드물지만 디버그하기 어려운 빌드 문제로 이어질 수 있음) 또는 전체 대상을 제한해야 합니다. 단일 프로세스로 실행됩니다. 이 경우 강력한 개발자 머신이 낭비될 수 있으며 여러 머신에 빌드를 배포할 수 있는 가능성을 완전히 배제합니다.

증분 빌드를 수행하기가 어려움

우수한 빌드 시스템을 사용하면 엔지니어가 소규모 변경사항으로 인해 전체 코드베이스를 처음부터 다시 빌드할 필요가 없도록 안정적인 증분 빌드를 실행할 수 있습니다. 이는 빌드 시스템이 느려지고 위와 같은 이유로 빌드 단계를 병렬화할 수 없는 경우에 특히 중요합니다. 하지만 안타깝게도 작업 기반 빌드 시스템도 어려움을 겪습니다. 태스크는 무엇이든 할 수 있으므로 일반적으로 이미 완료되었는지 확인할 방법이 없습니다. 많은 작업은 단순히 소스 파일 세트를 가져와서 컴파일러를 실행하여 바이너리 세트를 만듭니다. 따라서 기본 소스 파일이 변경되지 않은 경우 다시 실행할 필요가 없습니다. 하지만 추가 정보 없이는 시스템에서 이를 확실히 알 수 없습니다. 작업에서 변경되었을 수 있는 파일을 다운로드할 수도 있고, 각 실행마다 다를 수 있는 타임스탬프를 쓸 수도 있습니다. 정확성을 보장하기 위해 시스템은 일반적으로 각 빌드 중에 모든 작업을 다시 실행해야 합니다. 일부 빌드 시스템은 엔지니어가 작업을 재실행해야 하는 조건을 지정하여 증분 빌드를 사용 설정합니다. 이 방법이 가능하더라도 표시되는 것보다 훨씬 더 어려운 경우가 많습니다. 예를 들어 다른 파일에 파일을 직접 포함할 수 있는 C++와 같은 언어의 경우, 입력 소스를 파싱하지 않고 변경사항을 확인해야 하는 전체 파일 세트를 확인할 수 없습니다. 엔지니어는 바로가기를 바로가기로 사용하는 경우가 많으며, 이러한 바로가기로 인해 작업 결과가 재사용되면 안 되지만 재사용되는 문제가 발생할 수 있습니다. 이러한 일이 자주 발생하면 엔지니어는 모든 빌드를 시작하기 전에 정리를 거쳐 새로운 상태를 얻고, 증분 빌드를 애초에 온전히 포기하는 습관을 들이게 됩니다. 작업을 재실행해야 하는 시기를 파악하는 것은 놀랍게도 미미하며, 사람보다 시스템에서 더 잘 처리하는 작업입니다.

스크립트 유지보수 및 디버깅에 어려움

마지막으로 작업 기반 빌드 시스템에 의해 부과된 빌드 스크립트는 종종 사용하기 어려울 수 있습니다. 빌드 스크립트는 일반적으로 세심한 확인을 받지 않지만 빌드 중인 시스템과 마찬가지로 코드이며 버그를 숨길 수 있는 곳입니다. 다음은 작업 기반 빌드 시스템에서 작업할 때 자주 발생하는 버그의 예입니다.

  • 작업 A는 작업 B에 의존하여 특정 파일을 출력으로 생성합니다. 작업 B의 소유자는 다른 작업이 여기에 의존한다는 것을 알지 못하므로 다른 위치에서 출력을 생성하도록 작업을 변경합니다. 이는 누군가가 작업 A를 시도하면서 실패를 발견할 때까지 감지할 수 없습니다.
  • 작업 A는 작업 B에 종속되며, 이는 작업 A에 필요한 출력으로 특정 파일을 생성하는 작업 C에 종속됩니다. 작업 B의 소유자가 작업 C를 더 이상 사용할 필요가 없다고 결정하면 작업 B가 작업 C에 전혀 신경 쓰지 않더라도 작업 A가 실패합니다.
  • 새로운 태스크의 개발자는 실수로 도구의 위치 또는 특정 환경 변수의 값 등 태스크를 실행하는 머신에 관해 가정합니다. 이 작업은 머신에서 작동하지만 다른 개발자가 시도할 때마다 실패합니다.
  • 작업에는 인터넷에서 파일을 다운로드하거나 빌드에 타임스탬프를 추가하는 등의 비확정적 구성요소가 포함됩니다. 이제는 사람들이 빌드를 실행할 때마다 다른 결과를 얻을 수 있습니다. 즉, 엔지니어가 자동화된 빌드 시스템에서 발생하는 장애나 장애를 항상 재현하고 해결할 수 있는 것은 아닙니다.
  • 여러 종속 항목이 있는 태스크는 경합 상태를 만들 수 있습니다. 작업 A가 작업 B와 작업 C에 모두 종속되어 있고 작업 B와 작업 C가 모두 같은 파일을 수정하는 경우 작업 A와 작업 C 중 하나가 먼저 완료되는 것에 따라 작업 A에서 다른 결과를 얻습니다.

여기에 설명된 작업 기반 프레임워크 내에서 이러한 성능, 정확성 또는 유지보수 문제를 해결할 수 있는 일반적인 방법은 없습니다. 따라서 엔지니어가 빌드 중에 실행되는 임의의 코드를 작성할 수 있는 한, 시스템은 항상 빠르고 정확하게 빌드를 실행할 수 있을 만큼 충분한 정보를 가질 수 없습니다. 문제를 해결하기 위해서는 엔지니어의 전력을 일부 빼내서 시스템의 업무에 투입하여 시스템의 역할을 실행 중인 작업이 아닌 아티팩트 생성으로 다시 개념화해야 합니다.

이러한 접근 방식으로 인해 Blaze 및 Bazel과 같은 아티팩트 기반 빌드 시스템이 생성되었습니다.