Docker 샌드박스로 Bazel 원격 실행 문제 해결

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
문제 신고 소스 보기

로컬에서 실행되는 Bazel 빌드는 로컬 빌드에 영향을 미치지 않는 제한사항 및 요구사항으로 인해 원격으로 실행될 때 실패할 수 있습니다. 이러한 실패의 가장 일반적인 원인은 Bazel 실행을 원격 실행에 맞게 조정에 설명되어 있습니다.

이 페이지에서는 Docker 샌드박스 기능을 사용하여 원격 실행에서 발생하는 가장 일반적인 문제를 식별하고 해결하는 방법을 설명합니다. 이 기능은 원격 실행과 동일한 빌드에 제한사항을 적용합니다. 이렇게 하면 원격 실행 서비스 없이도 빌드 문제를 해결할 수 있습니다.

Docker 샌드박스 기능은 다음과 같이 원격 실행의 제한사항을 모방합니다.

  • 빌드 작업은 도구 모음 컨테이너에서 실행됩니다. 동일한 도구 모음 컨테이너를 사용하여 컨테이너화된 원격 실행을 지원하는 서비스를 통해 로컬에서 로컬로 빌드를 실행할 수 있습니다.

  • 컨테이너 경계를 통과하는 관련 없는 데이터가 없습니다. 명시적으로 선언된 입력과 출력만 컨테이너에 들어오고 나갑니다. 연결된 빌드 작업이 성공적으로 완료된 후에만 가능합니다.

  • 각 작업은 새로운 컨테이너에서 실행됩니다. 생성된 각 빌드 작업에 대해 고유한 새 컨테이너가 생성됩니다.

다음 방법 중 하나를 사용하여 이러한 문제를 해결할 수 있습니다.

  • 기본적으로 문제 해결 이 방법을 사용하면 Bazel과 빌드 작업이 기본적으로 로컬 머신에서 실행됩니다. Docker 샌드박스 기능은 빌드에 원격 실행과 동일한 제한사항을 적용합니다. 그러나 이 메서드는 로컬 도구, 상태, 빌드 내 데이터 유출을 감지하지 못하므로 원격 실행에 문제가 발생합니다.

  • Docker 컨테이너의 문제 해결. 이 방법을 사용하면 Bazel과 빌드 작업이 Docker 컨테이너 내에서 실행되므로 원격 실행에 적용되는 제한사항 외에도 로컬 머신에서 빌드로 유출되는 도구, 상태, 데이터를 감지할 수 있습니다. 이 메서드는 빌드의 일부가 실패하더라도 빌드에 대한 유용한 정보를 제공합니다. 이 방법은 실험용이며 공식적으로 지원되지 않습니다.

기본 요건

아직 문제를 해결하지 않았다면 다음 단계에 따라 문제 해결을 시작하세요.

  • Docker를 설치하고 실행하는 데 필요한 권한을 구성합니다.
  • Bazel 0.14.1 이상을 설치합니다. 이전 버전은 Docker 샌드박스 기능을 지원하지 않습니다.
  • 여기에 설명된 대로 최신 출시 버전에 고정된 bazel-toolchains 저장소를 빌드의 WORKSPACE 파일에 추가합니다.
  • 이 기능을 사용 설정하려면 .bazelrc 파일에 플래그를 추가합니다. Bazel 프로젝트의 루트 디렉터리에 파일이 없으면 새로 만듭니다. 아래 플래그는 참조 샘플입니다. bazel-toolchains 저장소의 최신 .bazelrc 파일을 확인하고 docker-sandbox 구성에 대해 정의된 플래그 값을 복사하세요.
# Docker Sandbox Mode
build:docker-sandbox --host_javabase=<...>
build:docker-sandbox --javabase=<...>
build:docker-sandbox --crosstool_top=<...>
build:docker-sandbox --experimental_docker_image=<...>
build:docker-sandbox --spawn_strategy=docker --strategy=Javac=docker --genrule_strategy=docker
build:docker-sandbox --define=EXECUTOR=remote
build:docker-sandbox --experimental_docker_verbose
build:docker-sandbox --experimental_enable_docker_sandbox

규칙에 추가 도구가 필요한 경우 다음 단계를 따르세요.

  1. Dockerfile로 도구를 설치하고 로컬에서 이미지를 빌드하여 커스텀 Docker 컨테이너를 만듭니다.

  2. 위의 --experimental_docker_image 플래그 값을 커스텀 컨테이너 이미지 이름으로 바꿉니다.

문제 해결 기본 제공

이 메서드는 Bazel과 모든 빌드 작업을 로컬 머신에서 직접 실행하며, 원격 실행 시 빌드가 성공할지 확인하는 안정적인 방법입니다.

그러나 이 방법을 사용하면 특히 구성 스타일의 WORKSPACE 규칙을 사용하는 경우 로컬에 설치된 도구, 바이너리, 데이터가 빌드에 유출될 수 있습니다. 이러한 유출은 원격 실행에 문제를 야기합니다. 이러한 문제를 감지하기 위해서는 기본적인 문제 해결 외에도 Docker 컨테이너에서 문제를 해결해야 합니다.

1단계: 빌드 실행

  1. 빌드를 실행하는 Bazel 명령어에 --config=docker-sandbox 플래그를 추가합니다. 예를 들면 다음과 같습니다.

    bazel --bazelrc=.bazelrc build --config=docker-sandbox target
    
  2. 빌드를 실행하고 완료될 때까지 기다립니다. Docker 샌드박스 기능으로 인해 빌드가 평소보다 최대 4배 더 느리게 실행됩니다.

다음 오류가 발생할 수 있습니다.

ERROR: 'docker' is an invalid value for docker spawn strategy.

그렇게 하면 --experimental_docker_verbose 플래그를 사용하여 빌드를 다시 실행합니다. 이 플래그는 상세 오류 메시지를 사용 설정합니다. 이 오류는 일반적으로 Docker 설치 오류 또는 현재 사용자 계정에서 이를 실행할 권한이 없기 때문에 발생합니다. 자세한 내용은 Docker 문서를 참조하세요. 문제가 지속되면 Docker 컨테이너 문제 해결로 건너뛰세요.

2단계: 감지된 문제 해결

다음은 가장 일반적으로 발생하는 문제와 해결 방법입니다.

  • Bazel 실행 파일 트리에서 참조하는 파일, 도구, 바이너리 또는 리소스가 누락되었습니다. 영향을 받는 대상의 모든 종속 항목이 명시적으로 선언되었는지 확인합니다. 자세한 내용은 암시적 종속 항목 관리를 참고하세요.

  • 절대 경로 또는 PATH 변수가 참조하는 파일, 도구, 바이너리 또는 리소스가 누락되었습니다. 모든 필수 도구가 도구 모음 컨테이너 내에 설치되어 있는지 확인하고 도구 모음 규칙을 사용하여 누락된 리소스를 가리키는 종속 항목을 올바르게 선언합니다. 자세한 내용은 도구 모음 규칙을 통해 빌드 도구 호출을 참조하세요.

  • 바이너리 실행 실패 빌드 규칙 중 하나가 실행 환경 (Docker 컨테이너)과 호환되지 않는 바이너리를 참조하는 것입니다. 자세한 내용은 플랫폼 종속 바이너리 관리를 참고하세요. 문제를 해결할 수 없는 경우 bazel-discuss@google.com에 문의하세요.

  • @local-jdk의 파일이 누락되었거나 오류가 발생했습니다. 로컬 머신의 자바 바이너리가 호환되지 않는 동안 빌드에 누수가 발생하고 있습니다. 규칙 및 대상에서 @local_jdk 대신 java_toolchain를 사용하세요. 추가 도움이 필요한 경우 bazel-discuss@google.com으로 문의하세요.

  • 기타 오류: 도움이 필요한 경우 bazel-discuss@google.com으로 문의하세요.

Docker 컨테이너의 문제 해결

이 방법을 사용하면 Bazel이 호스트 Docker 컨테이너 내에서 실행되며, Bazel의 빌드 작업은 Docker 샌드박스 기능으로 생성된 개별 도구 모음 컨테이너 내에서 실행됩니다. 샌드박스에서 빌드 작업마다 새로운 도구 모음 컨테이너를 생성하고 각 도구 모음 컨테이너에서 작업 하나만 실행합니다.

이 방법을 사용하면 호스트 환경에 설치된 도구를 더 세밀하게 제어할 수 있습니다. 빌드 실행을 빌드 작업 실행에서 분리하고 설치된 도구를 최소로 유지하여 빌드에 로컬 실행 환경에 대한 종속 항목이 있는지 확인할 수 있습니다.

1단계: 컨테이너 빌드

  1. Docker 컨테이너를 만들고 최소한의 빌드 도구 모음으로 Bazel을 설치하는 Dockerfile를 만듭니다.

    FROM debian:stretch
    
    RUN apt-get update && apt-get install -y apt-transport-https curl software-properties-common git gcc gnupg2 g++ openjdk-8-jdk-headless python-dev zip wget vim
    
    RUN curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add -
    
    RUN add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian $(lsb_release -cs) stable"
    
    RUN apt-get update && apt-get install -y docker-ce
    
    RUN wget https://releases.bazel.build/<latest Bazel version>/release/bazel-<latest Bazel version>-installer-linux-x86_64.sh -O ./bazel-installer.sh && chmod 755 ./bazel-installer.sh
    
    RUN ./bazel-installer.sh
    
  2. 컨테이너를 bazel_container로 빌드합니다.

    docker build -t bazel_container - < Dockerfile
    

2단계: 컨테이너 시작하기

아래 명령어를 사용하여 Docker 컨테이너를 시작합니다. 이 명령어에서 빌드하려는 호스트의 소스 코드 경로를 바꿉니다.

docker run -it \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v /tmp:/tmp \
  -v your source code directory:/src \
  -w /src \
  bazel_container \
  /bin/bash

이 명령어는 컨테이너를 루트로 실행하여 Docker 소켓을 매핑하고 /tmp 디렉터리를 마운트합니다. 이렇게 하면 Bazel이 다른 Docker 컨테이너를 생성하고 /tmp 아래의 디렉터리를 사용하여 해당 컨테이너와 파일을 공유할 수 있습니다. 소스 코드는 컨테이너 내의 /src에 있습니다.

명령어는 의도적으로 도구 모음 컨테이너로 사용되는 rbe-ubuntu16-04 컨테이너와 호환되지 않는 바이너리가 포함된 debian:stretch 기본 컨테이너에서 시작됩니다. 로컬 환경의 바이너리가 도구 모음 컨테이너에서 유출되면 빌드 오류가 발생합니다.

3단계: 컨테이너 테스트

Docker 컨테이너 내부에서 다음 명령어를 실행하여 테스트합니다.

docker ps
bazel version

4단계: 빌드 실행

아래와 같이 빌드를 실행합니다. 출력 사용자는 루트이므로 Bazel이 실행되는 호스트 컨테이너 내부에서 동일한 절대 경로로 액세스할 수 있는 디렉터리, Bazel의 빌드 작업이 실행 중인 Docker 샌드박스 기능으로 생성된 도구 모음 컨테이너, 호스트와 작업 컨테이너가 실행되는 로컬 머신에서 액세스할 수 있습니다.

bazel --output_user_root=/tmp/bazel_docker_root --bazelrc=.bazelrc \ build --config=docker-sandbox target

5단계: 감지된 문제 해결

빌드 실패는 다음과 같이 해결할 수 있습니다.

  • 빌드에 '디스크 공간 부족' 오류가 발생하면 --memory=XX 플래그를 사용하여 호스트 컨테이너를 시작하여 이 한도를 늘릴 수 있습니다. 여기서 XX는 할당된 디스크 공간(GB)입니다. 이는 실험용이며 예측할 수 없는 동작을 초래할 수 있습니다.

  • 분석 또는 로드 단계 중에 빌드가 실패하면 WORKSPACE 파일에 선언된 하나 이상의 빌드 규칙이 원격 실행과 호환되지 않습니다. 가능한 원인과 해결 방법은 원격 실행을 위한 Bazel 규칙 조정을 참조하세요.

  • 다른 이유로 빌드가 실패하면 2단계: 감지된 문제 해결하기의 문제 해결 단계를 참고하세요.