bazel mobile-install

Desenvolvimento iterativo rápido para Android

Esta página descreve como bazel mobile-install torna o desenvolvimento iterativo para Android muito mais rápido. Ele descreve os benefícios dessa abordagem em relação aos desafios do método tradicional de instalação de apps.

Resumo

Para instalar pequenas mudanças em um app Android muito rapidamente, faça o seguinte:

  1. Encontre a regra android_binary do app que você quer instalar.
  2. Desative o Proguard removendo o atributo proguard_specs.
  3. Defina o atributo multidex como native.
  4. Defina o atributo dex_shards como 10.
  5. Conecte seu dispositivo com o ART (não o Dalvik) via USB e ative a depuração USB.
  6. Execute bazel mobile-install :your_target. A inicialização do app será um pouco mais lenta que o normal.
  7. Edite o código ou os recursos do Android.
  8. Execute bazel mobile-install --incremental :your_target.
  9. Gosta de não ter que esperar muito.

Algumas opções de linha de comando para o Bazel que podem ser úteis:

  • --adb informa ao Bazel qual binário adb usar.
  • --adb_arg pode ser usado para adicionar outros argumentos à linha de comando de adb. Uma aplicação útil disso é selecionar em qual dispositivo você quer instalar se houver vários dispositivos conectados à estação de trabalho: bazel mobile-install --adb_arg=-s --adb_arg=<SERIAL> :your_target
  • --start_app inicia o app automaticamente

Em caso de dúvida, consulte o exemplo ou entre em contato conosco.

Introdução

Um dos atributos mais importantes do conjunto de ferramentas de um desenvolvedor é a velocidade: há uma enorme diferença entre alterar o código e vê-lo ser executado em um segundo e ter que esperar minutos, às vezes horas, antes de receber feedback para saber se as mudanças fazem o que você espera.

Infelizmente, o conjunto de ferramentas tradicional do Android para criar um arquivo .apk envolve muitas etapas sequenciais e monolíticas. Todas elas precisam ser realizadas para criar um app Android. No Google, esperar cinco minutos para criar uma mudança de linha única não era incomum em projetos maiores, como o Google Maps.

O bazel mobile-install agiliza o desenvolvimento iterativo do Android usando uma combinação de remoção de mudanças, fragmentação de trabalho e manipulação inteligente dos internos do Android, tudo sem mudar o código do app.

Problemas com a instalação tradicional de apps

A criação de apps Android apresenta alguns problemas, incluindo:

  • Dexação. Por padrão, o "dx" é invocado exatamente uma vez no build e não sabe como reutilizar o trabalho de builds anteriores. Ele dexa todos os métodos novamente, mesmo que apenas um método tenha sido modificado.

  • Fazendo upload de dados para o dispositivo. O adb não usa toda a largura de banda de uma conexão USB 2.0, e o upload de apps maiores pode levar muito tempo. O app inteiro é enviado, mesmo que apenas partes pequenas tenham sido alteradas, por exemplo, um recurso ou um único método. Esse pode ser um grande gargalo.

  • Compilação em código nativo. O Android L apresentou o ART, um novo ambiente de execução do Android, que compila apps com antecedência em vez de compilá-los no momento certo, como o Dalvik. Isso torna os apps muito mais rápidos, mas com um tempo de instalação mais longo. Essa é uma boa compensação para os usuários, porque eles normalmente instalam um app uma vez e o usam muitas vezes, mas resulta em um desenvolvimento mais lento, em que o app é instalado várias vezes e cada versão é executada no máximo algumas vezes.

A abordagem de bazel mobile-install

bazel mobile-installfaz as seguintes melhorias:

  • Dexação fragmentada. Depois de criar o código Java do app, o Bazel fragmenta os arquivos de classe em partes de tamanho aproximado e invoca dx separadamente nelas. dx não é invocado em fragmentos que não mudaram desde o último build.

  • Transferência de arquivos incremental. Os recursos do Android, os arquivos .dex e as bibliotecas nativas são removidos do .apk principal e armazenados em um diretório de instalação para dispositivos móveis separado. Isso permite atualizar o código e os recursos do Android de forma independente, sem reinstalar todo o app. Assim, a transferência dos arquivos leva menos tempo e apenas os arquivos .dex que foram alterados são recompilados no dispositivo.

  • Carregar partes do app de fora do .apk. Um pequeno aplicativo stub é colocado no .apk que carrega recursos Android, código Java e código nativo do diretório de instalação móvel no dispositivo e, em seguida, transfere o controle para o app real. Tudo isso é transparente para o app, exceto em alguns casos descritos abaixo.

Dexação fragmentada

A dexação fragmentada é razoavelmente simples: depois que os arquivos .jar são criados, uma ferramenta os fragmenta em arquivos .jar separados de tamanho aproximadamente igual e depois invoca dx naqueles que foram alterados desde o build anterior. A lógica que determina quais fragmentos fazer em dex não é específica do Android: ela apenas usa o algoritmo de remoção de mudanças geral do Bazel.

A primeira versão do algoritmo de fragmentação simplesmente ordenou os arquivos .class em ordem alfabética e, em seguida, cortou a lista em partes do mesmo tamanho, mas isso não era o ideal: se uma classe fosse adicionada ou removida (mesmo que fosse anônima ou aninhada), todas as classes alfabeticamente seriam deslocadas em uma, resultando na dexação desses fragmentos novamente. Assim, foi decidido fragmentar os pacotes Java em vez de classes individuais. É claro que isso ainda resulta na dexação de muitos fragmentos se um novo pacote for adicionado ou removido, mas isso é muito menos frequente do que adicionar ou remover uma única classe.

O número de fragmentos é controlado pelo arquivo BUILD (usando o atributo android_binary.dex_shards). Em um mundo ideal, o Bazel determinaria automaticamente quantos fragmentos são melhores. No entanto, atualmente ele precisa conhecer o conjunto de ações (por exemplo, comandos a serem executados durante a compilação) antes de executar qualquer uma delas. Portanto, não consegue determinar o número ideal de fragmentos porque não sabe quantas classes Java estarão no aplicativo. O ponto ideal geralmente fica entre 10 e 50 fragmentos.

Transferência de arquivos incremental

Depois de criar o app, a próxima etapa é instalá-lo, de preferência com o menor esforço possível. A instalação consiste nas etapas a seguir:

  1. Como instalar o arquivo .apk (geralmente usando adb install)
  2. Fazer upload dos arquivos .dex, recursos do Android e bibliotecas nativas para o diretório mobile-install

Não há muita incrementabilidade na primeira etapa: o app está instalado ou não. Atualmente, o Bazel depende do usuário para indicar se precisa realizar essa etapa usando a opção de linha de comando --incremental, porque não consegue determinar em todos os casos se isso é necessário.

Na segunda etapa, os arquivos do app do build são comparados a um arquivo de manifesto no dispositivo que lista quais arquivos do app estão no dispositivo e as somas de verificação. Todos os novos arquivos são enviados para o dispositivo, todos os arquivos que foram modificados são atualizados e todos os arquivos que foram removidos são excluídos do dispositivo. Se o manifesto não estiver presente, presume-se que seja necessário fazer upload de todos os arquivos.

É possível enganar o algoritmo de instalação incremental alterando um arquivo no dispositivo, mas não a soma de verificação no manifesto. Isso poderia ter sido protegido pelo cálculo da soma de verificação dos arquivos no dispositivo, mas foi considerado que não valeu o aumento no tempo de instalação.

O aplicativo Stub

É no aplicativo stub que acontece a mágica para carregar os dexes, o código nativo e os recursos do Android do diretório mobile-install no dispositivo.

O carregamento real é implementado pela subclasse BaseDexClassLoader e é uma técnica razoavelmente bem documentada. Isso acontece antes que qualquer uma das classes do app seja carregada. Assim, todas as classes do app que estão no APK podem ser colocadas no diretório mobile-install do dispositivo para que possam ser atualizadas sem adb install.

Isso precisa acontecer antes que qualquer uma das classes do app seja carregada. Assim, nenhuma classe de app precisa estar no .apk, o que significa que as mudanças nessas classes exigiriam uma reinstalação completa.

Isso é feito substituindo a classe Application especificada em AndroidManifest.xml pelo aplicativo de stub. Ela assume o controle quando o app é iniciado e ajusta o carregador de classes e o gerenciador de recursos de forma adequada desde o início (o construtor) usando reflexão de Java nos componentes internos do framework do Android.

Outra coisa que o aplicativo stub faz é copiar as bibliotecas nativas instaladas pelo mobile-install em outro local. Isso é necessário porque o vinculador dinâmico precisa que o bit X seja definido nos arquivos, o que não é possível em nenhum local acessível por um adb não raiz.

Depois de fazer tudo isso, o aplicativo de stub instancia a classe Application real, mudando todas as referências a si mesmo para o app real no framework do Android.

Resultados

Desempenho

Em geral, bazel mobile-install resulta em uma aceleração de 4 a 10 vezes na criação e instalação de apps grandes após uma pequena mudança.

Os números a seguir foram calculados para alguns produtos do Google:

Obviamente, isso depende da natureza da mudança: a recompilação depois de mudar uma biblioteca de base leva mais tempo.

Limitações

Os truques do aplicativo de stub não funcionam em todos os casos. Os casos a seguir destacam onde ele não funciona como esperado:

  • Quando Context é transmitido para a classe Application em ContentProvider#onCreate(). Esse método é chamado durante a inicialização do app antes que possamos substituir a instância da classe Application. Portanto, ContentProvider ainda vai referenciar o aplicativo de stub em vez do real. Pode-se argumentar que isso não é um bug, já que não é possível fazer downgrade do Context dessa forma, mas isso parece acontecer em alguns apps no Google.

  • Os recursos instalados por bazel mobile-install só ficam disponíveis no app. Se eles forem acessados por outros apps usando PackageManager#getApplicationResources(), eles vão ser da última instalação não incremental.

  • Dispositivos que não executam o ART. Embora o aplicativo stub funcione bem no Froyo e em versões mais recentes, o Dalvik tem um bug que faz parecer que o app está incorreto se o código estiver distribuído por vários arquivos .dex em determinados casos, por exemplo, quando anotações Java são usadas de uma maneira específica. Contanto que seu app não mostre esses bugs, ele também deverá funcionar com o Dalvik (observe que, no entanto, esse suporte a versões antigas do Android não é exatamente nosso foco).