Skyframe StateMachines Kılavuzu

Genel Bakış

Skyframe StateMachine, yığında bulunan yapısı bozulmuş bir işlev nesnesidir. Gerekli değerler hemen kullanılamadığında ancak eşzamansız olarak hesaplandığında esnekliği ve gereksizliğe yer vermeden değerlendirmeyi destekler¹. StateMachine, beklerken bir iş parçacığı kaynağını bağlayamaz. Bunun yerine askıya alınması ve devam ettirilmesi gerekir. Bu nedenle, ayrıştırma işlemi, önceki hesaplamaların atlanabilmesi için açıkça yeniden giriş noktalarını ortaya çıkarır.

StateMachine, sıraları, dallanmayı, yapılandırılmış mantıksal eşzamanlılığı ifade etmek için kullanılabilir ve özellikle Skyframe etkileşimi için tasarlanmıştır. StateMachine, daha büyük StateMachine'ler halinde oluşturulabilir ve alt StateMachine'leri paylaşabilir. Eşzamanlılık her zaman yapı olarak hiyerarşiktir ve tamamen mantıksaldır. Eşzamanlı her alt görev, tek bir paylaşılan üst SkyFunction iş parçacığında çalışır.

Giriş

Bu bölümde, java.com.google.devtools.build.skyframe.state paketinde bulunan StateMachine'lar kısaca tanıtılmakta ve neden kullanıldıkları açıklanmaktadır.

Skyframe yeniden başlatma işlemine kısa bir giriş

Skyframe, bağımlılık grafiklerinin paralel değerlendirmesini yapan bir çerçevedir. Grafikteki her düğüm, parametrelerini belirten bir SkyKey ve sonucunu belirten bir SkyValue ile bir SkyFunction'ın değerlendirilmesine karşılık gelir. Hesaplama modeli, bir SkyFunction'ın SkyKey ile SkyValue'ları arayabileceği ve ek SkyFunction'ların yinelemeli, paralel değerlendirmesini tetikleyebileceği şekildedir. Bir işleme alt grafiği tamamlanmadığı için istenen SkyValue henüz hazır olmadığında, bir iş parçacığını bağlayacak olan engelleme yerine, istekte bulunan SkyFunction bir null getValue yanıtı gözlemler ve eksik girişler nedeniyle tamamlanmadığını belirten bir SkyValue yerine null döndürmelidir. Skyframe, daha önce istenen tüm SkyValue'lar kullanılabilir hale geldiğinde SkyFunctions'ı yeniden başlatır.

SkyKeyComputeState kullanıma sunulmadan önce, yeniden başlatma işlemini yönetmenin geleneksel yolu hesaplamayı tamamen yeniden çalıştırmaktı. Bu işlevin karmaşıklığı karesel olsa da bu şekilde yazılan işlevler sonunda tamamlanır. Bunun nedeni, her yeniden çalıştırmada daha az arama null döndürmesidir. SkyKeyComputeState ile, elle belirtilen kontrol noktası verilerini bir SkyFunction ile ilişkilendirmek ve önemli ölçüde yeniden hesaplama yapmaktan kurtulmak mümkündür.

StateMachine, SkyKeyComputeState içinde bulunan ve yürütmeyi askıya alma ve devam ettirme kancalarını kullanıma sunarak bir SkyFunction yeniden başlatıldığında (SkyKeyComputeState'nin önbellekten düşmediği varsayılarak) neredeyse tüm yeniden hesaplamaları ortadan kaldıran nesnelerdir.

SkyKeyComputeState içindeki durum bilgisi içeren hesaplamalar

Nesne yönelimli tasarım açısından, hesaplama nesnelerini saf veri değerleri yerine SkyKeyComputeState içinde depolamak mantıklıdır. Java'da, davranış taşıyan bir nesnenin en kısa açıklaması bir işlevsel arayüzdür ve bu açıklama yeterli olur. StateMachine, merak uyandıran ve yinelemeli olan şu tanıma sahiptir².

@FunctionalInterface
public interface StateMachine {
  StateMachine step(Tasks tasks) throws InterruptedException;
}

Tasks arayüzü SkyFunction.Environment ile benzerdir ancak eşzamansızlık için tasarlanmıştır ve mantıksal olarak eşzamanlı alt görevler için destek ekler³.

step işlevinin dönüş değeri başka bir StateMachine olduğundan, bir adım dizisinin tümevarımlı olarak belirtilmesine olanak tanır. step, StateMachine tamamlandığında DONE değerini döndürür. Örneğin:

class HelloWorld implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    System.out.println("hello");
    return this::step2;  // The next step is HelloWorld.step2.
  }

  private StateMachine step2(Tasks tasks) {
     System.out.println("world");
     // DONE is special value defined in the `StateMachine` interface signaling
     // that the computation is done.
     return DONE;
  }
}

Aşağıdaki çıkışla birlikte bir StateMachine açıklıyor.

hello
world

step2, StateMachine'nin işlevsel arayüz tanımını karşıladığı için yöntem referansı this::step2'nın da StateMachine olduğunu unutmayın. Yöntem referansları, bir StateMachine içinde sonraki durumu belirtmenin en yaygın yoludur.

Sezgisel olarak, bir hesaplamayı tek bir işlev yerine StateMachine adıma bölmek, hesaplamayı askıya almak ve devam ettirmek için gereken bağlantıları sağlar. StateMachine.step döndüğünde açık bir askıya alma noktası vardır. Döndürülen StateMachine değeriyle belirtilen devam, açık bir devam ettirme noktasıdır. Bu nedenle, hesaplama tam olarak kaldığı yerden devam edebileceğinden yeniden hesaplama yapılmaz.

Geri aramalar, devam ettirmeler ve eşzamansız hesaplama

Teknik olarak, StateMachine bir devam işlevi görür ve yürütülecek sonraki hesaplamayı belirler. StateMachine, engellemek yerine step işlevinden dönerek gönüllü olarak askıya alınabilir. Bu işlev, kontrolü tekrar bir Driver örneğine aktarır. Driver daha sonra hazır bir StateMachine'ye geçebilir veya kontrolü Skyframe'e geri verebilir.

Geleneksel olarak geri çağırmalar ve devam ettirmeler tek bir kavram olarak ele alınır. Ancak StateMachine, ikisi arasında ayrım yapar.

• Geri arama: Eşzamansız bir hesaplamanın sonucunun nerede saklanacağını açıklar.
• Devam: Bir sonraki yürütme durumunu belirtir.

Eşzamansız bir işlem çağrılırken geri çağırma işlevleri gereklidir. Bu, SkyValue araması örneğinde olduğu gibi, yöntemi çağırdıktan sonra işlemin hemen gerçekleşmediği anlamına gelir. Geri aramalar mümkün olduğunca basit tutulmalıdır.

Devamlar, StateMachine değerlerinin StateMachine dönüş değerleridir ve tüm eşzamansız hesaplamalar çözümlendikten sonra gerçekleşen karmaşık yürütmeyi kapsar. Bu yapılandırılmış yaklaşım, geri çağırmaların karmaşıklığını yönetilebilir düzeyde tutmaya yardımcı olur.

Görevler

Tasks arayüzü, StateMachine'lere SkyKey'e göre SkyValue'ları aramak ve eşzamanlı alt görevler planlamak için bir API sağlar.

interface Tasks {
  void enqueue(StateMachine subtask);

  void lookUp(SkyKey key, Consumer<SkyValue> sink);

  <E extends Exception>
  void lookUp(SkyKey key, Class<E> exceptionClass, ValueOrExceptionSink<E> sink);

  // lookUp overloads for 2 and 3 exception types exist, but are elided here.
}

SkyValue aramaları

StateMachine, SkyValue'ları aramak için Tasks.lookUp aşırı yüklemelerini kullanır. SkyFunction.Environment.getValue ve SkyFunction.Environment.getValueOrThrow ile benzerdir ve benzer istisna işleme semantiğine sahiptir. Uygulama, aramayı hemen gerçekleştirmez. Bunun yerine, aramayı yapmadan önce mümkün olduğunca çok arama ⁴ toplar. Değer hemen kullanılamayabilir (ör. Skyframe'in yeniden başlatılması gerekebilir). Bu nedenle, arayan kişi, sonuçlanan değerle ne yapılacağını bir geri çağırma işlevi kullanarak belirtir.

StateMachine işlemcisi (Driver'ler ve SkyFrame'e köprüleme), değerin bir sonraki durum başlamadan önce kullanılabilir olmasını sağlar. Örnek aşağıda verilmiştir.

class DoesLookup implements StateMachine, Consumer<SkyValue> {
  private Value value;

  @Override
  public StateMachine step(Tasks tasks) {
    tasks.lookUp(new Key(), (Consumer<SkyValue>) this);
    return this::processValue;
  }

  // The `lookUp` call in `step` causes this to be called before `processValue`.
  @Override  // Implementation of Consumer<SkyValue>.
  public void accept(SkyValue value) {
    this.value = (Value)value;
  }

  private StateMachine processValue(Tasks tasks) {
    System.out.println(value);  // Prints the string representation of `value`.
    return DONE;
  }
}

Yukarıdaki örnekte, ilk adım new Key() için arama yapar ve tüketici olarak this değerini iletir. DoesLookup, Consumer<SkyValue> uyguladığı için bu mümkündür.

Sözleşmeye göre, bir sonraki durum DoesLookup.processValue başlamadan önce DoesLookup.step ile ilgili tüm aramalar tamamlanır. Bu nedenle value, processValue'de erişildiğinde kullanılabilir.

Alt görevler

Tasks.enqueue, mantıksal olarak eşzamanlı alt görevlerin yürütülmesini ister. Alt görevler de StateMachine'dir ve yinelemeli olarak daha fazla alt görev oluşturma veya SkyValue'ları arama gibi normal StateMachine'lerin yapabileceği her şeyi yapabilir. lookUp'ya benzer şekilde, durum makinesi sürücüsü bir sonraki adıma geçmeden önce tüm alt görevlerin tamamlanmasını sağlar. Örnek aşağıda verilmiştir.

class Subtasks implements StateMachine {
  private int i = 0;

  @Override
  public StateMachine step(Tasks tasks) {
    tasks.enqueue(new Subtask1());
    tasks.enqueue(new Subtask2());
    // The next step is Subtasks.processResults. It won't be called until both
    // Subtask1 and Subtask 2 are complete.
    return this::processResults;
  }

  private StateMachine processResults(Tasks tasks) {
    System.out.println(i);  // Prints "3".
    return DONE;  // Subtasks is done.
  }

  private class Subtask1 implements StateMachine {
    @Override
    public StateMachine step(Tasks tasks) {
      i += 1;
      return DONE;  // Subtask1 is done.
    }
  }

  private class Subtask2 implements StateMachine {
    @Override
    public StateMachine step(Tasks tasks) {
      i += 2;
      return DONE;  // Subtask2 is done.
    }
  }
}

Subtask1 ve Subtask2 mantıksal olarak eşzamanlı olsa da her şey tek bir iş parçacığında çalışır. Bu nedenle i'nin "eşzamanlı" güncellemesi herhangi bir senkronizasyon gerektirmez.

Yapılandırılmış eşzamanlılık

Bir sonraki duruma geçmeden önce her lookUp ve enqueue çözümlenmesi gerektiğinden eşzamanlılık doğal olarak ağaç yapılarıyla sınırlıdır. Aşağıdaki örnekte gösterildiği gibi hiyerarşik ⁵ eşzamanlılık oluşturmak mümkündür.

Eşzamanlılık yapısının ağaç oluşturduğunu UML'den anlamak zordur. Ağaç yapısını daha iyi gösteren bir alternatif görünüm vardır.

Yapılandırılmış eşzamanlılık hakkında akıl yürütmek çok daha kolaydır.

Bileşim ve kontrol akışı kalıpları

Bu bölümde, birden fazla StateMachine'nin nasıl oluşturulabileceğine dair örnekler ve belirli kontrol akışı sorunlarına yönelik çözümler sunulmaktadır.

Sıralı durumlar

Bu, en yaygın ve basit kontrol akışı modelidir. Bunun bir örneği Stateful computations inside SkyKeyComputeState bölümünde gösterilmektedir.

Dallanma

StateMachine'lerdeki dallanma durumları, aşağıdaki örnekte gösterildiği gibi normal Java kontrol akışı kullanılarak farklı değerler döndürülerek elde edilebilir.

class Branch implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    // Returns different state machines, depending on condition.
    if (shouldUseA()) {
      return this::performA;
    }
    return this::performB;
  }
  …
}

Bazı şubelerin, erken tamamlanma için DONE döndürmesi çok yaygındır.

Gelişmiş sıralı kompozisyon

StateMachine kontrol yapısı hafızasız olduğundan StateMachine tanımlarını alt görev olarak paylaşmak bazen zor olabilir. M₁ ve M₂, StateMachine örneği olsun ve StateMachine, S ile paylaşsın. M₁ ve M₂ sırasıyla <A, S, B> ve <X, S, Y> dizileri olsun. Sorun, S tamamlandıktan sonra B veya Y'ye devam edip etmeyeceğini bilmiyor ve StateMachine, çağrı yığınını tam olarak korumuyor. Bu bölümde, bu amaca ulaşmanıza yardımcı olacak bazı teknikler ele alınmaktadır.

Terminal dizisi öğesi olarak StateMachine

Bu, ilk sorunu çözmez. Yalnızca paylaşılan StateMachine, dizide sonlandırıcı olduğunda sıralı bileşimi gösterir.

// S is the shared state machine.
class S implements StateMachine { … }

class M1 implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    performA();
    return new S();
  }
}

class M2 implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    performX();
    return new S();
  }
}

S'nin kendisi karmaşık bir durum makinesi olsa bile bu yöntem işe yarar.

Sıralı kompozisyon için alt görev

Sıraya alınmış alt görevlerin bir sonraki durumdan önce tamamlanacağı garanti edildiğinden, bazen alt görev mekanizmasını ⁶ biraz kötüye kullanmak mümkündür.

class M1 implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    performA();
    // S starts after `step` returns and by contract must complete before `doB`
    // begins. It is effectively sequential, inducing the sequence < A, S, B >.
    tasks.enqueue(new S());
    return this::doB;
  }

  private StateMachine doB(Tasks tasks) {
    performB();
    return DONE;
  }
}

class M2 implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    performX();
    // Similarly, this induces the sequence < X, S, Y>.
    tasks.enqueue(new S());
    return this::doY;
  }

  private StateMachine doY(Tasks tasks) {
    performY();
    return DONE;
  }
}

runAfter enjeksiyonu

Bazen, S yürütülmeden önce tamamlanması gereken başka paralel alt görevler veya Tasks.lookUp çağrıları olduğundan Tasks.enqueue öğesinin kötüye kullanılması mümkün değildir. Bu durumda, S'ye ne yapması gerektiğini bildirmek için S'ye bir runAfter parametresi yerleştirilebilir.

class S implements StateMachine {
  // Specifies what to run after S completes.
  private final StateMachine runAfter;

  @Override
  public StateMachine step(Tasks tasks) {
    … // Performs some computations.
    return this::processResults;
  }

  @Nullable
  private StateMachine processResults(Tasks tasks) {
    … // Does some additional processing.

    // Executes the state machine defined by `runAfter` after S completes.
    return runAfter;
  }
}

class M1 implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    performA();
    // Passes `this::doB` as the `runAfter` parameter of S, resulting in the
    // sequence < A, S, B >.
    return new S(/* runAfter= */ this::doB);
  }

  private StateMachine doB(Tasks tasks) {
    performB();
    return DONE;
  }
}

class M2 implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks) {
    performX();
    // Passes `this::doY` as the `runAfter` parameter of S, resulting in the
    // sequence < X, S, Y >.
    return new S(/* runAfter= */ this::doY);
  }

  private StateMachine doY(Tasks tasks) {
    performY();
    return DONE;
  }
}

Bu yaklaşım, alt görevleri kötüye kullanmaktan daha temizdir. Ancak bunu çok fazla kullanmak (ör. birden fazla StateMachine öğesini runAfter ile iç içe yerleştirmek) geri çağırma cehennemine yol açar. Sıralı durumları, sıradan sıralı durumlarla bölmek daha iyidir.runAfter

  return new S(/* runAfter= */ new T(/* runAfter= */ this::nextStep))

ile değiştirilebilir.

  private StateMachine step1(Tasks tasks) {
     doStep1();
     return new S(/* runAfter= */ this::intermediateStep);
  }

  private StateMachine intermediateStep(Tasks tasks) {
    return new T(/* runAfter= */ this::nextStep);
  }

Yasaklanmış alternatif: runAfterUnlessError

Daha önceki bir taslakta, hatalar erken aşamada tespit edildiğinde işlemi durduracak bir runAfterUnlessError üzerinde çalışmıştık. Bunun nedeni, hataların genellikle iki kez kontrol edilmesidir. Bir kez StateMachine referansı olan runAfter tarafından, bir kez de runAfter makinenin kendisi tarafından.

Biraz düşündükten sonra, kodun tekdüzeliğinin hata denetiminin yinelenmesini önlemekten daha önemli olduğuna karar verdik. runAfter mekanizması, her zaman hata kontrolü gerektiren runAfter mekanizmasıyla tutarlı bir şekilde çalışmazsa kafa karıştırıcı olur.tasks.enqueue

Doğrudan yetki verme

Her resmi durum geçişinde ana Driver döngüsü ilerler. Sözleşmeye göre, durumların ilerlemesi, bir sonraki durum yürütülmeden önce daha önce sıraya alınmış tüm SkyValue aramalarının ve alt görevlerin çözümlenmesi anlamına gelir. Bazen bir temsilcinin StateMachine mantığı, aşama ilerletmeyi gereksiz veya verimsiz hale getirir. Örneğin, temsilcinin ilk step'sı, temsilci durumunun aramalarıyla paralelleştirilebilecek SkyKey aramaları yapıyorsa aşama ilerlemesi bu aramaları sıralı hale getirir. Aşağıdaki örnekte gösterildiği gibi, doğrudan temsilci atama yapmak daha mantıklı olabilir.

class Parent implements StateMachine {
  @Override
  public StateMachine step(Tasks tasks ) {
    tasks.lookUp(new Key1(), this);
    // Directly delegates to `Delegate`.
    //
    // The (valid) alternative:
    //   return new Delegate(this::afterDelegation);
    // would cause `Delegate.step` to execute after `step` completes which would
    // cause lookups of `Key1` and `Key2` to be sequential instead of parallel.
    return new Delegate(this::afterDelegation).step(tasks);
  }

  private StateMachine afterDelegation(Tasks tasks) {
    …
  }
}

class Delegate implements StateMachine {
  private final StateMachine runAfter;

  Delegate(StateMachine runAfter) {
    this.runAfter = runAfter;
  }

  @Override
  public StateMachine step(Tasks tasks) {
    tasks.lookUp(new Key2(), this);
    return …;
  }

  // Rest of implementation.
  …

  private StateMachine complete(Tasks tasks) {
    …
    return runAfter;
  }
}

Veri akışı

Önceki tartışmanın odak noktası, kontrol akışını yönetmekti. Bu bölümde, veri değerlerinin yayılması açıklanmaktadır.

Tasks.lookUp geri aramalarını uygulama

Tasks.lookUp geri çağırmasının SkyValue aramalarında nasıl uygulanacağına dair bir örnek verilmiştir. Bu bölümde, gerekçe sunulmakta ve birden fazla SkyValue'nun nasıl ele alınacağıyla ilgili yaklaşımlar önerilmektedir.

Tasks.lookUp geri aramalar

Tasks.lookUp yöntemi, parametre olarak bir geri çağırma işlevi (sink) alır.

  void lookUp(SkyKey key, Consumer<SkyValue> sink);

Bu işlemi uygulamak için deyimsel yaklaşım olarak Java lambda'sı kullanabilirsiniz:

  tasks.lookUp(key, value -> myValue = (MyValueClass)value);

Burada myValue, arama işlemini yapan StateMachine örneğinin bir üye değişkenidir. Ancak lambda, Consumer<SkyValue> arayüzünün StateMachine uygulamasında uygulanmasına kıyasla ek bellek ayırması gerektirir. Lambda, birden fazla arama olduğunda ve bu aramalar belirsiz olduğunda da kullanışlıdır.

Tasks.lookUp'nın SkyFunction.Environment.getValueOrThrow'ye benzer hata işleme aşırı yüklemeleri de vardır.

  <E extends Exception> void lookUp(
      SkyKey key, Class<E> exceptionClass, ValueOrExceptionSink<E> sink);

  interface ValueOrExceptionSink<E extends Exception> {
    void acceptValueOrException(@Nullable SkyValue value, @Nullable E exception);
  }

Örnek bir uygulama aşağıda gösterilmektedir.

class PerformLookupWithError extends StateMachine, ValueOrExceptionSink<MyException> {
  private MyValue value;
  private MyException error;

  @Override
  public StateMachine step(Tasks tasks) {
    tasks.lookUp(new MyKey(), MyException.class, ValueOrExceptionSink<MyException>) this);
    return this::processResult;
  }

  @Override
  public acceptValueOrException(@Nullable SkyValue value, @Nullable MyException exception) {
    if (value != null) {
      this.value = (MyValue)value;
      return;
    }
    if (exception != null) {
      this.error = exception;
      return;
    }
    throw new IllegalArgumentException("Both parameters were unexpectedly null.");
  }

  private StateMachine processResult(Tasks tasks) {
    if (exception != null) {
      // Handles the error.
      …
      return DONE;
    }
    // Processes `value`, which is non-null.
    …
  }
}

Hata işleme olmadan yapılan aramalar gibi, geri çağırma işlevinin doğrudan StateMachine sınıfı tarafından uygulanması da lambda için bellek ayırmasını önler.

Hata işleme biraz daha ayrıntılı bilgi sağlar ancak temelde hataların ve normal değerlerin yayılması arasında pek bir fark yoktur.

Birden fazla SkyValue kullanma

Genellikle birden fazla SkyValue araması gerekir. Çoğu zaman işe yarayan bir yaklaşım, SkyValue türünü etkinleştirmektir. Aşağıda, prototip üretim kodundan basitleştirilmiş bir örnek verilmiştir.

  @Nullable
  private StateMachine fetchConfigurationAndPackage(Tasks tasks) {
    var configurationKey = configuredTarget.getConfigurationKey();
    if (configurationKey != null) {
      tasks.lookUp(configurationKey, (Consumer<SkyValue>) this);
    }

    var packageId = configuredTarget.getLabel().getPackageIdentifier();
    tasks.lookUp(PackageValue.key(packageId), (Consumer<SkyValue>) this);

    return this::constructResult;
  }

  @Override  // Implementation of `Consumer<SkyValue>`.
  public void accept(SkyValue value) {
    if (value instanceof BuildConfigurationValue) {
      this.configurationValue = (BuildConfigurationValue) value;
      return;
    }
    if (value instanceof PackageValue) {
      this.pkg = ((PackageValue) value).getPackage();
      return;
    }
    throw new IllegalArgumentException("unexpected value: " + value);
  }

Değer türleri farklı olduğundan Consumer<SkyValue> geri çağırma uygulaması net bir şekilde paylaşılabilir. Bu durum söz konusu olmadığında, lambda tabanlı uygulamalara veya uygun geri çağırmaları uygulayan tam iç sınıf örneklerine geri dönmek mümkündür.

StateMachinelar arasında değerleri yayma

Bu belge şu ana kadar yalnızca alt görevlerdeki çalışmaların nasıl düzenleneceğini açıklamıştır ancak alt görevlerin de arayan kişiye değerleri bildirmesi gerekir. Alt görevler mantıksal olarak eşzamansız olduğundan sonuçları, geri arama kullanılarak arayana geri iletilir. Bunun çalışması için alt görev, oluşturucusu aracılığıyla yerleştirilen bir alıcı arayüzü tanımlar.

class BarProducer implements StateMachine {
  // Callers of BarProducer implement the following interface to accept its
  // results. Exactly one of the two methods will be called by the time
  // BarProducer completes.
  interface ResultSink {
    void acceptBarValue(Bar value);
    void acceptBarError(BarException exception);
  }

  private final ResultSink sink;

  BarProducer(ResultSink sink) {
     this.sink = sink;
  }

  … // StateMachine steps that end with this::complete.

  private StateMachine complete(Tasks tasks) {
    if (hasError()) {
      sink.acceptBarError(getError());
      return DONE;
    }
    sink.acceptBarValue(getValue());
    return DONE;
  }
}

Arayan StateMachine daha sonra aşağıdaki gibi görünür.

class Caller implements StateMachine, BarProducer.ResultSink {
  interface ResultSink {
    void acceptCallerValue(Bar value);
    void acceptCallerError(BarException error);
  }

  private final ResultSink sink;

  private Bar value;

  Caller(ResultSink sink) {
    this.sink = sink;
  }

  @Override
  @Nullable
  public StateMachine step(Tasks tasks) {
    tasks.enqueue(new BarProducer((BarProducer.ResultSink) this));
    return this::processResult;
  }

  @Override
  public void acceptBarValue(Bar value) {
    this.value = value;
  }

  @Override
  public void acceptBarError(BarException error) {
    sink.acceptCallerError(error);
  }

  private StateMachine processResult(Tasks tasks) {
    // Since all enqueued subtasks resolve before `processResult` starts, one of
    // the `BarResultSink` callbacks must have been called by this point.
    if (value == null) {
      return DONE;  // There was a previously reported error.
    }
    var finalResult = computeResult(value);
    sink.acceptCallerValue(finalResult);
    return DONE;
  }
}

Önceki örnekte birkaç şey gösterilmektedir. Caller, sonuçlarını geri yaymalı ve kendi Caller.ResultSink değerini tanımlamalıdır. Caller, BarProducer.ResultSink geri çağırmalarını uygular. Devam ettirildiğinde, hata oluşup oluşmadığını belirlemek için processResult, value değerinin boş olup olmadığını kontrol eder. Bu, alt görevden veya SkyValue aramasından çıkış kabul edildikten sonra görülen yaygın bir davranış kalıbıdır.

acceptBarError işlevinin uygulanması, hata yayma tarafından gerekli olduğu şekilde sonucu Caller.ResultSink'ye hemen iletir.

Üst düzey StateMachine'lerin alternatifleri Driver'ler ve SkyFunctions'a geçiş bölümünde açıklanmıştır.

Hata işleme

Tasks.lookUp callbacks ve Propagating values between StateMachines dokümanlarında hata işlemeyle ilgili birkaç örnek verilmiştir. InterruptedException dışındaki istisnalar oluşturulmaz, bunun yerine geri çağırmalar aracılığıyla değer olarak iletilir. Bu tür geri çağırmalar genellikle özel-veya semantiğine sahiptir. Bu durumda, değer veya hata olmak üzere yalnızca biri iletilir.

Sonraki bölümde, Skyframe hata işleme ile ilgili ince ancak önemli bir etkileşim açıklanmaktadır.

Hata yayma (--nokeep_going)

Hata yayma sırasında, istenen tüm SkyValue'lar kullanılamıyor olsa bile bir SkyFunction yeniden başlatılabilir. Bu gibi durumlarda, Tasks API sözleşmesi nedeniyle sonraki duruma asla ulaşılamaz. Ancak StateMachine, istisnayı yine de yaymalıdır.

Yayma işlemi, sonraki duruma ulaşılıp ulaşılmadığına bakılmaksızın gerçekleşmesi gerektiğinden hata işleme geri çağırma işlevi bu görevi gerçekleştirmelidir. İçteki bir StateMachine için bu, üst geri çağırma işlevi çağrılarak gerçekleştirilir.

SkyFunction ile arayüz oluşturan üst düzeyde StateMachine, bu işlem ValueOrExceptionProducer öğesinin setException yöntemi çağrılarak yapılabilir. Bu durumda, SkyValue'lar eksik olsa bile ValueOrExceptionProducer.tryProduceValue istisna oluşturur.

Bir Driver doğrudan kullanılıyorsa makine işlemeyi tamamlamamış olsa bile SkyFunction'dan yayılan hataların olup olmadığını kontrol etmek önemlidir.

Etkinlik İşleme

Etkinlik yayınlaması gereken SkyFunctions için SkyKeyComputeState'e StoredEventHandler yerleştirilir ve bu işlevlere ihtiyaç duyan StateMachine'lere daha da yerleştirilir. Geçmişte, Skyframe'in belirli etkinlikleri yeniden oynatılmadıkları sürece bırakması nedeniyle StoredEventHandler gerekliydi ancak bu durum daha sonra düzeltildi. Hata işleme geri çağırmalarından yayınlanan etkinliklerin uygulanmasını basitleştirdiği için StoredEventHandler yerleştirme korunur.

Driver ve SkyFunctions'a köprü oluşturma

Bir Driver, belirtilen bir kök StateMachine ile başlayarak StateMachine'ların yürütülmesini yönetmekten sorumludur. StateMachine, alt görevleri StateMachine yinelemeli olarak sıraya alabileceğinden tek bir Driver çok sayıda alt görevi yönetebilir. Bu alt görevler, yapılandırılmış eşzamanlılık sonucunda bir ağaç yapısı oluşturur. Driver, verimliliği artırmak için alt görevlerdeki SkyValue aramalarını toplu olarak işler.

Aşağıdaki API ile Driver etrafında oluşturulmuş çeşitli sınıflar vardır.

public final class Driver {
  public Driver(StateMachine root);
  public boolean drive(SkyFunction.Environment env) throws InterruptedException;
}

Driver işlevi, parametre olarak tek bir kök StateMachine alır. Çağırma Driver.drive, StateMachine öğesini Skyframe yeniden başlatılmadan mümkün olduğunca çalıştırır. StateMachine tamamlandığında doğru, aksi takdirde yanlış değerini döndürür. Bu, tüm değerlerin kullanılamadığını gösterir.

Driver, StateMachine'nin eşzamanlı durumunu korur ve SkyKeyComputeState'ye yerleştirmek için uygundur.

Driver öğesini doğrudan oluşturma

StateMachine uygulamaları, sonuçlarını genellikle geri çağırmalar aracılığıyla iletir. Aşağıdaki örnekte gösterildiği gibi, Driver doğrudan oluşturulabilir.

Driver, SkyKeyComputeState uygulamasına, biraz daha aşağıda tanımlanacak olan ilgili ResultSink uygulamasının yanı sıra yerleştirilir. En üst düzeyde, State nesnesi Driver'den daha uzun süre dayanacağı garanti edildiğinden hesaplama sonucunu almak için uygundur.

class State implements SkyKeyComputeState, ResultProducer.ResultSink {
  // The `Driver` instance, containing the full tree of all `StateMachine`
  // states. Responsible for calling `StateMachine.step` implementations when
  // asynchronous values are available and performing batched SkyFrame lookups.
  //
  // Non-null while `result` is being computed.
  private Driver resultProducer;

  // Variable for storing the result of the `StateMachine`
  //
  // Will be non-null after the computation completes.
  //
  private ResultType result;

  // Implements `ResultProducer.ResultSink`.
  //
  // `ResultProducer` propagates its final value through a callback that is
  // implemented here.
  @Override
  public void acceptResult(ResultType result) {
    this.result = result;
  }
}

Aşağıdaki kod, ResultProducer simgesini çiziyor.

class ResultProducer implements StateMachine {
  interface ResultSink {
    void acceptResult(ResultType value);
  }

  private final Parameters parameters;
  private final ResultSink sink;

  … // Other internal state.

  ResultProducer(Parameters parameters, ResultSink sink) {
    this.parameters = parameters;
    this.sink = sink;
  }

  @Override
  public StateMachine step(Tasks tasks) {
    …  // Implementation.
    return this::complete;
  }

  private StateMachine complete(Tasks tasks) {
    sink.acceptResult(getResult());
    return DONE;
  }
}

Ardından, sonucu tembelce hesaplamaya yönelik kod aşağıdaki gibi görünebilir.

@Nullable
private Result computeResult(State state, Skyfunction.Environment env)
    throws InterruptedException {
  if (state.result != null) {
    return state.result;
  }
  if (state.resultProducer == null) {
    state.resultProducer = new Driver(new ResultProducer(
      new Parameters(), (ResultProducer.ResultSink)state));
  }
  if (state.resultProducer.drive(env)) {
    // Clears the `Driver` instance as it is no longer needed.
    state.resultProducer = null;
  }
  return state.result;
}

Yerleştirme Driver

StateMachine bir değer oluşturur ve istisna oluşturmazsa aşağıdaki örnekte gösterildiği gibi Driver öğesinin yerleştirilmesi de olası bir uygulamadır.

class ResultProducer implements StateMachine {
  private final Parameters parameters;
  private final Driver driver;

  private ResultType result;

  ResultProducer(Parameters parameters) {
    this.parameters = parameters;
    this.driver = new Driver(this);
  }

  @Nullable  // Null when a Skyframe restart is needed.
  public ResultType tryProduceValue( SkyFunction.Environment env)
      throws InterruptedException {
    if (!driver.drive(env)) {
      return null;
    }
    return result;
  }

  @Override
  public StateMachine step(Tasks tasks) {
    …  // Implementation.
}

SkyFunction, aşağıdaki gibi bir koda sahip olabilir (burada State, SkyKeyComputeState'nin işleve özgü türüdür).

@Nullable  // Null when a Skyframe restart is needed.
Result computeResult(SkyFunction.Environment env, State state)
    throws InterruptedException {
  if (state.result != null) {
    return state.result;
  }
  if (state.resultProducer == null) {
    state.resultProducer = new ResultProducer(new Parameters());
  }
  var result = state.resultProducer.tryProduceValue(env);
  if (result == null) {
    return null;
  }
  state.resultProducer = null;
  return state.result = result;
}

Driver öğesini StateMachine uygulamasına yerleştirmek, Skyframe'in eşzamanlı kodlama stiline daha uygundur.

İstisnalara neden olabilecek durum makineleri

Aksi takdirde, eşzamanlı SkyFunction koduyla eşleşecek eşzamanlı API'lere sahip SkyKeyComputeState-embeddable ValueOrExceptionProducer ve ValueOrException2Producer sınıfları vardır.

ValueOrExceptionProducer soyut sınıfı aşağıdaki yöntemleri içerir.

public abstract class ValueOrExceptionProducer<V, E extends Exception>
    implements StateMachine {
  @Nullable
  public final V tryProduceValue(Environment env)
      throws InterruptedException, E {
    …  // Implementation.
  }

  protected final void setValue(V value)  {  … // Implementation. }
  protected final void setException(E exception) {  … // Implementation. }
}

Yerleştirilmiş bir Driver örneği içerir ve Embedding sürücüsündeki ResultProducer sınıfına çok benzer. Ayrıca SkyFunction ile benzer şekilde arayüz oluşturur. ResultSink tanımlamak yerine, bu etkinliklerden biri gerçekleştiğinde uygulamalar setValue veya setException çağrısı yapar. Her ikisi de gerçekleştiğinde istisna öncelikli olur. tryProduceValue yöntemi, eşzamansız geri çağırma kodunu eşzamanlı koda bağlar ve biri ayarlandığında istisna oluşturur.

Daha önce belirtildiği gibi, hata yayma sırasında makine henüz tamamlanmamış olsa bile tüm girişler kullanılamadığından hata oluşabilir. Bunu karşılamak için tryProduceValue, makine tamamlanmadan önce bile ayarlanan tüm istisnaları atar.

Sonsöz: Geri aramaların kaldırılması

StateMachine, eşzamansız hesaplama yapmak için oldukça verimli ancak standart kod yoğun bir yöntemdir. Devamlılıklar (özellikle Runnables passed to ListenableFuture biçiminde) Bazel kodunun belirli bölümlerinde yaygın olsa da SkyFunctions analizinde yaygın değildir. Analiz çoğunlukla CPU ile sınırlıdır ve disk G/Ç için verimli eşzamansız API'ler yoktur. Sonuç olarak, geri çağırmalar öğrenme eğrisine sahip olduğundan ve okunabilirliği engellediğinden bunları optimize etmek iyi olacaktır.

En umut verici alternatiflerden biri Java sanal iş parçacıklarıdır. Geri çağırma işlevleri yazmak yerine her şey eşzamanlı ve engelleyici çağrılarla değiştirilir. Bunun nedeni, platform iş parçacığının aksine sanal iş parçacığı kaynağının bağlanmasının ucuz olmasıdır. Ancak sanal iş parçacıklarıyla bile basit senkron işlemleri iş parçacığı oluşturma ve senkronizasyon temel öğeleriyle değiştirmek çok maliyetlidir. StateMachine'dan Java sanal iş parçacıklarına geçiş yaptık ve bu iş parçacıkları çok daha yavaştı. Bu durum, uçtan uca analiz gecikmesinde neredeyse 3 kat artışa neden oldu. Sanal iş parçacıkları hâlâ önizleme aşamasında olan bir özellik olduğundan bu taşıma işlemi, performans iyileştiğinde daha sonraki bir tarihte gerçekleştirilebilir.

Dikkate alınması gereken bir diğer yaklaşım da Loom eş yordamlarının kullanıma sunulmasını beklemektir. Buradaki avantaj, işbirlikçi çoklu görev kullanılarak senkronizasyon ek yükünün azaltılabilmesidir.

Diğer tüm yöntemler başarısız olursa düşük seviyeli bayt kodu yeniden yazma da uygun bir alternatif olabilir. Yeterli optimizasyonla, elle yazılmış geri çağırma kodu performansına yaklaşmak mümkün olabilir.

Ek

Geri Arama Cehennemi (Callback Hell)

Geri çağırma cehennemi, geri çağırmaların kullanıldığı eşzamansız kodda kötü şöhretli bir sorundur. Bunun nedeni, sonraki adımın devamının önceki adımın içine yerleştirilmiş olmasıdır. Çok fazla adım varsa bu iç içe yerleştirme son derece derin olabilir. Kontrol akışıyla birleştirildiğinde kod yönetilemez hale gelir.

class CallbackHell implements StateMachine {
  @Override
  public StateMachine step(Tasks task) {
    doA();
    return (t, l) -> {
      doB();
      return (t1, l2) -> {
        doC();
        return DONE;
      };
    };
  }
}

İç içe yerleştirilmiş uygulamaların avantajlarından biri, dış adımın yığın çerçevesinin korunabilmesidir. Java'da yakalanan lambda değişkenleri etkili bir şekilde nihai olmalıdır. Bu nedenle, bu tür değişkenlerin kullanılması zahmetli olabilir. Aşağıda gösterildiği gibi, derin iç içe yerleştirme, lambda yerine devamlılık olarak yöntem referansları döndürülerek önlenir.

class CallbackHellAvoided implements StateMachine {
  @Override
  public StateMachine step(Tasks task) {
    doA();
    return this::step2;
  }

  private StateMachine step2(Tasks tasks) {
    doB();
    return this::step3;
  }

  private StateMachine step3(Tasks tasks) {
    doC();
    return DONE;
  }
}

runAfter yerleştirme kalıbı çok yoğun bir şekilde kullanıldığında da geri çağırma karmaşası oluşabilir. Ancak bu durum, yerleştirmeler arasına sıralı adımlar eklenerek önlenebilir.

Örnek: Zincirleme SkyValue aramaları

Uygulama mantığı genellikle SkyValue aramalarının bağımlı zincirlerini gerektirir. Örneğin, ikinci bir SkyKey, ilk SkyValue'ya bağlıysa. Bu durumu basitçe düşündüğümüzde, karmaşık ve derinlemesine iç içe yerleştirilmiş bir geri çağırma yapısı elde ederiz.

private ValueType1 value1;
private ValueType2 value2;

private StateMachine step1(...) {
  tasks.lookUp(key1, (Consumer<SkyValue>) this);  // key1 has type KeyType1.
  return this::step2;
}

@Override
public void accept(SkyValue value) {
  this.value1 = (ValueType1) value;
}

private StateMachine step2(...) {
  KeyType2 key2 = computeKey(value1);
  tasks.lookup(key2, this::acceptValueType2);
  return this::step3;
}

private void acceptValueType2(SkyValue value) {
  this.value2 = (ValueType2) value;
}

Ancak devamlılıklar yöntem referansları olarak belirtildiğinden kod, durum geçişlerinde prosedürel görünür: step2, step1'yi takip eder. Burada value2 değerini atamak için lambda kullanıldığını unutmayın. Bu sayede kodun sıralaması, hesaplamanın yukarıdan aşağıya doğru sıralamasıyla eşleşir.

Diğer İpuçları

Okunabilirlik: Yürütme Sırası

Okunabilirliği artırmak için StateMachine.step uygulamalarını yürütme sırasına göre ve geri çağırma uygulamalarını, kodda geçirildikleri yerden hemen sonra yerleştirmeye çalışın. Kontrol akışının dallandığı yerlerde bu her zaman mümkün olmayabilir. Bu gibi durumlarda ek yorumlar faydalı olabilir.

Örnek: Zincirleme SkyValue aramaları bölümünde, bunu sağlamak için ara yöntem referansı oluşturulur. Bu işlem, okunaklılık için küçük bir performans kaybına neden olur ancak bu durum burada muhtemelen kabul edilebilir.

Nesil Hipotezi

Orta ömürlü Java nesneleri, Java çöp toplayıcısının nesil hipotezini bozar. Bu hipotez, çok kısa süre yaşayan veya sonsuza kadar yaşayan nesneleri işlemek üzere tasarlanmıştır. SkyKeyComputeState içindeki nesneler tanım gereği bu hipotezi ihlal eder. Driver köklü, hâlâ çalışan tüm StateMachine'lerin oluşturulmuş ağacını içeren bu tür nesneler, eşzamansız hesaplamaların tamamlanmasını beklerken askıya alındıkları için orta düzeyde bir kullanım ömrüne sahiptir.

JDK19'da bu durum daha az kötü görünse de StateMachine kullanılırken, oluşturulan gerçek çöp miktarı önemli ölçüde azalsa bile GC süresinde artış gözlemlemek bazen mümkün olabiliyor. StateMachine'ların kullanım ömrü orta düzeyde olduğundan, eski nesil olarak tanıtılabilirler. Bu da eski neslin daha hızlı dolmasına ve temizlik için daha pahalı olan büyük veya tam GC'lerin kullanılmasını gerektirebilir.

İlk önlem, StateMachine değişkenlerinin kullanımını en aza indirmektir ancak bu her zaman mümkün olmayabilir. Örneğin, birden fazla durumda bir değere ihtiyaç duyulabilir. Mümkün olan durumlarda, yerel yığın step değişkenleri genç nesil değişkenleridir ve verimli bir şekilde GC'lenir.

StateMachine değişkenleri için işlemleri alt görevlere ayırmak ve değerleri StateMachine'ler arasında yaymak için önerilen kalıbı izlemek de faydalıdır. Bu kalıbı izlerken yalnızca alt StateMachine öğelerinin üst StateMachine öğelerine referans verdiğini, bunun tersinin geçerli olmadığını unutmayın. Bu nedenle, çocuklar sonuç geri aramalarını kullanarak ebeveynleri bilgilendirdikçe kapsam dışına çıkar ve GC için uygun hale gelir.

Son olarak, bazı durumlarda önceki durumlarda StateMachine değişkeni gerekirken sonraki durumlarda gerekmez. Büyük nesnelerin referanslarını, artık gerekli olmadıkları bilindiğinde boşaltmak faydalı olabilir.

Durumları adlandırma

Bir yöntemi adlandırırken genellikle bu yöntemde gerçekleşen davranış için bir ad vermek mümkündür. Yığın olmadığı için StateMachine'da bu işlemin nasıl yapılacağı daha az anlaşılır. Örneğin, foo yöntemi bar alt yöntemini çağırdığını varsayalım. StateMachine içinde bu, foo durum dizisine ve ardından bar durumuna çevrilebilir. foo artık bar davranışını içermiyor. Sonuç olarak, eyaletler için yöntem adları kapsam açısından daha dar olma eğilimindedir ve yerel davranışları yansıtma olasılığı vardır.

Eşzamanlılık ağaç şeması

Aşağıda, Yapılandırılmış eşzamanlılık bölümündeki diyagramın ağaç yapısını daha iyi gösteren alternatif bir görünümü verilmiştir. Bloklar küçük bir ağaç oluşturur.