Ray
UCバークレーのRISELabが2017年に公開した、主に機械学習向けのPython分散コンピューティング基盤。商用版はAnyscale。
中核は@ray.remoteデコレーターで、関数やクラスを分散実行できるようにする。状態を持つアクター型と、状態を持たないタスク型がある。上に載るライブラリとして、Ray Tune(ハイパーパラメータ探索)、Ray Serve(モデル配信)、Ray Train(分散学習)、Ray RLlib(強化学習)がある。
OpenAIのChatGPT学習やCohere、多くのLLMスタートアップが利用している。得意なのは、SparkやDaskで作り直さずに既存のPythonコードをクラスタに広げる場面だ。