大規模GPUクラスターにおけるインパクト駆動型スケジューリングの設計と実装

AI2が導入したGPUクラスター向け新スケジューラーの技術詳細。時間予算と階層型フェアシェアによる効率化。

#GPU #Infrastructure #Scheduling #LLM #DistributedTraining

HAPMoE proposes an automatic parallelism planner that handles both mixture-of-experts architectures and heterogeneous compute clusters for distributed training. It aims to derive efficient parallelism…

#MoE #DistributedTraining #AutoParallelism #AIResearch
https://arxiv.org/abs/2609.39350