标签： AllReduce

随着模型参数量突破千亿级别，传统单卡训练模式已完全失效。大模型训练效率之争本质上是分布式计算范式的较量，其中数据并行（Data Parallelism）与流水线并行（Pipeline...