标签：系统工程
-
数据并行、张量并行、流水并行的划分逻辑：三种并行各自的通信量账本单卡显存放不下大模型时，有三种切法：数据并行切 batch、张量并行切矩阵、流水并行切层。选择的依据不是直觉，而是一本通信量与显存的账——张量并行每层两次 all-reduce 但通信快，数据并行每步一次 all-reduce 数据量大，流水并行通信最少却有气泡。这篇用一个具体模型把三种并行的账算清楚，说明 3D 并行怎么组合排布。
单卡显存放不下大模型时，有三种切法：数据并行切 batch、张量并行切矩阵、流水并行切层。选择的依据不是直觉，而是一本通信量与显存的账——张量并行每层两次 all-reduce 但通信快，数据并行每步一次 all-reduce 数据量大，流水并行通信最少却有气泡。这篇用一个具体模型把三种并行的账算清楚，说明 3D 并行怎么组合排布。