liguodongiot--llm-action/docs/llm-base/distribution-parallelism/tensor-parallel

Megatron-LM 的张量并行，通信量很大，同时，计算和通信没办法同时进行。

需要特别考虑的是：由于前向和后向传播中每层都有两个 all reduce，因此 TP 需要设备间有非常快速的互联。因此，除非你有一个非常快的网络，否则不建议跨多个节点进行 TP。