分布式训练

从 零实现分布式训练的 PyTorch 教学项目：DP、FSDP、TP、FSDP+TP 与 PP 全覆盖

一个开源教学 仓库用原生 PyTorch 显式实现了五种主流分布式训练并 行策略，绕开高层框架封装，让通信 原语一览无余。