PyTorchFSDP
从
零实现分布式训练的 PyTorch 教学项目:DP、FSDP、TP、FSDP+TP
与 PP 全覆盖
一个开源教学
仓库用原生 PyTorch 显式实现了五种主流分布式训练并
行策略,绕开高层框架封装,让通信
原语一览无余。
Apr 12·1 分钟
NVIDIAAITune
NVIDIA 开源 AITune:自动为 PyTorch 模型选择最快推理后端
NVIDIA 开源推理优化工具 AITune,可自动对多个推理后端进行基准测试,并为 PyTorch 模型选出最优配置,显著降低工程团队的手动调优成本。
Apr 12·1 分钟