memory-optimization

MegaTrain：在单张 GPU 上全精度训练 100B+ 参数大语言模型

MegaTrain 是一个全新训练框架，声称可在单张 GPU 上以全精度训练 100B+ 参数的大语言模型，有望大幅降低大规模模型训练的门槛。