应用介绍
对于当前的 NanoGPT 速通记录，模型维度为 m=768，每批次的 token 数量为 B=524288。因此，开销为 5∗768/524288=0.7%。对于 Llama 405B 训练，模型维度为 m=16384，每批次的 token 数量为 B=16000000（Dubey et al. 2024）。因此，使用 Muon 进行此训练的开销为 5∗16384/16000000=0.5%。
对于当前的 NanoGPT 速通记录，模型维度为 m=768，每批次的 token 数量为 B=524288。因此，开销为 5∗768/524288=0.7%。对于 Llama 405B 训练，模型维度为 m=16384，每批次的 token 数量为 B=16000000（Dubey et al. 2024）。因此，使用 Muon 进行此训练的开销为 5∗16384/16000000=0.5%。
