应用介绍
Tuddenham 等人（2022）提出了一种优化神经网络的方法：通过奇异值分解（SVD）对梯度进行正交化，对其结果应用动量，再将动量项作为更新。他们将该优化器命名为正交 - SGDM（Orthogonal-SGDM）。这与 Muon 类似，但区别在于：
Tuddenham 等人（2022）提出了一种优化神经网络的方法：通过奇异值分解（SVD）对梯度进行正交化，对其结果应用动量，再将动量项作为更新。他们将该优化器命名为正交 - SGDM（Orthogonal-SGDM）。这与 Muon 类似，但区别在于：
