应用介绍
研究团队发现,稀疏注意力模型始终优于密集注意力模型。这说明随着计算投入的增加,稀疏注意力是必不可少的,而且会越来越重要,只有这样才能实现测试时扩展的全部潜力。而与训练不同的是,准确性并未随着计算的增加而饱和,而是会通过增加生成量不断得到提高。
研究团队发现,稀疏注意力模型始终优于密集注意力模型。这说明随着计算投入的增加,稀疏注意力是必不可少的,而且会越来越重要,只有这样才能实现测试时扩展的全部潜力。而与训练不同的是,准确性并未随着计算的增加而饱和,而是会通过增加生成量不断得到提高。