我们能否更有效地训练大规模神经网络？ ReLoRA 是人工智能训练领域的游戏规则改变者

在机器学习中，训练规模和参数不断增加的网络。 训练这样的网络成本高昂。 该方法的成功还不够。 我们需要理解为什么需要具有过多参数的模型。 与这些模型的训练相关的成本呈指数级增长。

马萨诸塞大学洛厄尔分校、EleutherAI 以及亚马逊的研究人员开发了一种名为 ReLoRA 的技术。 该方法使用低等级更新来训练高等级网络。 ReLoRA 提供与传统神经网络训练类似的性能。

有一些缩放法则支持神经网络的过度参数化及其资源密集型性质。 彩票假说提供了关于如何最小化过度参数化的另一种观点。 LoRA 和 Compacter 是低阶微调方法，是为了克服矩阵分解技术的局限性而开发的。

来源和详细信息：
https://www.marktechpost.com/2023/12/21/can-we-train-massive-neural-networks-more-efficiently-meet-relora-the-game-changer-in-ai-training/