新的 LiGO 技术加速了大型机器学习模型的训练
来自 OpenAI 的 ChatGPT 具有许多令人难以置信的功能。 例如，它可以调试代码或编写类似于莎士比亚十四行诗的诗歌。 ChatGPT 的庞大机器学习引擎负责这些能力。 研究人员发现，当这些模型足够大时，它们可以拥有非凡的能力。
训练更大的模型需要更多的时间和资源。 为了训练模型，展示了数千亿个示例。 收集这么多信息的过程很复杂。 运行功能强大的计算机数周或数天以训练可能具有数十亿个参数的复杂模型也会产生环境和金钱成本。
据估计，像 ChatGPT 这样大小的训练模型仅一次训练就可能花费数百万美元。 我们能否提高这些方法的效率，从而在更短的时间内以更低的成本获得更好的模型？ Yoon Kim 是麻省理工学院电气工程与计算机科学系的助理教授，也是 CSAIL 成员。 他建议利用之前训练过的更小的语言模型。
来源和详细信息：
https://techxplore.com/news/2023-03-ligo-technique-large-machine-learning.html