Meta AI 正在共享 OPT-175B，这是第一个提供给更广泛的 AI 研究社区的 1750 亿参数语言模型
在过去几年中，大型语言模型——具有超过 1000 亿个参数的自然语言处理系统——改变了 NLP 和 AI。 他们展示了解决数学问题、回答阅读理解问题和生成创意文本的新能力。 在某些情况下，公众可以通过付费的 API 与这些模型进行交互。 然而，出于研究目的的完全访问权限仅适用于少数拥有大量资源的实验室。 访问受限阻碍了研究人员了解大型语言模型如何以及为何起作用，从而阻碍了提高稳健性和减轻偏见和毒性等问题的努力取得进展。
为了支持 Meta AI 的开放科学承诺，我们分享了 Open Pretrained Transformer，这是一种具有 1750 亿个参数的语言模型，使用公开数据进行训练。 这将使社区更好地了解这项新的基础技术。 该版本是第一个包含预训练模型以及训练和使用模型所需代码的语言技术系统。 我们以非商业许可发布我们的模型，以专注于研究用例。 这将保持模型的完整性并防止误用。 学术研究人员、与政府、民间社会和学术组织相关的人员，以及来自全球各地的行业研究实验室，都可以使用该模型。
我们认为，整个人工智能社区，包括学术研究人员、民间社会、政策制定者和行业，必须共同努力，为负责任的人工智能制定指导方针，特别是大型语言模型，因为它们在许多下游应用中很重要 . 为了进行可重复的研究，并共同推动该领域向前发展，AI 社区的更大一部分需要这些模型。 我们希望 OPT-175B 的发布以及更小的基线将增加在定义此类技术的伦理考虑方面的声音多样性。
来源和详细信息：
https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/?__cft__[0]=AZVRuOwgGU496nOLx34_0-WwNBtrkWjmfkC2ckTR-BKZawDo1Z6URgOqbaZP5mxDfBZDFBTOrdEeb8UUEIrWOH-fYuEWnip-wou5lTxEoMTOzy0dgWcnQ0BQ2nW8i-r6tHeMdjv-QtudLvyAmeAb4HShNv0ze0RpIIC5uppTsJkF6-YKBUa204sZJ12Bum3ES9Y&__tn__=H-R