AI21 Labs 提出了一种名为“In-Context RALM”的新方法，可以将现成的外部知识源添加到现有的语言模型中
语言建模研究的最新进展导致机器生成的文本扩展到以前未开发的领域。 LM 生成的文本经常充斥着不一致或事实错误，这一事实仍然是一个主要问题。 在任何 LM 生成方案中都可能出现此问题。 然而，当 LM 需要在不寻常的域中生成文本或使用最新信息时，问题就变得更大了。
这个问题可以通过检索 – 增强语言建模方法（RALM）来解决，该方法在生成过程中显示来自基础数据库的 LM 相关文档。 当前的 RALM 策略侧重于更改 LM 结构以包含外部数据。 这种方法可能非常复杂。 AI21 Labs（一个开发人工智能系统的组织）制定了解决这个问题的策略。 它被称为上下文检索 – 增强语言建模，它允许用外部信息补充现有的语言模型。 这些文件被输入到语言模型中，这不会影响底层的 LM 结构。 该团队在题为“上下文检索增强语言模型”的论文中发表了其发现。
AI21 Labs 在同一出版物中宣布了 Wordtune Spices。 这是他们的 Wordtune 文本编辑器的附加组件。 Wordtune Spices 帮助作者快速生成文本和创作内容，从而加速学术论文和创意文档的创作。 Spices 的原理基于关联 RALM 方法。 Spices 用户有 12 个提示选项，其中包括解释和定义。 他们也可以选择笑话。 用户可以选择最适合他们情况的提示，并获得一系列句子来帮助他们支持他们的论点并提供更多细节。
来源和详细信息：