深度语言模型越来越好

近年来，深度学习在文本生成、翻译和补全等领域取得了长足的进步。 这些进步是通过经过训练可以根据上下文预测单词的算法实现的。 深度语言模型需要帮助来执行长篇故事的生成和总结、连贯的对话或信息检索等任务，即使它们可以访问大量的训练数据。 这些模型需要帮助来捕获句法和语义属性。 他们的语言理解也需要是肤浅的。 预测编码理论指出，人脑在皮层层次结构的多个层次和时间尺度上做出预测。 预测表示的性质及其时间范围在很大程度上仍然未知。 研究人员分析了 304 名听短篇小说的人的大脑信号。 他们发现，向深度语言模型添加多层次和远程预测可以改善大脑映射。

这项研究表明，语言预测是在大脑皮层内以分层方式组织的。 这些发现符合预测编码假说，该假说指出大脑可以在多个层次和不同的时间尺度上做出预测。 这些想法可以被纳入深度语言模型，以弥合深度学习算法和人类语言处理之间的差距。

本研究检验了预测编码理论中的特定假设。 它研究了皮层层次结构是否预测了跨越不同时间尺度的多个表示级别，超出了通常由深度语言算法学习的邻域和词级预测。 将 304 名故事听众的大脑活动与现代深度语言模型进行了比较。 深度语言算法的激活与高级和远程预测相结合被发现最能描述大脑活动。

来源和详细信息：
https://www.marktechpost.com/2023/03/09/deep-language-models-are-getting-increasingly-better-by-learning-to-predict-the-next-word-from-its-context-is-this-really-what-the-human-brain-does/