StripedHyena：下一代生成人工智能的新架构？

GPT-4 模型和其他模型依赖于变压器。 研究人员将 StripedHyena 作为常用架构的替代架构。

AI 团队共同开发了一个拥有 70 亿个参数的家庭语言模型。 StripedHyena 是一个拥有 70 亿个参数的语言模型家族。

该版本包括基本模型 StripedHyena-Hessian-7B (SH 7B) 和聊天模型 StripedHyena-Nous-7B (SH-N 7B)。 这些模型的设计速度更快、内存效率更高，能够处理多达 128,000 个令牌的长上下文。 HazyResearch 和 hessian 的研究人员。 AI、Nous Research MILA、HuggingFace 和德国人工智能研究中心 DFKI 都参与其中。

来源和详细信息：
https://the-decoder.com/stripedhyena-a-new-architecture-for-next-generation-generative-ai/