注意力是认知人工智能的载体之一
小组成员:michael graziano、jonathan cohen、vasudev lal、joscha bach。
开创性的贡献,“Attention Is All You Need”(Vasvani 等人)。2017 年推出的 Transformer 算法引发了机器学习的一场革命。与从固定信号的邻域构造每个特征的卷积网络不同,Transformers 学习哪个 数据是神经网络中下一层的特征应该注意的。神经网络中的注意力不同于人脑中的综合注意力。我们头脑中的注意力似乎是自上而下机制的一部分,它主动创建一个综合的、动态的 模型。它在计划和解决问题以及推理和反思中也起着关键作用。看来我们的意识参与了维护我们注意力的控制模型。
该小组将讨论在机器学习和认知科学的背景下理解注意力的方法,以及人工智能的未来发展。
完整程序和参考资料:https://cognitive-ai-panel.webflow.io/panels/attention
来源和详细信息: