简介：注意力机制(Attention Mechanism)是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。注意力机制包括：自注意力机制、多头注意力机制、软注意力机制、硬注意力机制等。
基本原理：注意力模块内部分为两个子模块:（1）注意力得分计算模块；（2）注意力聚焦模块。注意，注意力模块内部结构，是我为了降低理解模型的难度，特意虚构的(同行们一般把注意力模块看做一个整体来介绍)。注意力得分计算模块，会基于解码器神经元的历史输出和编码器各个神经元的输出，计算出编码器各个时间步的输出，与解码器当前输出的“相关度”，也叫做注意力得分。
主要应用：自然语言处理
相关案例：