自注意力机制

Transformer是一种在自然语言处理以及更广泛的序列建模任务中被广泛采用的深度学习架构，由Vaswani

在人工智能的发展历程中，Transformer 架构的出现具有里程碑意义。2017 年谷歌团队提出这一模型后，迅速改变了自然语言处理乃至整个 AI 领域的技术格局。