Why attention is all you need?

发表于

Why attention is all you need?

可以先参考Self-atteentio&Transformer对算法有一个大概的了解。

依赖——从时序神经网络说起

在transformer以前，解决序列问题大多采用时序神经网络的方法，在RNN统治的阶段有许多为了解决“遗忘”问题而提出的结构，如LSTM、GRU等。这些结构的提出大多建立在时序相关性的思维基础上，即越邻近的时间单元互相之间的影响更大，不相关的信息便在时序传播的过程中不断衰减，直至不再产生影响。然而，“越邻近越相关”的思想似乎在时序数据的也并非如此绝对，例如我们总会在某一个时刻想起很久以前的记忆，当你读到这里的时候也应该记得本文的中心是讨论transformer与attention，虽然这两个词只在本段的开头和题目中提起过。因此，我们需要抛弃时间线性流逝的固有思想，转而寻求一种能够对远距离单元建立关系的方法。Transformer则刚好满足我们对于建立长期依赖的需求。

Attention-思想从何而来？

Transformer最核心的机制不外乎Attention，即将输入变量X转化为Q(query)、K(key)、V(value)，然后通过Q·K来作为V的权重，越相关的单元Q·K的值便越大，信息保存率也越高。有一种解释说，Attention中的Query，Key，Value的概念源于信息检索系统。举个简单的例子，当你在淘宝搜索某件商品时，你在搜索栏中输入的信息为Query，然后系统根据Query为你匹配Key，根据Query和Key的相似度得到匹配内容。以搜索“游戏机”举例：

  • Query(to match others)：输入信息，具有引导作用，包含我们需要哪些信息这个想法（我在搜索栏中输入：游戏机，我希望系统返回一些相似的商品给我）
  • Key(to be matched)：内容信息，表示其他待匹配的商品（当系统收到游戏机这样的信息后，去匹配数据库中的所有商品。switch可表示为“掌上游戏机”，ps5可表示为“家庭游戏机”，iphone可表示为“便携电话”，利用embedding将上述关键词转化为数字就成为了信息检索中的key）
  • Attention(Q, K)：表示Query和Key的匹配程度（系统中商品（Key）很多，其中符合我的描述（Query）的商品的匹配程度会高一点）
  • Value(information to be extracted)：信息本身，V只是单纯表达了输入特征的信息

为什么简单的信息检索思想能够解决时序数据中的长期依赖问题？ChatGPT这样回答：

The statement "Attention is all you need" refers to the concept behind the Transformer model, a neural network architecture that has proven highly successful in natural language processing tasks.

Traditionally, recurrent neural networks (RNNs) were used to process sequential data like text, but they suffer from limitations such as difficulties in parallelization and capturing long-range dependencies. The Transformer model introduced the concept of self-attention mechanism to overcome these limitations.

Self-attention allows the model to weigh the importance of different words or tokens in a sequence by calculating attention scores. It does this by computing the affinity between each word and every other word in the sequence. The attention scores determine how much attention the model should allocate to each word when processing the sequence.

The key insight is that by using attention, the model can directly focus on relevant parts of the input sequence while suppressing irrelevant parts. This attention mechanism enables the model to capture long-range dependencies without relying on recurrent connections.

The "attention is all you need" statement emphasizes that by using attention mechanisms effectively, the Transformer model can achieve state-of-the-art performance in various natural language processing tasks, such as machine translation, text summarization, and language understanding. The model doesn't rely on complex recurrent connections or specialized architectures but rather harnesses the power of attention to process and understand sequential data effectively.

“通过使用注意力，模型可以直接关注输入序列的相关部分，而抑制不相关的部分。这种注意机制使模型能够捕捉到长距离的依赖关系，而不需要依赖递归连接。” Transformer的attention结构捕捉了远距离的依赖关系，而依据位置的embedding结构则认为越邻近的元素相关性更大，这一想法与地理学第一定律的思想不谋而合，即万物都是相关的，但是越邻近的事务越相关。这启发了我们对于地理学的思考，不应当仅仅把空间当作容器，更应当将其视作看待世界的一种方式。空间充斥着我们周围，并潜移默化地影响着我们思考问题的方式，我们对于问题的组织（如知识图谱、思维导图）也在潜意识中形式化为了空间的形式，深入思考空间的结构，有可能是突破智能的下一个缺口。

Transformer与地理学第三定律的联系

当我们进一步探讨Transformer模型和地理学第三定律之间的相似性时，可以注意到它们都涉及到距离要素的嵌入（embedding）和远距离依赖的概念。

在Transformer模型中，距离要素的嵌入是通过将位置信息编码到输入序列中来实现的。这样，模型可以在处理输入时考虑到不同位置之间的距离和关系。这种嵌入方式使得模型能够更好地理解序列中远距离位置的上下文，并在生成输出时综合考虑远距离依赖的影响。

类似地，地理学第三定律强调了距离在地理空间上的重要性。虽然远距离的地理位置可能在空间上相隔很远，但它们之间仍存在相互影响和相关性。在地理学的研究中，通过距离要素的嵌入，例如地理距离、交通连接等，我们可以量化和考虑远距离位置之间的相互作用。这种嵌入方式使得我们能够更全面地理解地理现象和过程，以及其在空间上的分布和变化。

因此，Transformer模型和地理学第三定律都认识到距离要素的重要性，并通过嵌入这些要素来处理远距离依赖。Transformer模型通过位置嵌入来捕捉输入序列中的远距离上下文信息，而地理学第三定律通过距离要素的嵌入来揭示地理现象和过程之间的远距离相关性。这种相似性进一步突出了它们之间的一致性思考方式。因此，地理学第三定律对人工智能的发展提供了一些启示，特别是在处理跨空间和跨领域的数据时。

  1. 考虑远距离依赖：地理学第三定律强调了远距离地理位置之间的相关性，这一概念可以激发人工智能领域对于远距离依赖关系的关注。在机器学习和深度学习中，传统的模型可能更关注局部信息，而对远距离的关联性了解较少。受到地理学第三定律的启发，我们可以设计更加综合考虑远距离依赖的模型，以更全面地理解和处理数据。

  2. 融合多领域数据：地理学第三定律提醒我们地理现象的解释需要考虑不同领域的数据，例如地理位置、环境条件、人口分布等。这种综合多领域数据的思想也可以应用于人工智能领域。通过整合来自不同领域的数据，可以获得更全面的信息，促进更准确的模型训练和决策制定。

  3. 跨空间数据处理：地理学第三定律提醒我们即使在空间上相隔较远的地理位置之间也存在相关性。这种思想可以启发人工智能领域在跨空间数据处理方面的发展。例如，在传感器网络、物联网等领域，不同地理位置的数据可以相互影响和交互，通过利用这种相关性，可以更好地理解和预测跨地理区域的事件和趋势。

  4. 空间推理和预测：地理学第三定律的观点可以促进人工智能在空间推理和预测方面的发展。通过考虑地理位置之间的远距离依赖关系，我们可以更好地预测和模拟地理现象的演化过程。这对于城市规划、交通管理、灾害预警等应用具有重要意义。

总的来说，地理学第三定律启示人工智能领域的发展，提醒我们关注跨空间和跨领域的数据相关性，融合多领域数据，处理跨空间数据，以及进行空间推理和预测。这些思想有助于构建更全面、准确和智能的人工智能系统，使其更好地理解和应对复杂的现实世界问题。