空间认知的层次指的是人们理解和处理空间信息的不同阶段和方式。这通常包括以下几个层次：
感知层次：在这一层次上，人们直接感知周围的空间环境。这包括对大小、形状、距离和方向等基本空间特征的感知。
描述层次：在这一层次上，人们开始用语言或其他符号系统来描述他们对空间的感知。例如，通过描述物体的位置或方向。
概念层次：这一层次涉及到对空间信息的更高级的理解和组织。例如，人们可能会形成关于空间关系的抽象概念，如“上”和“下”、“前”和“后”等。
推理层次：在这个层次上，人们使用他们对空间的理解来进行推理和解决问题。例如，规划从一个地方到另一个地方的最短路径。
应用层次：最高层次的空间认知涉及将空间理解应用于复杂的任务和决策中，如建筑设计、城市规划或导航。
自注意力机制和地图之间的关系可以通过抽象的角度来理解。让我们深入探讨自注意力如何处理序列元素，并将其与地图的功能进行比较：
总之，自注意力机制处理序列中的元素的方式与地图连接不同地点的方式在某种程度上是相似的。都涉及到考虑上下文、权重或连接的重要性，以及局部与全局的关系。这种类比可以帮助我们从直观的角度理解自注意力机制的工作原理。
变分推断（Variational Inference）是一种概率图模型推断方法，用于估计复杂概率分布的后验分布。它的目标是通过一个简单的参数化分布（通常称为变分分布或近似分布）来近似表示复杂的后验分布，从而使推断问题变得更加可行。
在概率图模型中，我们通常希望找到给定一些观察数据的情况下，未观察到的随机变量的后验分布。这个后验分布通常是难以直接计算的，特别是对于高维复杂模型。变分推断的基本思想是将后验推断问题转化为一个优化问题，其中我们试图找到一个变分分布，使其在某种度量下最接近真实的后验分布。
由于个体的空间偏好、所处的地理环境以及社会经济环境的不同，认知地图中对于物体位置的感知与实际空间存在差异，这一差异被称作空间扭曲，其中对于距离的认知是导致空间扭曲的重要因素(Montello, 1997)。Tobler(1970)的地理学第一定律指出："万物都是空间相关的，距离邻近的事物空间相关性更大"，这里的距离往往指地理距离。然而在人们的日常空间行为决策中，扭曲的认知距离往往发挥着更加重要的作用，因此在预测人们的空间行为时，如消费者的商店选择和路径选择行为的模型中，使用认知距离会得到更加合理的结果(Manley et al., 2021)。
LLM（Language Model）是一种基于机器学习的语言模型，可以用于生成自然语言文本。以下是LLM发展的简要过程：
经典语言模型：早期的语言模型主要基于统计方法，如n-gram模型。这些模型利用统计概率来预测一个单词或短语在给定上下文中出现的可能性。这些模型在短语和句子的生成方面存在限制，无法处理复杂的语言结构和上下文依赖关系。
神经网络语言模型：随着深度学习的兴起，神经网络语言模型逐渐流行起来。其中，循环神经网络（RNN）和长短期记忆网络（LSTM）被广泛应用于语言建模任务。这些模型能够捕捉到长距离的上下文信息，并在一定程度上解决了传统语言模型的问题。
GPT的出现：GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的语言模型，由OpenAI提出。GPT采用了无监督的预训练方法，通过在大规模文本语料上进行训练，使模型学习到丰富的语言知识和上下文关系。GPT模型的参数规模庞大，使得它具备了出色的语言生成能力，可以生成连贯、有逻辑的文本。
GPT-3的突破：GPT-3是目前最先进的LLM之一。它具有1750亿个参数，是迄今为止规模最大的语言模型之一。GPT-3不仅可以生成高质量的文本，还可以执行一些简单的任务，如翻译、摘要等。它通过上下文理解和创造性的生成，展示了令人惊讶的表现能力。
模型应用的广泛性：LLM的应用领域越来越广泛。它可以用于自动化写作、机器翻译、智能客服、语言理解和生成等任务。LLM的发展也带动了聊天机器人、虚拟助手和智能对话系统的发展，为人们提供了更自然、智能的交流体验。
LLM的发展经历了从统计模型到神经网络模型的转变，从传统模型到GPT这样的大规模预训练模型的演进。LLM的进步在很大程度上推动了自然语言处理领域的发展，并在各个领域展示了巨大的潜力和应用前景。
可以先参考Self-atteentio&Transformer对算法有一个大概的了解。
在transformer以前，解决序列问题大多采用时序神经网络的方法，在RNN统治的阶段有许多为了解决“遗忘”问题而提出的结构，如LSTM、GRU等。这些结构的提出大多建立在时序相关性的思维基础上，即越邻近的时间单元互相之间的影响更大，不相关的信息便在时序传播的过程中不断衰减，直至不再产生影响。然而，“越邻近越相关”的思想似乎在时序数据的也并非如此绝对，例如我们总会在某一个时刻想起很久以前的记忆，当你读到这里的时候也应该记得本文的中心是讨论transformer与attention，虽然这两个词只在本段的开头和题目中提起过。因此，我们需要抛弃时间线性流逝的固有思想，转而寻求一种能够对远距离单元建立关系的方法。Transformer则刚好满足我们对于建立长期依赖的需求。
空间记忆是动物赖以生存的必备认知功能，这一功能的实现和大脑中的海马体密切相关。从1948年起，Tolman就提出动物通过构建"认知地图"来理解环境。近年来，随着对空间记忆研究的深入，人们不禁思考，我们在概念空间、语言空间或关系空间中是否也共享与空间记忆类似或相同的神经机制？
人和其他动物总是能够从稀疏的观察中得出推论，并迅速整合新知识来控制其行为，这些表现与海马体-内嗅皮层系统密不可分。研究表明，空间和关系记忆可能通过共同的机制相关联，但截至目前，尚不清楚这种机制是否存在以及这种机制如何解释多种类型的空间神经元类型。因此，将空间记忆和关系记忆问题重新作为结构抽象和结构泛化的示例以解释海马体的一系列属性显得尤为重要。
TEM将划分为两个因素，一个是图结构，另一个是感官观察。如果知道关系结构，就可以知道在哪里，即使走的是以前没有经历过的路径--这是一种路径整合的形式，但却是针对任意图形的。不过，知道在哪里还不足以成功预测--你还需要记住所看到的东西和看到的地方。这种关系记忆将感官观察与关系结构中的位置结合起来。有了这两个组成部分，感觉预测就变得容易了--路径整合告诉你在哪里，关系记忆告诉你那里有什么。TEM将认知分为感官表征-关系结构两大部分，认为不同的空间/关系中隐藏着一种跨环境保存的结构表征。TEM作为一种关系记忆模型，能够囊括空间和非空间的结构知识。
人是如何接受信息、存储知识并对相应的场景做出反映，一直以来都是认知心理学的研究重点。赫伯特·西蒙在《认知：人行为背后的思维》一书中详细讨论了人类认知的产生与形成过程，为我们了解大脑认知的层次结构描绘了一幅清晰的画卷。总的来说，本书主要讨论了以下几个问题：
学习、存储和解释环境的结构是智能体的固有特征，是生物体指导行为、适应生存和实现进化的必要条件。近几十年来，随着神经科学实验数据和计算方法的不断积累和发展，研究者们从细胞层面、环路层面、脑区层面上提出了卷帙浩繁的理论和计算模型，试图解释生物对环境的感知和对时间、空间和行为的联合组织机制，构建生物大脑的"认知地图"（cognitive map）。然而，这些模型之间的联系和区别还没有得到足够深入的分析讨论，缺乏清晰的发展脉络和（可能存在的）统一框架，以至于显得零碎甚至杂乱。此外，有新近实验证据表明，大脑对抽象知识编码的方式与其表示空间位置的方式具有相同的基底，这暗示了一种更普遍的认知理论框架的存在。这篇综述的目的在于对认知地图的发展历史进行梳理，揭示现有模型共有的相似核心理念。
几乎所有的动物，都会有出行的需求，并且可以在出行中持续跟踪自身的位置，不至于迷失于路途。动物的大脑是否进化出通用的策略去导航呢？答案是肯定的。出行中，输入动物大脑的信息分两类：外界信息和自身运动信息。相应地，导航策略也分为两类。
依赖于外界信息的导航策略称为Allothetic Navigation，可直译为异源导航。顾名思义，异源导航所需的信息来自于动物身体之外，例如地标、声音、气味。这些异源的感觉信息被动物的感觉器官拾取，并被大脑整合，大脑借此估计自身的位置。
依赖于自身运动信息的导航策略称为Idiothetic Navigation。Idiothetic源于希腊语，表面意思为"自我主张"。目前这种导航方式并没有通用的中文名字，我们暂且称之为自源导航。黑暗中，当外界视觉信息不可得时，动物更多地利用自身运动产生的信息来导航。