CCF LMCC · CCF LMCC 青少年组第一轮认证 例题 第 3 题

Transformer 架构中，使大语言模型能够有效处理长距离依赖关系的关键组件是：

这题考的是Transformer架构里哪个部件负责长距离依赖。拿到题先排除那些只管局部或辅助训练的选项，直接锁定自注意力机制，因为它是唯一能动态计算任意两个词之间关联的核心组件。

很多学生会把前馈神经网络或残差连接当成主角，其实前馈只是简单的线性变换加激活，残差只是帮梯度更好流动，它们都做不到跨层跨距离的关联。还有人会纠结于层归一化，觉得它很重要，但它只是标准化数据分布，跟依赖关系无关。最典型的坑是混淆了‘处理长序列’和‘捕捉长距离依赖’，前者靠架构深度，后者必须靠注意力机制的显式计算。

这道题考查的是Transformer架构中处理长距离依赖的核心机制。在Transformer里，前馈神经网络（FFN）只是对每个位置独立做非线性变换，完全无法感知序列中其他位置的词；层归一化（LayerNorm）是为了稳定训练过程中的数值分布，跟语义关联无关；残差连接（Residual Connection）的作用是缓解梯度消失，让深层网络能训得稳，但它本身也不携带任何关于‘词A和词B有什么关系’的信息。

命题人特意在这里挖坑，就是看学生是否真正理解‘长距离依赖’在NLP中的含义——比如一句话里的主语和结尾的谓语、或者一篇长文档中首尾的呼应。要解决这种问题，模型必须能够显式地计算任意两个词之间的关联强度，不管它们相距多远。这正是自注意力机制（Self-Attention）的本职工作。

拿到题怎么想？先回忆Transformer的基本流程：输入经过Embedding和位置编码，然后进入多层Transformer块。每一层里，Query、Key、Value都来自同一个输入序列，通过不同的线性变换得到。自注意力通过计算Query和Key的点积，再经过Softmax归一化，最后加权求和得到新的表示。这个过程中，距离远的词只要语义相关，Attention分数就会高，模型就能把它们‘拉近’处理。

具体推导一下：假设输入是‘The cat sat on the mat’，‘cat’和‘mat’相距较远，但在语义上紧密相关。自注意力机制会计算‘cat’的Query与‘mat’的Key的点积，得到一个较高的权重，从而让‘cat’的表示中融入‘mat’的信息。这种动态的、基于语义的关联计算，是其他组件完全做不到的。

避坑指南：千万别被选项A、B、D迷惑，它们都是Transformer不可或缺的部分，但都不是解决长距离依赖的‘主角’。只有C选项自注意力机制，才是真正让大语言模型能理解长上下文的关键。

从考频趋势看，Transformer及其核心组件在近年来的计算机等级考试（如NCRE二级Python、三级数据库等）中属于高频考点，自注意力机制更是反复出现的必考知识点。未来这类题目可能会结合具体场景，比如给出一个长文本片段，问模型如何捕捉其中的关键信息，或者对比不同注意力变体（如稀疏注意力、线性注意力）在处理长序列时的优劣。暂无足够依据预测更具体的变体形式，但核心考点——自注意力机制的作用——大概率会持续出现。