CCF LMCC · CCF LMCC 青少年组第一轮认证 例题 第 14 题

在 Transformer 的自注意力机制中，关于 Query、Key 和 Value 的来源，以下哪一项描述是最准确的？

这题其实就考 Transformer 最核心的那一步：不管你是编码器还是解码器，自注意力机制里的 Q、K、V 从来都不是凭空变出来的，它们都是同一个输入向量分别乘上三组不同的权重矩阵投影出来的。只要抓住‘同一输入、三个线性变换’这个点，其他选项那种‘完全随机’或者‘混用编码器解码器’的说法一听就假。

学生最容易把注意力机制和后面说的‘掩码语言模型’或者‘指令微调’搞混，以为 Q、K、V 是模型参数或者训练数据直接给的。还有很多人会死记硬背‘编码器用双向、解码器用单向’，结果把解码器的输入当成 Q、把编码器输出当成 K、V，完全忘了自注意力内部就是靠三个矩阵把当前 token 投影成 Q、K、V 再去算分数的。

这道题考查的是 Transformer 自注意力机制中 Query、Key 和 Value 的来源，属于大语言模型基础架构的核心概念。命题人喜欢挖的坑就是让学生把注意力机制和微调方法、编码器/解码器架构混为一谈，或者误以为 Q、K、V 是随机生成的参数。拿到题先想：自注意力到底在算什么？它在算当前 token 和序列里其他 token 的相关性，这个相关性得分（attention score）是由 Query 和 Key 的点积决定的，而最终输出的内容是由 Value 加权求和得到的。那这三个向量从哪来？答案很明确：它们都来自同一个输入向量（比如解码器当前要生成的 token 或者编码器里的某个 token），通过三个不同的线性变换层（即三个不同的权重矩阵 W_Q、W_K、W_V）投影得到的。这就是 Transformer 设计的精妙之处：用同一组输入，通过不同的投影得到不同的语义角色，从而构建出强大的上下文建模能力。所以 D 选项描述最准确。A 选项说三个矩阵完全随机且与输入无关，这显然不对，因为注意力必须依赖输入内容才能计算相关性；B 选项把 K、V 当成输入嵌入本身，Q 当成目标嵌入，这混淆了投影步骤，实际上 K 和 V 也需要经过线性变换；C 选项说 Q 来自编码器最终状态、K 和 V 来自解码器输入，这更是把不同模块的输出张冠李戴，违背了自注意力内部机制。从考频趋势看，这类基础架构题在近年人工智能与 LLM 相关题目中反复出现，尤其是自注意力机制的原理细节，是命题人最爱考的‘硬知识’。未来预测：随着模型架构演进，考题可能会更侧重不同变体（如多头注意力、因果掩码下的自注意力）中 Q、K、V 的具体流向，但‘同一输入、三个线性变换’这个底层逻辑不会变。