CCF LMCC · CCF LMCC 青少年组第一轮认证 例题 第 1 题

在掩码语言模型预训练中，核心任务“掩码预测”的主要目的是什么？

这题考的是大模型预训练的核心机制。拿到题先别想代码，直接回忆 Masked Language Model（掩码语言模型）的原始设计动机：它通过随机遮住一部分词，让模型去猜被遮住的词，本质上就是强迫模型去理解前后文对当前词的影响，从而学习语言的双向上下文表征。

最容易错选 C，因为很多学生把‘预测下一个词’（自回归生成）和‘掩码预测’搞混了，觉得预测就是为了让生成流畅。其实掩码预测是双向的，它不专门优化生成流畅度，而是优化对上下文的深层理解。也有学生选 B，误以为这是为了评估最终分类准确率，但预训练阶段根本没做分类任务。

详细解析：核心概念：掩码语言模型（MLM）是 Transformer 在预训练阶段最常用的范式，其核心任务‘掩码预测’是指随机将输入序列中约 15% 的 token 替换为特殊掩码标记（如 [MASK]），然后让模型根据剩余可见的上下文预测被掩码的原始 token。命题视角：命题人喜欢考概念辨析，尤其是把‘掩码预测’和‘自回归生成’（从左到右预测下一个词）混在一起，或者把‘预训练目标’和‘微调任务’（如分类、问答）混淆。这道题就典型地考查学生是否清楚预训练阶段的根本目的。思考心法：拿到题先想‘掩码预测’这个动作在训练过程中到底在学什么？模型看到前后文，要猜中间被遮住的词，这迫使模型必须同时利用左边和右边的信息，也就是学习‘双向上下文表征’。具体怎么推：如果只是为了生成流畅（选项 C），那应该只依赖左边的历史，而且不需要掩码；如果是为了评估分类准确率（选项 B），那得在数据上直接做分类任务，而预训练阶段并没有标注类别；减少计算资源（选项 D）更是完全跑题，掩码预测反而增加了训练复杂度。避坑：千万别被‘预测’二字误导，以为就是生成文本；也别把预训练的目标和下游任务的目标混为一谈。考频与趋势：根据历年真题统计，‘掩码预测’作为概念题在 CCF LMCC 等比赛中出现频率较高，通常以单选形式出现，主要考查学生对预训练机制的理解深度。预测：基于现有数据和经验，未来此类题目可能会结合具体场景（如不同掩码策略的效果对比）来进一步考察学生对预训练机制的灵活运用，但核心仍然是‘双向上下文表征’这一概念。因此，正确选项 A 是最符合命题意图的。