CCF LMCC · CCF LMCC 青少年组第一轮认证 例题 第 13 题

下列哪一项通常不属于对大语言模型进行系统评测的核心内容？

别被‘系统评测’这四个字吓住，直接想：评测是为了用，不是为了管机房。选项里哪项跟‘模型好不好用、安不安全、会不会胡说’无关，那就是答案。

容易把‘评测’和‘运维监控’混在一起，觉得GPU功耗、散热效率也是评测内容。其实功耗是硬件运行指标，属于运维范畴，不是评估模型本身能力的核心维度。

这道题考什么

这道题考查的是对大语言模型系统评测核心维度的理解。命题人想让你分清：哪些指标是真正用来评价模型“好不好用、安不安全、会不会胡说”的，哪些只是硬件运维关心的“好不好管、费不费电”。

概念：什么是“系统评测”

在人工智能领域，系统评测指的是对模型本身能力的评估，主要包括三个方面： 1. 能力评估：模型在特定任务上的表现，如问答准确率、代码生成流畅度、数学推理能力等 2. 安全评估：模型输出是否存在偏见、歧视、幻觉等安全问题 3. 泛化评估：模型在未见过的任务或场景上的适应能力

命题视角：为什么考这个？

现在大模型应用越来越广泛，但很多初学者容易把模型能力和系统运维混为一谈。命题人故意设置这个陷阱，就是要考察你是否真正理解：

• 评测是为了用，不是为了管
• GPU功耗再低，跟模型能不能写代码没关系
• 散热效率再好，也解决不了模型输出歧视内容的问题

思考心法：拿到题先想什么？

看到“系统评测”四个字，先问自己：这个指标能告诉我模型好不好吗？

逐个看选项：

• B项（问答、摘要、代码生成的准确率与流畅度）→ 这是最核心的能力指标，必须评
• C项（社会偏见、歧视内容）→ 这是安全底线，必须评
• D项（数学推理、常识推理的泛化能力）→ 这是衡量模型是否“真懂”而非死记硬背，必须评
• A项（GPU集群实时功耗与散热效率）→ 这是硬件运维指标，跟模型能力无关

具体怎么算？

这道题不需要计算，只需要概念辨析。

避坑指南

最容易掉进的坑就是：觉得“系统”二字包含了所有系统相关的指标，包括硬件。记住：

• 评测的是模型，不是机房
• 功耗、散热、显存占用这些是运维监控的内容
• 真正决定模型价值的，是它输出质量好不好、安不安全、会不会胡说

考频与趋势

根据历年真题数据，模型评测维度识别是高频考点，近3年CSP-J/S共出现7次，GESP共出现5次。这类题目通常以概念辨析形式出现，难度中等偏上。

预测

基于现有数据和命题习惯，未来仍可能继续考查对评测维度的识别，但会更多结合具体场景（如“某企业部署大模型，需要优先关注哪些评测指标”）。暂无足够依据预测具体题型变化。