评测集构建
当前V3按产品的实际研究与写作任务修订，包含75个质量案例、104轮输入及43项可靠性主检查，关联34项评价指标。2026-10-01完成设计整理，尚未执行或评分。原V2题目、模板和历史结果保留。
一、从功能到题目
每道题先明确用户要完成的工作，再确定材料、输入、必答点和适用指标。问题措辞、评分规则与执行步骤一起核对，避免题面只要求概括、评分却暗中要求完整方法或所有文献。
| 任务 | 本版如何检查 | 主要评价 |
|---|---|---|
| 理解论文 | 具体概念、数值、理论机制、通俗解释；新增表头、数值和表注共同阅读 | E1/E2/E3/E5/E8，检索过程另记R |
| 比较文献 | 共同问题、对象与条件、真实关系；显式提醒与自然提问分开 | E3/E4及事实、来源 |
| 形成综述 | 研究问题驱动的选材与组织；明确逐篇要求单独测 | E1/E3/E4/E5/E8 |
| 连续修改 | 结构调整、主题引导、精简；固定稿润色和纠错；有效要求逐轮保留或撤销 | E6及本轮内容要求 |
| 原文回查 | 回答后实际点引用，修改后再核对，刷新、回访、复制和导出 | E5、独立功能结果与X2/X7 |
| 异常与边界 | 自然任务缺证、错误前提、来源范围、注入、停止与故障 | E7、适用R项和功能结果 |
主题综述按研究问题选择材料，不自动以“引用了全部选中文献”为通过条件。题目明确要求全部使用或比较指定论文时，才按相应范围检查每篇的实质内容。
二、题目分布
| 分组 | 案例数 | 输入轮数 | 说明 |
|---|---|---|---|
| 专家集 | 25 | 27 | 含10个固定查询的直接工具案例 |
| 用户集 | 40 | 67 | 原25案加15案，含研究写作与修改链 |
| 对抗集 | 10 | 10 | 原错误前提、虚构来源、范围和执行边界任务 |
| 质量合计 | 75 | 104 | 65对话案例94轮，10工具案例10条输入 |
| 可靠性主项 | 43 | 按操作及具名变体记录 | 原38项加5项，不纳入质量案例分母 |
同一案例跨多个功能或指标时只计一次。可靠性变体逐条保存，组合使用链复用原编号，不因复用增加主项数量。性能和真实试用按其采集方案另计。
三、原题保留与修改
原60个质量案例全部逐案核对。55案保留题干；5案修订，分别是专家4的补贴对象歧义、用户10的缺稿修改、用户12的出处输入、用户23的逐篇要求、用户24的虚设前轮。
参考答案的边界也按CAL-1整理：允许有依据的不同结论和表达，不强迫机械复述参考稿；明确的字数、句数和术语要求仍保留。题干、准备或判据发生改变的案例保留旧身份映射，以新版本运行，不用新版结果替换旧分数。
新增15案共29轮，覆盖自然阅读与精简、比较到正文、四轮结构修改、纯润色、纠错保持、项目背景与澄清、摘要缺证、表格阅读，以及新材料的机制比较。七篇开发题仍作为已知场景回归，新增材料任务单独报告，不把开发题成功当作泛化结论。
可靠性原38项的处置为保留14、修订9、拆变体10、条件适用5。新增项目背景、核验故障与保稿、2–3用户并发、预算终态和基础回答反馈五项。基础反馈是P1，按本批发布范围决定是否适用；规划中的结构化来源状态及待定导出能力不冒称已经实现。
四、材料与参考依据
使用现有28篇固定论文，保留其文件哈希与物理页码。V2质量题实际使用其中15篇；V3新增P09、P43、P44的质量依据，共18篇，其余10篇仍用于材料就绪和功能检查。
新题需要读到正文或表格时，先补相应原文依据。此次还补核P20的反馈奖励领取条件，以及P32表1的列对应、分母和单位。依据只覆盖实际核过的页段，不将摘要审读写成全文核验。
每题保存参考要点、成立条件、可接受的替代依据和来源位置。无答案题限制在事前检查过的材料范围内；检索未命中不能证明原文没有答案。长历史、限定摘要、固定稿和受控干扰分别提供输入或操作协议，运行前还需确认目标条件真实触达。
五、每轮配置与记录
| 配置 | 用途 |
|---|---|
| 稳定案例ID、轮次、旧题映射 | 追溯来源，避免跨表同号混淆 |
| 实际输入、材料范围、准备条件 | 重现用户任务，提供真实原稿或历史 |
| 本轮必答点和明确形式 | 与用户任务对应，避免测后增加要求 |
| 新增、保留、撤销的要求 | 判断多轮修改，不把省略非必需展开算作遗忘 |
| 原文位置、参考依据与边界 | 核对事实，允许不同的合理表达和结构 |
| 必需指标、条件适用项、T/X采集 | 内容、过程、操作和反馈分别评价 |
| 输入完成、GT核对、运行门检 | 区分设计状态与执行状态 |
| 实际回答、分数、问题和任务结论 | 执行后填写，保留原判与复核 |
输入和参考依据完整不表示产品已通过；所有本版记录目前都是NOT_RUN。正常追加偏好与被迫纠错分别标记，多轮最终成功不隐藏前轮错误。工具题仅评R项，不填写回答整体档位；真实用户采用和节省时间不能由模型评分推算。
六、新批次使用
复制V3模板与配置，在新的批次目录固定产品、模型、工具、预算、材料和题目版本。完成运行前门检后执行，保留全部首次结果、重试和失败。受控条件未触达时记录原因，不以未发生故障的普通运行替代故障恢复检查。
历史同题对照使用题面、材料、前置和判据一致的交集；修订、新增、直接工具、开发回归和功能验收分别列出分母。已有V1.0/V1.1成绩继续使用确认的CAL-1口径，不按本次新增要求追溯重判。