Evaluation time and historical papers

SHA-256 · b6b8410237203850bed43c25ea133c00ff571e6762a7639912a4569682b69182

# 产品核心机制

IdeaLens 将论文评价这一开放问题，组织成以问题空间为参照、以可证伪分级依据为核心、由 AI 执行的评审过程。产品首先提供可检查的分项判断及其依据，再提供人为汇总的参考总分。

本文说明产品为什么这样设计；实际评审链路见 [核心评审机制](核心评审机制.md)，调用方式见 [使用指南](使用指南.md)。

## 产品成立的前提与目标

随着 AI 进入论文生产工作流，论文产出加速，评价体系面对的处理压力也在增加。已有期刊观察到这一变化：Organization Science 的 AI 工作组在 2026 年报告，该刊投稿量自 ChatGPT 发布后增长了 42%，并指出 AI 辅助投稿的增长正在加重编辑和评审者的负担。这是单个期刊的观察，说明了压力形成的具体路径。[来源：期刊 AI 工作组报告](https://pubsonline.informs.org/doi/10.1287/orsc.2026.ed.v37.n3)

仅 **2026 年 8 月，arXiv 就收到 31,173 篇预印本新投稿**。这一数字采用 arXiv 官方月度统计的 `submissions` 口径，数据核验于 2026 年 9 月 10 日；它反映该平台的新投稿规模，不能单独说明其中多少增长由 AI 导致。[来源：arXiv 月度投稿统计](https://arxiv.org/stats/monthly_submissions) · [官方 CSV 数据](https://arxiv.org/stats/get_monthly_submissions)

IdeaLens 据此提出产品成立的前提：论文生产与传播能够快速扩张，而依赖专家逐篇阅读、判断和反馈的人工评审与同行互审体系，难以同步扩展处理能力。评价能力正在成为发现和传播学术价值的瓶颈；有价值的发现可能因为缺少及时、充分的评价而被淹没。这是产品对评价能力缺口的判断，并非上述投稿统计直接测得的供需差额。

**IdeaLens 的目标是构建开源、可审计、可复现、在单篇评审执行中无人工干预的 AI 评价系统，提升论文处理效率，让有价值的学术发现能更稳定地被看到。** 人负责制定分级依据、开展多轮提示词校准和设计汇总规则；系统依据固定流程自动完成论文评价并保留证据，使处理规模扩大时，判断依据仍然能够被检查和质疑。

## 一、可审计、可复现、完全开源的 AI 评审

产品以完全开源为原则，开放自身的评审代码、流程、提示词、分级依据和汇总规则，使使用者能够检查判断如何产生。这里的开放范围指 IdeaLens 自身，不表示依赖的模型权重也开放，也不要求用户论文和运行数据默认公开。

论文分析和分项判断交给 AI 执行。人参与标准制定、提示词校准及汇总规则设计，不在单次运行中临时替 AI 改分。程序负责既定规则的校验、允许的预判或产物复用、确定性计算及证据保存；自动评审不意味着每个步骤都必须重新调用模型。

可审计要求保留实际输入、流程版本、提示词、模型输出、分项依据和结果来源。可复现要求能够用固定执行定义重新运行并对照证据；它不承诺随机模型逐字返回同一结果，也不保证外部模型服务永远不变。相关边界见 [流程版本](评审流程版本.md) 和 [存储与显式冻结](存储与显式冻结.md)。

## 二、将开放评价问题拆成不同评审项

论文的结构贡献、方向价值、解决进度、结果改进、知识压缩和论证支持回答的是不同问题。IdeaLens 将它们分开，让每一项明确自己的评价对象、适用条件和判断依据，而不是直接依赖一个整体印象给论文打分。

分项之间可以共享经过约束的输入，但不能互相替代：方向重要不等于论文已经解决问题，进展大不等于论证充分，结构新也不自动代表效果改进大。主张提取和贡献分类帮助组织输入与描述，不把所有流程步骤都变成计分项。

## 三、分级的关键是可证伪依据

每个需要表达高低的评审项，都应寻找可证伪的分级依据：这一档成立需要什么条件，与相邻档的关键区别是什么，哪些材料或反例会使该档判断不能成立。

等级由这些条件支持，不能只依赖“很好”“很重要”“很有创新性”等模糊印象。保留分项理由，使判断可以被检查、反驳和修订。证据不足时保留未定，不将未知当作已满足条件。

可证伪分级是标准设计的核心，不意味着程序已经能机械证明所有条件，也不意味着 AI 的判级必然正确。规则正文与表达层次见 [等级规则](等级规则.md)。

## 四、固定分级依据，进行多轮提示词校准

在同一套可证伪分级依据不变的前提下，反复运行评审、观察偏差并调整执行提示词，改进 AI 对既定标准的理解和执行。校准同时关注与人工参考的一致程度，以及固定输入下多次判断的稳定程度。

这一过程调整的是提示词的表达、组织和判断引导，不是为了命中某个案例而偷偷改变等级条件。若发现需要修改分级依据，应作为独立的标准修订建立新版本，再重新验证，不能混同于原标准下的提示词校准。

人工参考不是注入评审模型的答案，也不覆盖本次分项结果。达到人工可接受范围和重复输出完全相同是两回事；相邻双值可以都被接受，但交替输出仍需如实反映。执行层的校准关系见 [核心评审机制](核心评审机制.md#人工校准与规则迭代)。

## 五、人工制定参考总分，后续用专家意见校准

总分的组合规则由人制定，再由程序将选定评审项的等级映射为分值并计算。人决定采用哪些项、如何组合，以及不同项之间的价值取舍；AI 不在每篇论文上自行改变算式。

算式是否执行正确可以检查和复算，但组合规则本身的合理性不具备分项分级那样的可证伪判据。计算确定，不等于权重和组合方式已经客观成立。

因此，当前总分只作为参考，不能替代分项结论及其理由，也不能宣称已经过专家验证。后续计划结合专家意见校准总分组合；这是尚待完成的工作，专家意见校准也不等于证明存在唯一正确的综合分数。当前计算方式见 [数值计分](数值计分.md)。

## 六、历史论文采用历史评审专用路径

历史论文所面对的知识、问题和基线与今天不同。产品通过历史时间语境、专用路由和角色说明，引导 AI 模拟论文发表时的评价环境，避免直接将今天的成熟能力、白名单或后世成果倒灌到历史判断中。

这种路径仍依赖 AI 对历史语境的理解与模拟，无法真正回到当时，也无法保证与新论文采用完全相同的实际标准和证据条件。即使保留共同的等级框架，也不能把两类结果自动视为完全同口径。

可审计能说明模拟采用了什么输入和规则，不能证明历史还原已经准确无误。时间锚点和语境不确定时应明确保留限制，不为了得到分数而补造史实。

## 七、问题空间是大部分评价的基础

论文的价值与进展需要放在它试图解决的问题中理解。问题空间提供评价对象、范围、成功条件和比较基线；脱离这些条件，方向价值、进度以及相关改进判断就缺少参照。

同一篇论文可以在不同问题空间下被评审，得到不同的价值与进度解释，因而不应被看作只有一个脱离评价视角的永久分数。改变问题空间时，必须保留论文真实支持的适用条件，并记录这次评价所采用的空间。

当前流程自动选择与论文主张、研究问题及成立条件最相适应的问题空间，再进行评价。这是选择最适合空间的目标，不是已证明找到全局唯一最优空间，也不是遍历多个空间后挑最高分。

实现中，方向价值和进度显式共享同一目标；结构、改进和知识压缩等评审还保留各自的比较对象与边界，不机械地把所有评审项套入同一字段。具体的自动选择、准入与扩展关系见 [核心评审机制](核心评审机制.md#目标与准入)。

SHA-256 · 3353961468e5d87d003f46e32408e8f7d6171455a118a0ad6470af73591bbf9f

# 评价时间语境

默认配置使用 `auto` 和 `Prompts/L3_Prompts/Shared/temporal_context.json`。超过一年的论文按发表时语境评价；近期论文按当前语境评价。仅年份横跨阈值、未知、估算或未来锚点记为 uncertain，停止正式评分，不猜造时间。

Claim 可用后，运行器冻结发表锚点、评价日期、模式、论文与 Claim 哈希、时间规则版本及哈希，保存为 `Input/temporal-context.json`。同一 Batch 使用同一日期；阶段不能各自改换参照。

正式 Fork 通过 temporal_role 和 prompt_files 声明资源，模板使用 `{{temporal_context}}`。当前分支插入空串；发表时分支插入共同边界和对应角色规则。没有额外模型调用。论证评审从进度描述继承时间，不重复注入另一套政策。

```toml
temporal_role = "progress"
prompt_files = { temporal_rules = "Prompts/L3_Prompts/Shared/temporal_context.json" }
```

方向选择、准入和价值消费者按本轮时间上下文工作；历史分支不读取今天的目标目录和问题清单。

规则和提示词在 Run 启动时封存，中途修改活动文件不会改变本轮输入。时间身份随阶段、公共结果和 Scorecard 记录；复用输入的时间身份不匹配时拒绝混用。校准锁定包也包含时间身份，不按重跑当天重新解释旧输入。

```powershell
python run.py batch --config Configs/default.toml --test-set calibration-historical --jobs 12
```

侧车校准的 evaluation_mode 只控制比较资格，不控制模型路由。收稿日期不自动证明公开优先性，后世成功不能倒灌成原文证据。程序检查时间身份与装配一致性，不证明锚点史实或模型语义判断正确。

历史政策引导 AI 模拟发表时语境，不是对历史知识状态的精确重建。共用等级框架不意味着历史论文与新论文具有完全相同的实际评价条件；产品边界见 [产品核心机制](../产品核心机制.md)。

SHA-256 · 7d15905ef2ba406dd7f11a57e9c8fedcf44ccd49626174abb8d3e9c1c339dfe4

{
  "schema_version": 1,
  "policy_id": "temporal-review-v3",
  "threshold_years": 1,
  "common": "只评价冻结原论文在发表时的贡献：已有知识、可行能力与问题瓶颈均以发表前可获得的信息为参照。后世重述、教材标准形式、后继理论和实际成功不得倒灌为已有先验、原文证据或加分依据。经典地位不构成等级证据；不按年代自动加分。时间或优先性不清的比较对象须标为未确认，不猜造发表前事实。时间锚点仅用于参照，投稿/收稿日期不自动证明公开优先性。",
  "roles": {
    "structure_audit": "最近邻只允许发表前已公开且足以完整吸收增量的结构。判定 L0 必须给出合格基线与逐项映射；后世统一表述不是原结构可约去的证据。缺少可核实的历史资料不等于证明新颖，应保留未确认。",
    "structure_base": "以发表前结构的可行构造与探索方式为参照，判断 L0–L3。区分参数、配比、训练规模、性能证据与新的组织约束。原文只是参数规律修正时不能因历史影响升为结构创新；也不能用后来成为常识否定原本的构造改变。",
    "structure_l4": "判断统一/再定义时，问题独立性以发表前的问题划分、解释对象和研究程序为准，不能因现代教材已归于同一学科而否认原先独立。仍须逐项满足原有 L4 条件，指出共同结构如何覆盖独立问题及阻止拆解；名望、后来广泛使用不是结构证明。",
    "direction_scope": "固定原论文实际研究的问题、直接功能和适用条件；按发表时的任务语义理解，排除译者后记、现代编辑注释及后续拓展。不要因为该能力今天已成熟而换成现代未解决的更大目标。",
    "direction": "方向前景从发表时问题的直接功能出发，可作有条件的因果推导，不可把后世已实现的成果当作事前证明。生产力扩展和科学研究边界是两条独立成立路径；不要求理论发现先完成现代工程部署。历史政策不使用当前前沿白名单，不设置经典论文白名单；L4 必须由功能链实际论证。",
    "progress": "以方向价值范围在论文发表前的真正瓶颈为基线，在冻结主张成立的假设下评价原论文提供的完整答案或解决路径，最高 P3。区分认知问题和工程问题：理论问题不因后来尚需产业化而降级；保留主张的条件、范围和模态，可能机制不自动构成完整方案。不核验论证强度，不把后续成功追认为原论文的完整答案，不把后来提出的要求倒灌成原问题的验收条件。",
    "improvement": "效果改进相对于发表时可用的相同任务基线和原文证据；不得要求超过今天的 SOTA，也不得把后来实现的性能当成本论文效果。区分同条件实测、理论保证与未经验证的可能性。",
    "simplicity": "简洁性比较以发表前解释/计算/构造所需的认知和表述成本为基线；后来教材的熟悉度、现代记号与后人整理不能反向降低或抬高原论文简洁性。仍须证明压缩未转移成本且保留解释范围。",
    "extraction_evaluation": "核查 Claim 的事实忠实性与时间锚点，不要求原论文包含后来的标准术语/验证；现代编者注释不能冒充作者原始主张。不改变原 Claim，不由评审标签反推抽取内容。",
    "review_evaluation": "检查所有评审是否使用同一发表时参照；拒绝当前白名单、现代基线或后世成就混入历史分数。核查冻结主张与等级定义是否匹配，不评价主张真假或论证强度，不按知名度纠正评分。",
    "structure": "以发表前结构的可行构造与探索方式为参照，判断 L0–L4。区分参数、配比、训练规模、性能证据与新的组织约束。原文只是参数规律修正时不能因历史影响升为结构创新；也不能用后来成为常识否定原本的构造改变。 判断统一/再定义时，问题独立性以发表前的问题划分、解释对象和研究程序为准，不能因现代教材已归于同一学科而否认原先独立。仍须逐项满足原有 L4 条件，指出共同结构如何覆盖独立问题及阻止拆解；名望、后来广泛使用不是结构证明。"
  }
}