The assessment process

SHA-256 · b6b8410237203850bed43c25ea133c00ff571e6762a7639912a4569682b69182

# 产品核心机制

IdeaLens 将论文评价这一开放问题，组织成以问题空间为参照、以可证伪分级依据为核心、由 AI 执行的评审过程。产品首先提供可检查的分项判断及其依据，再提供人为汇总的参考总分。

本文说明产品为什么这样设计；实际评审链路见 [核心评审机制](核心评审机制.md)，调用方式见 [使用指南](使用指南.md)。

## 产品成立的前提与目标

随着 AI 进入论文生产工作流，论文产出加速，评价体系面对的处理压力也在增加。已有期刊观察到这一变化：Organization Science 的 AI 工作组在 2026 年报告，该刊投稿量自 ChatGPT 发布后增长了 42%，并指出 AI 辅助投稿的增长正在加重编辑和评审者的负担。这是单个期刊的观察，说明了压力形成的具体路径。[来源：期刊 AI 工作组报告](https://pubsonline.informs.org/doi/10.1287/orsc.2026.ed.v37.n3)

仅 **2026 年 8 月，arXiv 就收到 31,173 篇预印本新投稿**。这一数字采用 arXiv 官方月度统计的 `submissions` 口径，数据核验于 2026 年 9 月 10 日；它反映该平台的新投稿规模，不能单独说明其中多少增长由 AI 导致。[来源：arXiv 月度投稿统计](https://arxiv.org/stats/monthly_submissions) · [官方 CSV 数据](https://arxiv.org/stats/get_monthly_submissions)

IdeaLens 据此提出产品成立的前提：论文生产与传播能够快速扩张，而依赖专家逐篇阅读、判断和反馈的人工评审与同行互审体系，难以同步扩展处理能力。评价能力正在成为发现和传播学术价值的瓶颈；有价值的发现可能因为缺少及时、充分的评价而被淹没。这是产品对评价能力缺口的判断，并非上述投稿统计直接测得的供需差额。

**IdeaLens 的目标是构建开源、可审计、可复现、在单篇评审执行中无人工干预的 AI 评价系统，提升论文处理效率，让有价值的学术发现能更稳定地被看到。** 人负责制定分级依据、开展多轮提示词校准和设计汇总规则；系统依据固定流程自动完成论文评价并保留证据，使处理规模扩大时，判断依据仍然能够被检查和质疑。

## 一、可审计、可复现、完全开源的 AI 评审

产品以完全开源为原则，开放自身的评审代码、流程、提示词、分级依据和汇总规则，使使用者能够检查判断如何产生。这里的开放范围指 IdeaLens 自身，不表示依赖的模型权重也开放，也不要求用户论文和运行数据默认公开。

论文分析和分项判断交给 AI 执行。人参与标准制定、提示词校准及汇总规则设计，不在单次运行中临时替 AI 改分。程序负责既定规则的校验、允许的预判或产物复用、确定性计算及证据保存；自动评审不意味着每个步骤都必须重新调用模型。

可审计要求保留实际输入、流程版本、提示词、模型输出、分项依据和结果来源。可复现要求能够用固定执行定义重新运行并对照证据；它不承诺随机模型逐字返回同一结果，也不保证外部模型服务永远不变。相关边界见 [流程版本](评审流程版本.md) 和 [存储与显式冻结](存储与显式冻结.md)。

## 二、将开放评价问题拆成不同评审项

论文的结构贡献、方向价值、解决进度、结果改进、知识压缩和论证支持回答的是不同问题。IdeaLens 将它们分开，让每一项明确自己的评价对象、适用条件和判断依据，而不是直接依赖一个整体印象给论文打分。

分项之间可以共享经过约束的输入，但不能互相替代：方向重要不等于论文已经解决问题，进展大不等于论证充分，结构新也不自动代表效果改进大。主张提取和贡献分类帮助组织输入与描述，不把所有流程步骤都变成计分项。

## 三、分级的关键是可证伪依据

每个需要表达高低的评审项，都应寻找可证伪的分级依据：这一档成立需要什么条件，与相邻档的关键区别是什么，哪些材料或反例会使该档判断不能成立。

等级由这些条件支持，不能只依赖“很好”“很重要”“很有创新性”等模糊印象。保留分项理由，使判断可以被检查、反驳和修订。证据不足时保留未定，不将未知当作已满足条件。

可证伪分级是标准设计的核心，不意味着程序已经能机械证明所有条件，也不意味着 AI 的判级必然正确。规则正文与表达层次见 [等级规则](等级规则.md)。

## 四、固定分级依据，进行多轮提示词校准

在同一套可证伪分级依据不变的前提下，反复运行评审、观察偏差并调整执行提示词，改进 AI 对既定标准的理解和执行。校准同时关注与人工参考的一致程度，以及固定输入下多次判断的稳定程度。

这一过程调整的是提示词的表达、组织和判断引导，不是为了命中某个案例而偷偷改变等级条件。若发现需要修改分级依据，应作为独立的标准修订建立新版本，再重新验证，不能混同于原标准下的提示词校准。

人工参考不是注入评审模型的答案，也不覆盖本次分项结果。达到人工可接受范围和重复输出完全相同是两回事；相邻双值可以都被接受，但交替输出仍需如实反映。执行层的校准关系见 [核心评审机制](核心评审机制.md#人工校准与规则迭代)。

## 五、人工制定参考总分，后续用专家意见校准

总分的组合规则由人制定，再由程序将选定评审项的等级映射为分值并计算。人决定采用哪些项、如何组合，以及不同项之间的价值取舍；AI 不在每篇论文上自行改变算式。

算式是否执行正确可以检查和复算，但组合规则本身的合理性不具备分项分级那样的可证伪判据。计算确定，不等于权重和组合方式已经客观成立。

因此，当前总分只作为参考，不能替代分项结论及其理由，也不能宣称已经过专家验证。后续计划结合专家意见校准总分组合；这是尚待完成的工作，专家意见校准也不等于证明存在唯一正确的综合分数。当前计算方式见 [数值计分](数值计分.md)。

## 六、历史论文采用历史评审专用路径

历史论文所面对的知识、问题和基线与今天不同。产品通过历史时间语境、专用路由和角色说明，引导 AI 模拟论文发表时的评价环境，避免直接将今天的成熟能力、白名单或后世成果倒灌到历史判断中。

这种路径仍依赖 AI 对历史语境的理解与模拟，无法真正回到当时，也无法保证与新论文采用完全相同的实际标准和证据条件。即使保留共同的等级框架，也不能把两类结果自动视为完全同口径。

可审计能说明模拟采用了什么输入和规则，不能证明历史还原已经准确无误。时间锚点和语境不确定时应明确保留限制，不为了得到分数而补造史实。

## 七、问题空间是大部分评价的基础

论文的价值与进展需要放在它试图解决的问题中理解。问题空间提供评价对象、范围、成功条件和比较基线；脱离这些条件，方向价值、进度以及相关改进判断就缺少参照。

同一篇论文可以在不同问题空间下被评审，得到不同的价值与进度解释，因而不应被看作只有一个脱离评价视角的永久分数。改变问题空间时，必须保留论文真实支持的适用条件，并记录这次评价所采用的空间。

当前流程自动选择与论文主张、研究问题及成立条件最相适应的问题空间，再进行评价。这是选择最适合空间的目标，不是已证明找到全局唯一最优空间，也不是遍历多个空间后挑最高分。

实现中，方向价值和进度显式共享同一目标；结构、改进和知识压缩等评审还保留各自的比较对象与边界，不机械地把所有评审项套入同一字段。具体的自动选择、准入与扩展关系见 [核心评审机制](核心评审机制.md#目标与准入)。

SHA-256 · d58d682dc6cd477a388e3c969579340ee04bf93a76312e0c9759460e87ec85af

# 核心评审机制

产品的评价主张、可证伪分级、参考总分与历史模拟限制见 [产品核心机制](产品核心机制.md)。本文只说明这些主张如何落实为实际评审链路。

IdeaLens 将论文中的主张、结构增量、目标价值、方向进度和其他评价分开处理，再按固定规则计算总分。本文说明维护中的默认流程；指定外部流程版本时，以该版本的执行定义为准。

## 基本对象

| 名称 | 含义 |
|---|---|
| Claim（论文主张） | 从论文提取、保留来源与适用条件的评价输入，不是对论文真实性的自动认证 |
| Run（单次评审） | 对一篇论文执行一次所选评审定义并保存证据 |
| Artifact（冻结产物） | 经显式冻结、可在兼容条件下复用的结果，和每次 Run 必须保存的快照不同 |
| Batch（批次） | 多个独立 Run 的组织与汇总，不是新的评分尺度 |

外部流程版本固定整套执行定义；内部配置、任务实现和接口版本负责追踪组成部分。流程版本号不是 Run 序号，也不是模型输出的版本号。

## 评审关系

```text
论文 → Claim 提取
Claim → 最近邻吸收审计 → 统一结构评审
Claim → 主贡献类型与标签
Claim → 目标选择与准入 → 方向价值
论文、Claim、同一目标 → 方向进度 → 独立论证强度
Claim、结构、方向 → 改进强度
论文、Claim → 知识压缩
方向价值、方向进度 → 确定性计分
```

| 环节 | 职责 |
|---|---|
| Claim | 提取论文主张、适用条件、推广范围和时间锚点，保持来源与原文模态 |
| 最近邻与结构 | 区分已有内容能够吸收的部分，评价剩余结构增量，统一输出 L0–L4，不参与总分 |
| 类型与标签 | 给出主贡献类型和受控标签，不据此推导结构等级或分数 |
| 目标与价值 | 先确定评价对象，再评价该目标的方向价值；不能用论文进度替代价值 |
| 方向进度 | 在主张成立的假设下，评价论文相对于同一目标的进展，保留条件和模态 |
| 论证强度 | 根据原文、进度描述和等级独立评价论证，不参与总分 |
| 改进强度 | 在主张成立的假设下，比较共同基线、指标和资源条件下可衡量的结果变化，不借结构或方向价值抬级，不参与总分 |
| 知识压缩 | 在固定范围和精度下评价认知负担的净减少，新增前提和工具成本须算回，必要区别仍须可恢复，不参与总分 |
| 计分 | 方向价值分乘方向进度分，不由模型自行改算式 |

## 目标与准入

问题空间提供评价对象、范围、成功条件和比较基线。同一篇论文可以在不同问题空间中被评审；改变空间可能改变价值和进度的含义，须记录所用目标及条件，不能只比较一个脱离视角的分数。当前自动选择以与论文主张及边界相适应为目标，不证明全局唯一最优，也不自动搜索最高分空间。

原始研究问题先匹配维护中的必要问题或已确认瓶颈。明确命中并通过程序准入时，采用对应目标及已确认等级。未命中或不确定时，最多向上扩展一层功能目标，也可以不扩展；生成的普通目标不能重新借用白名单身份。

目标定义保持 `id / version / definition` 三字段。定义中的适用前提和未确定范围贯穿后续评价。指定目标、读取缓存或复评不能绕过准入校验；命中必要问题不等于论文已经解决整个目标。

## 时间、未知与证据

评价日期和发表锚点共同决定时间语境。历史路径要求避免使用今天的白名单或后世成功充当当时证据；锚点不确定时不猜造时间，也不强行选择一个时点继续正式评分。校准文件的时间模式只控制比较资格，不替代模型路由。

历史路径依赖 AI 对发表时知识、问题和基线的理解与模拟，不能保证与新论文具有完全相同的实际评价条件。记录时间政策和来源可供审计，不证明历史语境已经还原准确。

条件不成立、执行失败、结果缺失、评审未定和有效零等级是不同状态。程序能检查字段、来源、哈希和契约一致性，不能因此证明模型语义判断正确。

## 人工校准与规则迭代

人工校准为评审提供独立的比较参照，不是向模型提供答案。普通 Run 可用论文侧车参考值作标注和比较；单项校准集固定输入、重复执行目标评审，用于观察偏差和稳定性。两类人工值各有自己的适用范围，不自动互相覆盖。

人工确认的白名单目标等级属于流程的规则输入，通过准入后可以作为方向价值参与计分；校准参考值则用于结果比较，不替换本次等级。两者的用途不同，不能混同。

人工一致率回答“是否落在人工可接受范围”，重复一致率回答“多次实际判断是否一致”。相邻双值可以都被接受，但 L1/L2 交替仍不等于输出稳定。比较要核对论文内容、目标和评价语境；条件性或待澄清锚点须连同说明解读，不能把每个偏差直接等同于模型错误。

迭代过程是：人工确认参照 → 校准观察 → 判断是输入、规则还是表达问题 → 修改并验证 → 发布内部版本；需要对外交付时再发布新的流程版本。只改三级表达应保持等级含义，改变二级语义须新建标准版本。更新人工参照不代表模型表现已经改善，也不回写旧 Run。

## 独立评审与批次

每篇论文独立执行并留证。批次调度不会将同批其他论文或结果自动作为本篇的比较上下文，也不按本批次的相对排名评分；跨 Run 的产物复用仍须满足来源和兼容性约束。

并行只改变调度，不改变评分规则。原生 Batch 的补跑只处理已正常结束批次中的失败项，成功项不重复执行；它不接管异常中断的进程。外部 flow 目前只提供单篇入口，Workshop 可以自行组织并行请求，不能把它当作已实现的原生 Batch 流程版本接口。

## 结果与版本

每次 Run 保存实际输入、执行定义和结果；可复用 Artifact 必须另行显式冻结。固定流程版本隔离开发环境，内部版本仍用于诊断与兼容性检查。校准用于标注和比较，不修改评分，也不作为额外答案注入评审。

等级依据见 [等级规则](等级规则.md)，分数解释见 [数值计分](数值计分.md)。字段、路由和维护接口见 [技术文档](Technical/README.md)。

SHA-256 · 9c8aefd83d4bf38bf5dacc83e12b7f5ef11ab7138e8df3a3773df6b9a1d5c44c

# 评审步骤与公共字段

总体关系见 [核心机制](../核心评审机制.md)，业务标准见 [等级规则](../等级规则.md)。下面只说明当前默认接线；接口和实际提示词内容以所选配置的 Workflow/Fork 锁为准。

| 步骤 | 输入 | 输出与计分关系 |
|---|---|---|
| structure_audit | Claim | 最近邻吸收审计，供统一结构评审使用 |
| structure | Claim、吸收审计 | `strength`、`l4_type`、`l4_path`；结构等级只作旁路判断，不计分 |
| classification | Claim | 主类型和标签，不参与计分 |
| direction | 目标、Claim 准入信息及允许的规则资料 | 方向等级与理由，参与计分 |
| progress | 论文、Claim、同一目标 | 进度等级和 `progress_description`，等级参与计分 |
| argument | 论文、进度描述和等级 | 论证强度及诊断信息，不参与计分 |
| improvement | Claim、结构与方向结果 | 改进强度，只作旁路判断，不计分 |
| simplicity | 论文、Claim | 知识压缩等级或未定，只作旁路判断，不计分 |

确定性总分步骤 contribution 只依赖 direction、progress；其他评审失败或未定不影响总分完整度。报告按方向价值、方向进度、论证强度、旁路判定排序。

统一结构评审一次输出 L0–L4，不再由基础结构加独立升级裁决拼接。L4 的类型和路径按实际适用性展示，非适用字段不能被当作额外等级或额外得分。

进度在主张成立的假设下判断进展，主动发布描述；论证独立检查原文对该描述的支持，不回写进度值。知识压缩保留 `simplicity_strength_review` 和 `simplicity.strength` 等接口标识，默认启用，不因名称沿用而恢复旧旁路开关。

输入映射和字段引用由 [pipeline.toml](../../pipeline.toml) 与 Workflow 契约声明。字段缺失、未定、条件跳过和执行失败分开记录；解析与展示规则见 [评分契约](SCORING_CONTRACTS.md)。

单项维护使用 [校准集](CALIBRATION_SETS.md) 从默认配置选取目标步骤与必要前置输入，不再维护额外的单项运行配置。相关测试为 `Tests/test_unified_structure.py`、`Tests/test_argument_review.py`、`Tests/test_simplicity.py` 和对应进度、改进测试。