IdeaLens · 帮助
总分如何计算
区分等级和点数,理解乘法与比较边界。
当前维护规则说明 · 核对于 2026-09-10
总分是参考性组合
总分采用哪些项、怎样映射与组合,体现人为制定的价值取舍。算式执行是否正确可以检查,但组合规则的合理性不具备分项分级那样的可证伪判据。计算确定,不等于已经客观确立论文价值。
当前总分应与分项理由、条件和不确定性一起阅读。后续计划结合专家意见校准组合规则,目前不宣称已完成专家验证;这也不同于固定分级标准下调整执行提示词的校准。
当前总分=方向价值分 × 方向进度分
这是当前维护规则的算式。网站展示交付包中的数字,不在浏览器重新计分。历史论文可能使用不同算式,必须先看本篇规则身份;本页不把旧结果改写成新规则。
等级与点数分开
| 评价项 | 等级 → 点数 |
|---|---|
| 方向价值 | L0 → 0;L1 → 1;L2 → 2;L3 → 4;L4 → 8 |
| 方向进度 | P0 → 0;P1 → 1;P2 → 2;P3 → 4 |
一个乘法示例
方向价值 L3 对应 4 分,方向进度 P2 对应 2 分,总分为 4 × 2 = 8。当前映射的最高可得为 8 × 4 = 32。32 随参与项和映射计算,不是永久满分,也不是换算百分制的固定分母。
结构、论证、改进、知识压缩、主贡献类型和标签均不参与当前总分。人工校准不替换模型等级。
哪些分数可以放在一起比较
目录按论文首发时间排列。评分规则显示该篇 IdeaLens 的交付版本;未提供交付版本时不显示,也不能据此假定评分规则相同。比较前须核对交付版本;即使版本一致,研究目标、材料、时间语境和成立条件仍可能不同。跨规则分数不能直接混合排名或平均,历史重算也要核对原评价来源。
未定不能当零分
未定结果保留实际可能总分集合。例如某输入只支持价值点数 {1, 2},进度 4 分,则可能总分为 {4, 8},不能写成 4 到 8 之间任意整数。缺失或失败导致计分不完整时,总分为空;已知小计不是把缺失项按零计算的总分。
标准与提示词来源
这些是编写本版帮助时保存的原始参考资料,不是某篇论文的运行快照。可展开核对全文,路径表示资料在 IdeaLens 中的位置。
Docs/产品核心机制.md
SHA-256 · b6b8410237203850bed43c25ea133c00ff571e6762a7639912a4569682b69182
# 产品核心机制
IdeaLens 将论文评价这一开放问题,组织成以问题空间为参照、以可证伪分级依据为核心、由 AI 执行的评审过程。产品首先提供可检查的分项判断及其依据,再提供人为汇总的参考总分。
本文说明产品为什么这样设计;实际评审链路见 [核心评审机制](核心评审机制.md),调用方式见 [使用指南](使用指南.md)。
## 产品成立的前提与目标
随着 AI 进入论文生产工作流,论文产出加速,评价体系面对的处理压力也在增加。已有期刊观察到这一变化:Organization Science 的 AI 工作组在 2026 年报告,该刊投稿量自 ChatGPT 发布后增长了 42%,并指出 AI 辅助投稿的增长正在加重编辑和评审者的负担。这是单个期刊的观察,说明了压力形成的具体路径。[来源:期刊 AI 工作组报告](https://pubsonline.informs.org/doi/10.1287/orsc.2026.ed.v37.n3)
仅 **2026 年 8 月,arXiv 就收到 31,173 篇预印本新投稿**。这一数字采用 arXiv 官方月度统计的 `submissions` 口径,数据核验于 2026 年 9 月 10 日;它反映该平台的新投稿规模,不能单独说明其中多少增长由 AI 导致。[来源:arXiv 月度投稿统计](https://arxiv.org/stats/monthly_submissions) · [官方 CSV 数据](https://arxiv.org/stats/get_monthly_submissions)
IdeaLens 据此提出产品成立的前提:论文生产与传播能够快速扩张,而依赖专家逐篇阅读、判断和反馈的人工评审与同行互审体系,难以同步扩展处理能力。评价能力正在成为发现和传播学术价值的瓶颈;有价值的发现可能因为缺少及时、充分的评价而被淹没。这是产品对评价能力缺口的判断,并非上述投稿统计直接测得的供需差额。
**IdeaLens 的目标是构建开源、可审计、可复现、在单篇评审执行中无人工干预的 AI 评价系统,提升论文处理效率,让有价值的学术发现能更稳定地被看到。** 人负责制定分级依据、开展多轮提示词校准和设计汇总规则;系统依据固定流程自动完成论文评价并保留证据,使处理规模扩大时,判断依据仍然能够被检查和质疑。
## 一、可审计、可复现、完全开源的 AI 评审
产品以完全开源为原则,开放自身的评审代码、流程、提示词、分级依据和汇总规则,使使用者能够检查判断如何产生。这里的开放范围指 IdeaLens 自身,不表示依赖的模型权重也开放,也不要求用户论文和运行数据默认公开。
论文分析和分项判断交给 AI 执行。人参与标准制定、提示词校准及汇总规则设计,不在单次运行中临时替 AI 改分。程序负责既定规则的校验、允许的预判或产物复用、确定性计算及证据保存;自动评审不意味着每个步骤都必须重新调用模型。
可审计要求保留实际输入、流程版本、提示词、模型输出、分项依据和结果来源。可复现要求能够用固定执行定义重新运行并对照证据;它不承诺随机模型逐字返回同一结果,也不保证外部模型服务永远不变。相关边界见 [流程版本](评审流程版本.md) 和 [存储与显式冻结](存储与显式冻结.md)。
## 二、将开放评价问题拆成不同评审项
论文的结构贡献、方向价值、解决进度、结果改进、知识压缩和论证支持回答的是不同问题。IdeaLens 将它们分开,让每一项明确自己的评价对象、适用条件和判断依据,而不是直接依赖一个整体印象给论文打分。
分项之间可以共享经过约束的输入,但不能互相替代:方向重要不等于论文已经解决问题,进展大不等于论证充分,结构新也不自动代表效果改进大。主张提取和贡献分类帮助组织输入与描述,不把所有流程步骤都变成计分项。
## 三、分级的关键是可证伪依据
每个需要表达高低的评审项,都应寻找可证伪的分级依据:这一档成立需要什么条件,与相邻档的关键区别是什么,哪些材料或反例会使该档判断不能成立。
等级由这些条件支持,不能只依赖“很好”“很重要”“很有创新性”等模糊印象。保留分项理由,使判断可以被检查、反驳和修订。证据不足时保留未定,不将未知当作已满足条件。
可证伪分级是标准设计的核心,不意味着程序已经能机械证明所有条件,也不意味着 AI 的判级必然正确。规则正文与表达层次见 [等级规则](等级规则.md)。
## 四、固定分级依据,进行多轮提示词校准
在同一套可证伪分级依据不变的前提下,反复运行评审、观察偏差并调整执行提示词,改进 AI 对既定标准的理解和执行。校准同时关注与人工参考的一致程度,以及固定输入下多次判断的稳定程度。
这一过程调整的是提示词的表达、组织和判断引导,不是为了命中某个案例而偷偷改变等级条件。若发现需要修改分级依据,应作为独立的标准修订建立新版本,再重新验证,不能混同于原标准下的提示词校准。
人工参考不是注入评审模型的答案,也不覆盖本次分项结果。达到人工可接受范围和重复输出完全相同是两回事;相邻双值可以都被接受,但交替输出仍需如实反映。执行层的校准关系见 [核心评审机制](核心评审机制.md#人工校准与规则迭代)。
## 五、人工制定参考总分,后续用专家意见校准
总分的组合规则由人制定,再由程序将选定评审项的等级映射为分值并计算。人决定采用哪些项、如何组合,以及不同项之间的价值取舍;AI 不在每篇论文上自行改变算式。
算式是否执行正确可以检查和复算,但组合规则本身的合理性不具备分项分级那样的可证伪判据。计算确定,不等于权重和组合方式已经客观成立。
因此,当前总分只作为参考,不能替代分项结论及其理由,也不能宣称已经过专家验证。后续计划结合专家意见校准总分组合;这是尚待完成的工作,专家意见校准也不等于证明存在唯一正确的综合分数。当前计算方式见 [数值计分](数值计分.md)。
## 六、历史论文采用历史评审专用路径
历史论文所面对的知识、问题和基线与今天不同。产品通过历史时间语境、专用路由和角色说明,引导 AI 模拟论文发表时的评价环境,避免直接将今天的成熟能力、白名单或后世成果倒灌到历史判断中。
这种路径仍依赖 AI 对历史语境的理解与模拟,无法真正回到当时,也无法保证与新论文采用完全相同的实际标准和证据条件。即使保留共同的等级框架,也不能把两类结果自动视为完全同口径。
可审计能说明模拟采用了什么输入和规则,不能证明历史还原已经准确无误。时间锚点和语境不确定时应明确保留限制,不为了得到分数而补造史实。
## 七、问题空间是大部分评价的基础
论文的价值与进展需要放在它试图解决的问题中理解。问题空间提供评价对象、范围、成功条件和比较基线;脱离这些条件,方向价值、进度以及相关改进判断就缺少参照。
同一篇论文可以在不同问题空间下被评审,得到不同的价值与进度解释,因而不应被看作只有一个脱离评价视角的永久分数。改变问题空间时,必须保留论文真实支持的适用条件,并记录这次评价所采用的空间。
当前流程自动选择与论文主张、研究问题及成立条件最相适应的问题空间,再进行评价。这是选择最适合空间的目标,不是已证明找到全局唯一最优空间,也不是遍历多个空间后挑最高分。
实现中,方向价值和进度显式共享同一目标;结构、改进和知识压缩等评审还保留各自的比较对象与边界,不机械地把所有评审项套入同一字段。具体的自动选择、准入与扩展关系见 [核心评审机制](核心评审机制.md#目标与准入)。
Docs/数值计分.md
SHA-256 · c95a408afe9784742817ed114b8478baa698c0e1b32ab91f4ca6e45bf96cfd65
# 数值计分与结果解释
默认计分契约由 [Rubric](../Rubrics/idealens-value-v21.json) 维护,数值实现集中在 [scoring.py](../idealens/scoring.py)。指定流程版本使用其自己的冻结规则;报告重建使用原规则快照。
## 总分的参考性质
总分的选项、映射和组合方式由人制定,是综合不同评审项的价值取舍。算式是否执行正确可以核验和复算,但组合规则的合理性不具备分项分级那样的可证伪判据;不能因计算确定,就将总分当作已经客观成立的论文价值。
当前总分只作为参考,应与分项等级、理由和不确定性一起阅读。后续计划结合专家意见校准总分组合,尚不宣称已经完成专家验证。专家意见校准与固定分级标准下的提示词校准是不同工作;修改汇总规则仍须通过新版本记录,不能回写旧结果。产品定位见 [产品核心机制](产品核心机制.md)。
## 算式
总分=方向价值分 × 方向进度分。
| 等级 | 分值 |
|---|---|
| L0、L1、L2、L3、L4 | 0、1、2、4、8 |
| P0、P1、P2、P3 | 0、1、2、4 |
按当前映射推得的最高可得分为 32。它由参与项和映射动态计算,不是永久满分或归一化分母。结构、改进、知识压缩旁路及主贡献类型、标签、论证强度均不参与总分;人工校准也不替换模型等级。
## 未定、失败与零分
| 计分状态 | 含义 | 总分表现 |
|---|---|---|
| `complete` | 输入等级确定且完整,包括合法 L0/P0 | 确定总分 |
| `uncertain` | 有效评审仍存在未定等级 | 可能总分集合,不把未定当零 |
| `incomplete` | 所需输入失败、缺失、不可解析或不可用 | 总分为空,保留可确定部分 |
| `not_run` | 未配置或未执行总分步骤 | 不构造总分 |
未定值按量表候选传播,保留可能分数的实际集合;不能把不连续的集合改成任意整数区间。`known_subtotal` 只是可确定分项之和,不代表缺失项已得零分。
运行状态和计分状态分别判断:例如旁路或论证分支失败时,Run 可以为 failed,而其他输入仍足以产生 complete 分数。消费者必须同时展示两种状态,不能只凭一个数字报告执行成功。
报告依次展示方向价值、方向进度、论证强度、旁路判定;旁路保留判断和执行状态,不展示加分项。
## 复用、校准与重建
合法复用的等级属于本次评审输入,保留原目标、口径、日期和来源。是否允许自动复用由入口和固定流程政策决定,见 [流程版本](评审流程版本.md)。
校准用于人工值标注和身份兼容的比较;相邻双值表示可接受集合,不选择较高值覆盖本次结果。分支失败只阻断依赖后继,独立结果仍保留。
普通报告重建不改变原来的评审或计分规则。显式历史重算另存结果,不调用模型,不修改原 Run,也不将新计分结果冒充原交付版本。命令及数据契约见 [评分契约](Technical/SCORING_CONTRACTS.md)。
## 比较边界
相同算式不代表不同流程版本中的等级语义完全相同。对比分数前,应核对流程版本、目标、评分规则和评价时间口径;不能把口径变化产生的分差直接解释为论文或模型的进步。
总分不包含论证强度,也不由贡献类型或标签决定。较高总分不自动意味着论证更充分;需要同时读取相应独立评审及其状态。