IdeaLens · Help

How the total score is calculated

Distinguish grades from points, and compare scores carefully.

Current maintained rules · Checked 2026-09-10

The total is a reference, not an objective verdict

Choosing dimensions, mappings, and their combination involves human value judgments. The arithmetic can be checked, but the reasonableness of the combination does not have the same falsifiable criteria as individual grades. A deterministic calculation does not establish an objective measure of a paper’s value.

Read the current total alongside reasons, conditions, and uncertainty. Expert-informed calibration of the combination is planned, not claimed as completed. It is distinct from adjusting execution prompts under a fixed grading standard.

Current total = value points × progress points

This is the currently maintained formula. The site displays delivered numbers and does not rescore in the browser. Historical papers may use another formula: check the identity attached to the paper. This explanation does not rewrite older results.

Grades and points are separate

Assessment	Grade → points
Direction value	L0 → 0; L1 → 1; L2 → 2; L3 → 4; L4 → 8
Direction progress	P0 → 0; P1 → 1; P2 → 2; P3 → 4

A worked multiplication example

Value L3 gives 4 points and progress P2 gives 2 points, so the total is 4 × 2 = 8. The current maximum is 8 × 4 = 32. It follows from the participating dimensions and mapping, and is neither a permanent maximum nor a fixed denominator for percentages.

Structure, argument, improvement, knowledge compression, types, and tags do not enter the current total. Human calibration does not replace model grades.

Which scores can be compared?

The catalog is ordered by first publication date. The rubric label shows the paper’s IdeaLens delivery version and is hidden when that version is unavailable. A missing version does not establish shared scoring rules. Check delivery versions before comparing scores; even matching versions can have different targets, materials, time contexts, or assumptions. Scores under different rules should not be directly mixed, ranked, or averaged. Historical rescoring also requires checking the original assessment source.

Uncertainty is not zero

Preserve the actual set of possible totals. For example, possible value points {1, 2} with 4 progress points produce {4, 8}, not every integer from 4 through 8. Missing or failed required inputs leave an incomplete total empty. The known subtotal is not a total obtained by assigning zero to missing inputs.

Standards and prompt references

Original reference text captured for this help revision, not a paper’s run snapshot. Expand to inspect it; source text retains its original language. Paths below identify files within IdeaLens.

Docs/产品核心机制.md

SHA-256 · b6b8410237203850bed43c25ea133c00ff571e6762a7639912a4569682b69182

# 产品核心机制

IdeaLens 将论文评价这一开放问题，组织成以问题空间为参照、以可证伪分级依据为核心、由 AI 执行的评审过程。产品首先提供可检查的分项判断及其依据，再提供人为汇总的参考总分。

本文说明产品为什么这样设计；实际评审链路见 [核心评审机制](核心评审机制.md)，调用方式见 [使用指南](使用指南.md)。

## 产品成立的前提与目标

随着 AI 进入论文生产工作流，论文产出加速，评价体系面对的处理压力也在增加。已有期刊观察到这一变化：Organization Science 的 AI 工作组在 2026 年报告，该刊投稿量自 ChatGPT 发布后增长了 42%，并指出 AI 辅助投稿的增长正在加重编辑和评审者的负担。这是单个期刊的观察，说明了压力形成的具体路径。[来源：期刊 AI 工作组报告](https://pubsonline.informs.org/doi/10.1287/orsc.2026.ed.v37.n3)

仅 **2026 年 8 月，arXiv 就收到 31,173 篇预印本新投稿**。这一数字采用 arXiv 官方月度统计的 `submissions` 口径，数据核验于 2026 年 9 月 10 日；它反映该平台的新投稿规模，不能单独说明其中多少增长由 AI 导致。[来源：arXiv 月度投稿统计](https://arxiv.org/stats/monthly_submissions) · [官方 CSV 数据](https://arxiv.org/stats/get_monthly_submissions)

IdeaLens 据此提出产品成立的前提：论文生产与传播能够快速扩张，而依赖专家逐篇阅读、判断和反馈的人工评审与同行互审体系，难以同步扩展处理能力。评价能力正在成为发现和传播学术价值的瓶颈；有价值的发现可能因为缺少及时、充分的评价而被淹没。这是产品对评价能力缺口的判断，并非上述投稿统计直接测得的供需差额。

**IdeaLens 的目标是构建开源、可审计、可复现、在单篇评审执行中无人工干预的 AI 评价系统，提升论文处理效率，让有价值的学术发现能更稳定地被看到。** 人负责制定分级依据、开展多轮提示词校准和设计汇总规则；系统依据固定流程自动完成论文评价并保留证据，使处理规模扩大时，判断依据仍然能够被检查和质疑。

## 一、可审计、可复现、完全开源的 AI 评审

产品以完全开源为原则，开放自身的评审代码、流程、提示词、分级依据和汇总规则，使使用者能够检查判断如何产生。这里的开放范围指 IdeaLens 自身，不表示依赖的模型权重也开放，也不要求用户论文和运行数据默认公开。

论文分析和分项判断交给 AI 执行。人参与标准制定、提示词校准及汇总规则设计，不在单次运行中临时替 AI 改分。程序负责既定规则的校验、允许的预判或产物复用、确定性计算及证据保存；自动评审不意味着每个步骤都必须重新调用模型。

可审计要求保留实际输入、流程版本、提示词、模型输出、分项依据和结果来源。可复现要求能够用固定执行定义重新运行并对照证据；它不承诺随机模型逐字返回同一结果，也不保证外部模型服务永远不变。相关边界见 [流程版本](评审流程版本.md) 和 [存储与显式冻结](存储与显式冻结.md)。

## 二、将开放评价问题拆成不同评审项

论文的结构贡献、方向价值、解决进度、结果改进、知识压缩和论证支持回答的是不同问题。IdeaLens 将它们分开，让每一项明确自己的评价对象、适用条件和判断依据，而不是直接依赖一个整体印象给论文打分。

分项之间可以共享经过约束的输入，但不能互相替代：方向重要不等于论文已经解决问题，进展大不等于论证充分，结构新也不自动代表效果改进大。主张提取和贡献分类帮助组织输入与描述，不把所有流程步骤都变成计分项。

## 三、分级的关键是可证伪依据

每个需要表达高低的评审项，都应寻找可证伪的分级依据：这一档成立需要什么条件，与相邻档的关键区别是什么，哪些材料或反例会使该档判断不能成立。

等级由这些条件支持，不能只依赖“很好”“很重要”“很有创新性”等模糊印象。保留分项理由，使判断可以被检查、反驳和修订。证据不足时保留未定，不将未知当作已满足条件。

可证伪分级是标准设计的核心，不意味着程序已经能机械证明所有条件，也不意味着 AI 的判级必然正确。规则正文与表达层次见 [等级规则](等级规则.md)。

## 四、固定分级依据，进行多轮提示词校准

在同一套可证伪分级依据不变的前提下，反复运行评审、观察偏差并调整执行提示词，改进 AI 对既定标准的理解和执行。校准同时关注与人工参考的一致程度，以及固定输入下多次判断的稳定程度。

这一过程调整的是提示词的表达、组织和判断引导，不是为了命中某个案例而偷偷改变等级条件。若发现需要修改分级依据，应作为独立的标准修订建立新版本，再重新验证，不能混同于原标准下的提示词校准。

人工参考不是注入评审模型的答案，也不覆盖本次分项结果。达到人工可接受范围和重复输出完全相同是两回事；相邻双值可以都被接受，但交替输出仍需如实反映。执行层的校准关系见 [核心评审机制](核心评审机制.md#人工校准与规则迭代)。

## 五、人工制定参考总分，后续用专家意见校准

总分的组合规则由人制定，再由程序将选定评审项的等级映射为分值并计算。人决定采用哪些项、如何组合，以及不同项之间的价值取舍；AI 不在每篇论文上自行改变算式。

算式是否执行正确可以检查和复算，但组合规则本身的合理性不具备分项分级那样的可证伪判据。计算确定，不等于权重和组合方式已经客观成立。

因此，当前总分只作为参考，不能替代分项结论及其理由，也不能宣称已经过专家验证。后续计划结合专家意见校准总分组合；这是尚待完成的工作，专家意见校准也不等于证明存在唯一正确的综合分数。当前计算方式见 [数值计分](数值计分.md)。

## 六、历史论文采用历史评审专用路径

历史论文所面对的知识、问题和基线与今天不同。产品通过历史时间语境、专用路由和角色说明，引导 AI 模拟论文发表时的评价环境，避免直接将今天的成熟能力、白名单或后世成果倒灌到历史判断中。

这种路径仍依赖 AI 对历史语境的理解与模拟，无法真正回到当时，也无法保证与新论文采用完全相同的实际标准和证据条件。即使保留共同的等级框架，也不能把两类结果自动视为完全同口径。

可审计能说明模拟采用了什么输入和规则，不能证明历史还原已经准确无误。时间锚点和语境不确定时应明确保留限制，不为了得到分数而补造史实。

## 七、问题空间是大部分评价的基础

论文的价值与进展需要放在它试图解决的问题中理解。问题空间提供评价对象、范围、成功条件和比较基线；脱离这些条件，方向价值、进度以及相关改进判断就缺少参照。

同一篇论文可以在不同问题空间下被评审，得到不同的价值与进度解释，因而不应被看作只有一个脱离评价视角的永久分数。改变问题空间时，必须保留论文真实支持的适用条件，并记录这次评价所采用的空间。

当前流程自动选择与论文主张、研究问题及成立条件最相适应的问题空间，再进行评价。这是选择最适合空间的目标，不是已证明找到全局唯一最优空间，也不是遍历多个空间后挑最高分。

实现中，方向价值和进度显式共享同一目标；结构、改进和知识压缩等评审还保留各自的比较对象与边界，不机械地把所有评审项套入同一字段。具体的自动选择、准入与扩展关系见 [核心评审机制](核心评审机制.md#目标与准入)。

Docs/数值计分.md

SHA-256 · c95a408afe9784742817ed114b8478baa698c0e1b32ab91f4ca6e45bf96cfd65

# 数值计分与结果解释

默认计分契约由 [Rubric](../Rubrics/idealens-value-v21.json) 维护，数值实现集中在 [scoring.py](../idealens/scoring.py)。指定流程版本使用其自己的冻结规则；报告重建使用原规则快照。

## 总分的参考性质

总分的选项、映射和组合方式由人制定，是综合不同评审项的价值取舍。算式是否执行正确可以核验和复算，但组合规则的合理性不具备分项分级那样的可证伪判据；不能因计算确定，就将总分当作已经客观成立的论文价值。

当前总分只作为参考，应与分项等级、理由和不确定性一起阅读。后续计划结合专家意见校准总分组合，尚不宣称已经完成专家验证。专家意见校准与固定分级标准下的提示词校准是不同工作；修改汇总规则仍须通过新版本记录，不能回写旧结果。产品定位见 [产品核心机制](产品核心机制.md)。

## 算式

总分＝方向价值分 × 方向进度分。

| 等级 | 分值 |
|---|---|
| L0、L1、L2、L3、L4 | 0、1、2、4、8 |
| P0、P1、P2、P3 | 0、1、2、4 |

按当前映射推得的最高可得分为 32。它由参与项和映射动态计算，不是永久满分或归一化分母。结构、改进、知识压缩旁路及主贡献类型、标签、论证强度均不参与总分；人工校准也不替换模型等级。

## 未定、失败与零分

| 计分状态 | 含义 | 总分表现 |
|---|---|---|
| `complete` | 输入等级确定且完整，包括合法 L0/P0 | 确定总分 |
| `uncertain` | 有效评审仍存在未定等级 | 可能总分集合，不把未定当零 |
| `incomplete` | 所需输入失败、缺失、不可解析或不可用 | 总分为空，保留可确定部分 |
| `not_run` | 未配置或未执行总分步骤 | 不构造总分 |

未定值按量表候选传播，保留可能分数的实际集合；不能把不连续的集合改成任意整数区间。`known_subtotal` 只是可确定分项之和，不代表缺失项已得零分。

运行状态和计分状态分别判断：例如旁路或论证分支失败时，Run 可以为 failed，而其他输入仍足以产生 complete 分数。消费者必须同时展示两种状态，不能只凭一个数字报告执行成功。

报告依次展示方向价值、方向进度、论证强度、旁路判定；旁路保留判断和执行状态，不展示加分项。

## 复用、校准与重建

合法复用的等级属于本次评审输入，保留原目标、口径、日期和来源。是否允许自动复用由入口和固定流程政策决定，见 [流程版本](评审流程版本.md)。

校准用于人工值标注和身份兼容的比较；相邻双值表示可接受集合，不选择较高值覆盖本次结果。分支失败只阻断依赖后继，独立结果仍保留。

普通报告重建不改变原来的评审或计分规则。显式历史重算另存结果，不调用模型，不修改原 Run，也不将新计分结果冒充原交付版本。命令及数据契约见 [评分契约](Technical/SCORING_CONTRACTS.md)。

## 比较边界

相同算式不代表不同流程版本中的等级语义完全相同。对比分数前，应核对流程版本、目标、评分规则和评价时间口径；不能把口径变化产生的分差直接解释为论文或模型的进步。

总分不包含论证强度，也不由贡献类型或标签决定。较高总分不自动意味着论证更充分；需要同时读取相应独立评审及其状态。

The total is a reference, not an objective verdict

Assessment

Grade → points

Direction value

L0 → 0; L1 → 1; L2 → 2; L3 → 4; L4 → 8

Direction progress

P0 → 0; P1 → 1; P2 → 2; P3 → 4

A worked multiplication example

Structure, argument, improvement, knowledge compression, types, and tags do not enter the current total. Human calibration does not replace model grades.

Which scores can be compared?

Uncertainty is not zero

Standards and prompt references

Original reference text captured for this help revision, not a paper’s run snapshot. Expand to inspect it; source text retains its original language. Paths below identify files within IdeaLens.

Docs/产品核心机制.md

SHA-256 · b6b8410237203850bed43c25ea133c00ff571e6762a7639912a4569682b69182

# 产品核心机制

IdeaLens 将论文评价这一开放问题，组织成以问题空间为参照、以可证伪分级依据为核心、由 AI 执行的评审过程。产品首先提供可检查的分项判断及其依据，再提供人为汇总的参考总分。

本文说明产品为什么这样设计；实际评审链路见 [核心评审机制](核心评审机制.md)，调用方式见 [使用指南](使用指南.md)。

## 产品成立的前提与目标

随着 AI 进入论文生产工作流，论文产出加速，评价体系面对的处理压力也在增加。已有期刊观察到这一变化：Organization Science 的 AI 工作组在 2026 年报告，该刊投稿量自 ChatGPT 发布后增长了 42%，并指出 AI 辅助投稿的增长正在加重编辑和评审者的负担。这是单个期刊的观察，说明了压力形成的具体路径。[来源：期刊 AI 工作组报告](https://pubsonline.informs.org/doi/10.1287/orsc.2026.ed.v37.n3)

仅 **2026 年 8 月，arXiv 就收到 31,173 篇预印本新投稿**。这一数字采用 arXiv 官方月度统计的 `submissions` 口径，数据核验于 2026 年 9 月 10 日；它反映该平台的新投稿规模，不能单独说明其中多少增长由 AI 导致。[来源：arXiv 月度投稿统计](https://arxiv.org/stats/monthly_submissions) · [官方 CSV 数据](https://arxiv.org/stats/get_monthly_submissions)

IdeaLens 据此提出产品成立的前提：论文生产与传播能够快速扩张，而依赖专家逐篇阅读、判断和反馈的人工评审与同行互审体系，难以同步扩展处理能力。评价能力正在成为发现和传播学术价值的瓶颈；有价值的发现可能因为缺少及时、充分的评价而被淹没。这是产品对评价能力缺口的判断，并非上述投稿统计直接测得的供需差额。

**IdeaLens 的目标是构建开源、可审计、可复现、在单篇评审执行中无人工干预的 AI 评价系统，提升论文处理效率，让有价值的学术发现能更稳定地被看到。** 人负责制定分级依据、开展多轮提示词校准和设计汇总规则；系统依据固定流程自动完成论文评价并保留证据，使处理规模扩大时，判断依据仍然能够被检查和质疑。

## 一、可审计、可复现、完全开源的 AI 评审

产品以完全开源为原则，开放自身的评审代码、流程、提示词、分级依据和汇总规则，使使用者能够检查判断如何产生。这里的开放范围指 IdeaLens 自身，不表示依赖的模型权重也开放，也不要求用户论文和运行数据默认公开。

论文分析和分项判断交给 AI 执行。人参与标准制定、提示词校准及汇总规则设计，不在单次运行中临时替 AI 改分。程序负责既定规则的校验、允许的预判或产物复用、确定性计算及证据保存；自动评审不意味着每个步骤都必须重新调用模型。

可审计要求保留实际输入、流程版本、提示词、模型输出、分项依据和结果来源。可复现要求能够用固定执行定义重新运行并对照证据；它不承诺随机模型逐字返回同一结果，也不保证外部模型服务永远不变。相关边界见 [流程版本](评审流程版本.md) 和 [存储与显式冻结](存储与显式冻结.md)。

## 二、将开放评价问题拆成不同评审项

论文的结构贡献、方向价值、解决进度、结果改进、知识压缩和论证支持回答的是不同问题。IdeaLens 将它们分开，让每一项明确自己的评价对象、适用条件和判断依据，而不是直接依赖一个整体印象给论文打分。

分项之间可以共享经过约束的输入，但不能互相替代：方向重要不等于论文已经解决问题，进展大不等于论证充分，结构新也不自动代表效果改进大。主张提取和贡献分类帮助组织输入与描述，不把所有流程步骤都变成计分项。

## 三、分级的关键是可证伪依据

每个需要表达高低的评审项，都应寻找可证伪的分级依据：这一档成立需要什么条件，与相邻档的关键区别是什么，哪些材料或反例会使该档判断不能成立。

等级由这些条件支持，不能只依赖“很好”“很重要”“很有创新性”等模糊印象。保留分项理由，使判断可以被检查、反驳和修订。证据不足时保留未定，不将未知当作已满足条件。

可证伪分级是标准设计的核心，不意味着程序已经能机械证明所有条件，也不意味着 AI 的判级必然正确。规则正文与表达层次见 [等级规则](等级规则.md)。

## 四、固定分级依据，进行多轮提示词校准

在同一套可证伪分级依据不变的前提下，反复运行评审、观察偏差并调整执行提示词，改进 AI 对既定标准的理解和执行。校准同时关注与人工参考的一致程度，以及固定输入下多次判断的稳定程度。

这一过程调整的是提示词的表达、组织和判断引导，不是为了命中某个案例而偷偷改变等级条件。若发现需要修改分级依据，应作为独立的标准修订建立新版本，再重新验证，不能混同于原标准下的提示词校准。

人工参考不是注入评审模型的答案，也不覆盖本次分项结果。达到人工可接受范围和重复输出完全相同是两回事；相邻双值可以都被接受，但交替输出仍需如实反映。执行层的校准关系见 [核心评审机制](核心评审机制.md#人工校准与规则迭代)。

## 五、人工制定参考总分，后续用专家意见校准

总分的组合规则由人制定，再由程序将选定评审项的等级映射为分值并计算。人决定采用哪些项、如何组合，以及不同项之间的价值取舍；AI 不在每篇论文上自行改变算式。

算式是否执行正确可以检查和复算，但组合规则本身的合理性不具备分项分级那样的可证伪判据。计算确定，不等于权重和组合方式已经客观成立。

因此，当前总分只作为参考，不能替代分项结论及其理由，也不能宣称已经过专家验证。后续计划结合专家意见校准总分组合；这是尚待完成的工作，专家意见校准也不等于证明存在唯一正确的综合分数。当前计算方式见 [数值计分](数值计分.md)。

## 六、历史论文采用历史评审专用路径

历史论文所面对的知识、问题和基线与今天不同。产品通过历史时间语境、专用路由和角色说明，引导 AI 模拟论文发表时的评价环境，避免直接将今天的成熟能力、白名单或后世成果倒灌到历史判断中。

这种路径仍依赖 AI 对历史语境的理解与模拟，无法真正回到当时，也无法保证与新论文采用完全相同的实际标准和证据条件。即使保留共同的等级框架，也不能把两类结果自动视为完全同口径。

可审计能说明模拟采用了什么输入和规则，不能证明历史还原已经准确无误。时间锚点和语境不确定时应明确保留限制，不为了得到分数而补造史实。

## 七、问题空间是大部分评价的基础

论文的价值与进展需要放在它试图解决的问题中理解。问题空间提供评价对象、范围、成功条件和比较基线；脱离这些条件，方向价值、进度以及相关改进判断就缺少参照。

同一篇论文可以在不同问题空间下被评审，得到不同的价值与进度解释，因而不应被看作只有一个脱离评价视角的永久分数。改变问题空间时，必须保留论文真实支持的适用条件，并记录这次评价所采用的空间。

当前流程自动选择与论文主张、研究问题及成立条件最相适应的问题空间，再进行评价。这是选择最适合空间的目标，不是已证明找到全局唯一最优空间，也不是遍历多个空间后挑最高分。

实现中，方向价值和进度显式共享同一目标；结构、改进和知识压缩等评审还保留各自的比较对象与边界，不机械地把所有评审项套入同一字段。具体的自动选择、准入与扩展关系见 [核心评审机制](核心评审机制.md#目标与准入)。

Docs/数值计分.md

SHA-256 · c95a408afe9784742817ed114b8478baa698c0e1b32ab91f4ca6e45bf96cfd65

# 数值计分与结果解释

默认计分契约由 [Rubric](../Rubrics/idealens-value-v21.json) 维护，数值实现集中在 [scoring.py](../idealens/scoring.py)。指定流程版本使用其自己的冻结规则；报告重建使用原规则快照。

## 总分的参考性质

总分的选项、映射和组合方式由人制定，是综合不同评审项的价值取舍。算式是否执行正确可以核验和复算，但组合规则的合理性不具备分项分级那样的可证伪判据；不能因计算确定，就将总分当作已经客观成立的论文价值。

当前总分只作为参考，应与分项等级、理由和不确定性一起阅读。后续计划结合专家意见校准总分组合，尚不宣称已经完成专家验证。专家意见校准与固定分级标准下的提示词校准是不同工作；修改汇总规则仍须通过新版本记录，不能回写旧结果。产品定位见 [产品核心机制](产品核心机制.md)。

## 算式

总分＝方向价值分 × 方向进度分。

| 等级 | 分值 |
|---|---|
| L0、L1、L2、L3、L4 | 0、1、2、4、8 |
| P0、P1、P2、P3 | 0、1、2、4 |

按当前映射推得的最高可得分为 32。它由参与项和映射动态计算，不是永久满分或归一化分母。结构、改进、知识压缩旁路及主贡献类型、标签、论证强度均不参与总分；人工校准也不替换模型等级。

## 未定、失败与零分

| 计分状态 | 含义 | 总分表现 |
|---|---|---|
| `complete` | 输入等级确定且完整，包括合法 L0/P0 | 确定总分 |
| `uncertain` | 有效评审仍存在未定等级 | 可能总分集合，不把未定当零 |
| `incomplete` | 所需输入失败、缺失、不可解析或不可用 | 总分为空，保留可确定部分 |
| `not_run` | 未配置或未执行总分步骤 | 不构造总分 |

未定值按量表候选传播，保留可能分数的实际集合；不能把不连续的集合改成任意整数区间。`known_subtotal` 只是可确定分项之和，不代表缺失项已得零分。

运行状态和计分状态分别判断：例如旁路或论证分支失败时，Run 可以为 failed，而其他输入仍足以产生 complete 分数。消费者必须同时展示两种状态，不能只凭一个数字报告执行成功。

报告依次展示方向价值、方向进度、论证强度、旁路判定；旁路保留判断和执行状态，不展示加分项。

## 复用、校准与重建

合法复用的等级属于本次评审输入，保留原目标、口径、日期和来源。是否允许自动复用由入口和固定流程政策决定，见 [流程版本](评审流程版本.md)。

校准用于人工值标注和身份兼容的比较；相邻双值表示可接受集合，不选择较高值覆盖本次结果。分支失败只阻断依赖后继，独立结果仍保留。

普通报告重建不改变原来的评审或计分规则。显式历史重算另存结果，不调用模型，不修改原 Run，也不将新计分结果冒充原交付版本。命令及数据契约见 [评分契约](Technical/SCORING_CONTRACTS.md)。

## 比较边界

相同算式不代表不同流程版本中的等级语义完全相同。对比分数前，应核对流程版本、目标、评分规则和评价时间口径；不能把口径变化产生的分差直接解释为论文或模型的进步。

总分不包含论证强度，也不由贡献类型或标签决定。较高总分不自动意味着论证更充分；需要同时读取相应独立评审及其状态。