IdeaLens · Help
How to read a research guide
Read the problem, mechanism, assessment, and limits together.
Current maintained rules · Checked 2026-09-10
Start with the question the paper addresses
A research guide connects four sections: problem, mechanism, assessment, and limits. Read the title, summary, and problem first to establish whether the research addresses your concern. Then examine the mechanism and its boundaries. The score offers one perspective; it cannot replace this reading.
An original title comes from the source in that language; translated titles are labeled. The Chinese and English guides refer to the same assessment and sources. Switching languages does not mean a separate assessment was performed.
How the four sections work together
| Section | What to look for |
|---|---|
| Problem | The original question, direct effect, prerequisites, and evaluation target. |
| Mechanism | The relationships, rules, or methods that carry the contribution. |
| Assessment | Reasons for value and progress, alongside independent judgments such as structure and argument. |
| Limits | Scope exclusions, necessary conditions, remaining gaps, and uncertainty. |
Separate scores, contribution types, and support
Types and tags describe what the contribution is. Direction value and progress describe the importance of the target and the advance toward it. Argument strength examines support for the actual claim. An L3 in one dimension does not have the same meaning as L3 in another.
Expand “Assessment references” beneath a section to see which outputs it uses and open their method explanations. Check source materials, dates, and revision identities at the end of the guide. Read missing or uncertain results together with their status.
An example reading order
For a new search method, first identify the task and resource constraints, then understand its search rules and its advance on the target bottleneck. Finally, check support for the promised effects and whether the conclusions depend on a particular dataset or budget. This illustrates a reading method, not an assessment of a real paper.
Standards and prompt references
Original reference text captured for this help revision, not a paper’s run snapshot. Expand to inspect it; source text retains its original language. Paths below identify files within IdeaLens.
Docs/核心评审机制.md
SHA-256 · d58d682dc6cd477a388e3c969579340ee04bf93a76312e0c9759460e87ec85af
# 核心评审机制
产品的评价主张、可证伪分级、参考总分与历史模拟限制见 [产品核心机制](产品核心机制.md)。本文只说明这些主张如何落实为实际评审链路。
IdeaLens 将论文中的主张、结构增量、目标价值、方向进度和其他评价分开处理,再按固定规则计算总分。本文说明维护中的默认流程;指定外部流程版本时,以该版本的执行定义为准。
## 基本对象
| 名称 | 含义 |
|---|---|
| Claim(论文主张) | 从论文提取、保留来源与适用条件的评价输入,不是对论文真实性的自动认证 |
| Run(单次评审) | 对一篇论文执行一次所选评审定义并保存证据 |
| Artifact(冻结产物) | 经显式冻结、可在兼容条件下复用的结果,和每次 Run 必须保存的快照不同 |
| Batch(批次) | 多个独立 Run 的组织与汇总,不是新的评分尺度 |
外部流程版本固定整套执行定义;内部配置、任务实现和接口版本负责追踪组成部分。流程版本号不是 Run 序号,也不是模型输出的版本号。
## 评审关系
```text
论文 → Claim 提取
Claim → 最近邻吸收审计 → 统一结构评审
Claim → 主贡献类型与标签
Claim → 目标选择与准入 → 方向价值
论文、Claim、同一目标 → 方向进度 → 独立论证强度
Claim、结构、方向 → 改进强度
论文、Claim → 知识压缩
方向价值、方向进度 → 确定性计分
```
| 环节 | 职责 |
|---|---|
| Claim | 提取论文主张、适用条件、推广范围和时间锚点,保持来源与原文模态 |
| 最近邻与结构 | 区分已有内容能够吸收的部分,评价剩余结构增量,统一输出 L0–L4,不参与总分 |
| 类型与标签 | 给出主贡献类型和受控标签,不据此推导结构等级或分数 |
| 目标与价值 | 先确定评价对象,再评价该目标的方向价值;不能用论文进度替代价值 |
| 方向进度 | 在主张成立的假设下,评价论文相对于同一目标的进展,保留条件和模态 |
| 论证强度 | 根据原文、进度描述和等级独立评价论证,不参与总分 |
| 改进强度 | 在主张成立的假设下,比较共同基线、指标和资源条件下可衡量的结果变化,不借结构或方向价值抬级,不参与总分 |
| 知识压缩 | 在固定范围和精度下评价认知负担的净减少,新增前提和工具成本须算回,必要区别仍须可恢复,不参与总分 |
| 计分 | 方向价值分乘方向进度分,不由模型自行改算式 |
## 目标与准入
问题空间提供评价对象、范围、成功条件和比较基线。同一篇论文可以在不同问题空间中被评审;改变空间可能改变价值和进度的含义,须记录所用目标及条件,不能只比较一个脱离视角的分数。当前自动选择以与论文主张及边界相适应为目标,不证明全局唯一最优,也不自动搜索最高分空间。
原始研究问题先匹配维护中的必要问题或已确认瓶颈。明确命中并通过程序准入时,采用对应目标及已确认等级。未命中或不确定时,最多向上扩展一层功能目标,也可以不扩展;生成的普通目标不能重新借用白名单身份。
目标定义保持 `id / version / definition` 三字段。定义中的适用前提和未确定范围贯穿后续评价。指定目标、读取缓存或复评不能绕过准入校验;命中必要问题不等于论文已经解决整个目标。
## 时间、未知与证据
评价日期和发表锚点共同决定时间语境。历史路径要求避免使用今天的白名单或后世成功充当当时证据;锚点不确定时不猜造时间,也不强行选择一个时点继续正式评分。校准文件的时间模式只控制比较资格,不替代模型路由。
历史路径依赖 AI 对发表时知识、问题和基线的理解与模拟,不能保证与新论文具有完全相同的实际评价条件。记录时间政策和来源可供审计,不证明历史语境已经还原准确。
条件不成立、执行失败、结果缺失、评审未定和有效零等级是不同状态。程序能检查字段、来源、哈希和契约一致性,不能因此证明模型语义判断正确。
## 人工校准与规则迭代
人工校准为评审提供独立的比较参照,不是向模型提供答案。普通 Run 可用论文侧车参考值作标注和比较;单项校准集固定输入、重复执行目标评审,用于观察偏差和稳定性。两类人工值各有自己的适用范围,不自动互相覆盖。
人工确认的白名单目标等级属于流程的规则输入,通过准入后可以作为方向价值参与计分;校准参考值则用于结果比较,不替换本次等级。两者的用途不同,不能混同。
人工一致率回答“是否落在人工可接受范围”,重复一致率回答“多次实际判断是否一致”。相邻双值可以都被接受,但 L1/L2 交替仍不等于输出稳定。比较要核对论文内容、目标和评价语境;条件性或待澄清锚点须连同说明解读,不能把每个偏差直接等同于模型错误。
迭代过程是:人工确认参照 → 校准观察 → 判断是输入、规则还是表达问题 → 修改并验证 → 发布内部版本;需要对外交付时再发布新的流程版本。只改三级表达应保持等级含义,改变二级语义须新建标准版本。更新人工参照不代表模型表现已经改善,也不回写旧 Run。
## 独立评审与批次
每篇论文独立执行并留证。批次调度不会将同批其他论文或结果自动作为本篇的比较上下文,也不按本批次的相对排名评分;跨 Run 的产物复用仍须满足来源和兼容性约束。
并行只改变调度,不改变评分规则。原生 Batch 的补跑只处理已正常结束批次中的失败项,成功项不重复执行;它不接管异常中断的进程。外部 flow 目前只提供单篇入口,Workshop 可以自行组织并行请求,不能把它当作已实现的原生 Batch 流程版本接口。
## 结果与版本
每次 Run 保存实际输入、执行定义和结果;可复用 Artifact 必须另行显式冻结。固定流程版本隔离开发环境,内部版本仍用于诊断与兼容性检查。校准用于标注和比较,不修改评分,也不作为额外答案注入评审。
等级依据见 [等级规则](等级规则.md),分数解释见 [数值计分](数值计分.md)。字段、路由和维护接口见 [技术文档](Technical/README.md)。