跳至正文 / Skip to content
IdeaValue
Reading editPaper searchAbout IdeaValueHelp

IdeaValue 讨论研究主张成立条件下的价值,不替代证据核验。

不持有论文原文 · 来源始终指向外部页面

帮助中心 · Help

Site v0.2.0 · b048ba1e

应用版本:0.2.0 · 提交:b048ba1ef689ad8acb5a8fb1c4a4df80ac542172

构建时间:2026-09-11T10:40:08.260Z

版本信息 JSON
← Browse research guides中文
Help center/Rule versions, prompts, and sources

Start here

  • How to read a research guide
  • The assessment process

Claims & classification

  • Claims and their boundaries
  • Primary contribution types
  • Contribution tags

Assessment methods

  • Choosing the evaluation target
  • Direction value
  • Direction progress
  • Argument strength
  • Structural increment and nearest neighbors
  • Improvement strength
  • Knowledge compression

Scores & sources

  • How the total score is calculated
  • Uncertainty, missing results, and execution
  • Evaluation time and historical papers
  • Rule versions, prompts, and sources
Browse all help topics

Start here

  • How to read a research guide
  • The assessment process

Claims & classification

  • Claims and their boundaries
  • Primary contribution types
  • Contribution tags

Assessment methods

  • Choosing the evaluation target
  • Direction value
  • Direction progress
  • Argument strength
  • Structural increment and nearest neighbors
  • Improvement strength
  • Knowledge compression

Scores & sources

  • How the total score is calculated
  • Uncertainty, missing results, and execution
  • Evaluation time and historical papers
  • Rule versions, prompts, and sources

IdeaLens · Help

Rule versions, prompts, and sources

Trace materials, assessments, guide revisions, and their rules.

Current maintained rules · Checked 2026-09-10

A paper’s actual assessment follows its own frozen rules. This page explains the current mechanism; it does not change historical results.

About versions and sources
On this page
  • Trace four layers of sources
  • How standards and execution prompts relate
  • Distinguish rescoring, reassessment, and calibration
  • Which versions does this help explain?
  • Reference snapshots

Trace four layers of sources

LayerWhat to check
Paper materialsOriginal and prepared text, source version, and the actual evaluated input.
Extraction and assessmentClaim, target, run and result identities, and actual execution rules.
ScoringThe rubric uses the IdeaLens delivery version and is hidden when unavailable. Historical rescoring also requires checking the original assessment source.
Guide contentThe content specification and the exact revision bound to approval.

How standards and execution prompts relate

Level 1 specifies writing requirements, level 2 fixes task standards, and level 3 states the executable task independently. These are authoring and audit constraints, not three documents concatenated for each call. Actual execution uses level 3 prompts, shared execution fragments, and the run’s inputs.

Changes to grade, type, or tag semantics require a new standard version. Wording changes must also retain execution identity. Process versions, workflow forks, interfaces, and scoring rules are distinct; one number cannot identify all of them.

Distinguish rescoring, reassessment, and calibration

Historical rescoring applies explicit rules to existing grades and preserves the original assessment source. It is not a new assessment. Reassessment creates new assessment results. Human calibration supports annotation and comparison without overwriting model grades or injecting human answers into the assessment.

Approval binds a guide revision and authorizes publication of that content. It does not establish independent verification of the paper’s facts or the model’s judgments.

Which versions does this help explain?

This collection was checked against maintained IdeaLens documents and execution prompts on 2026-09-10. Classification uses standard v3, value v8, and progress and argument v2. Each page lists its sources. Current explanations cannot automatically be labeled as the actual rules for every historical paper.

Expand the reference snapshots below each article to inspect source locations, SHA-256 digests, and original text. These are references used to write the help, not the frozen inputs of a particular paper’s run. English help is an explanatory translation; reference text retains its original language.

Standards and prompt references

Original reference text captured for this help revision, not a paper’s run snapshot. Expand to inspect it; source text retains its original language. Paths below identify files within IdeaLens.

Docs/等级规则.md

SHA-256 · 46ea30ff6604c946583b6fc8b3f8d14c202b0efe767c02296a4922f07348b9e1

# 等级规则与三级文档

等级标准正文保留在 Prompts;Docs 说明它们如何约束评审,不复制另一套等级条件。

## 可证伪分级依据

对需要表达高低的评审项,关键是明确各档成立条件、相邻档的区别,以及哪些材料会推翻该档判断。等级与理由应能被检查和质疑,不以模糊印象代替依据。可证伪的分级设计不等于 AI 判断已经正确,也不等于程序能机械证明所有条件。

在这些分级依据保持不变时,进行多轮提示词校准,改进执行表达和判断稳定性;为了追求样例命中而改变等级含义,属于标准修订,须独立版本化。产品层的设计理由见 [产品核心机制](产品核心机制.md)。

## 三级关系

| 层级 | 职责 | 入口 |
|---|---|---|
| 第一级:编写要求 | 约束规则的表达、编写和审计原则 | [等级编写要求](../Prompts/L1_Requirements/grading.md) |
| 第二级:任务标准 | 固定等级含义、关键条件、相邻差别和方向性描述 | [各任务标准](../Prompts/L2_Standards) |
| 第三级:执行提示词 | 在上层约束下独立完整地表述执行任务 | [执行提示词](../Prompts/L3_Prompts) |

三级关系是编写时的指导与约束,不是运行时拼接关系。实际模型调用使用三级内容、同级执行片段和任务输入,不注入一级、二级原文,也不要求模型另行读取它们。

日常校准可以修改三级措辞、组织和引导,但必须保留二级的等级条件和边界。改变等级含义须新增标准版本,并处理评审身份及产物兼容性;不能原地改写旧标准来迁就模型结果。“可证伪描述”和“方向性描述”是二级内部的两类内容,不是两个层级。

## 标准入口

| 评审项 | 标准 | 输出 |
|---|---|---|
| 结构增量 | [结构标准](../Prompts/L2_Standards/structure_increment/v1.md) | L0–L4 |
| 方向价值 | [方向价值标准](../Prompts/L2_Standards/direction_value/v8.md) | L0–L4 |
| 方向进度 | [进度标准](../Prompts/L2_Standards/direction_progress/v2.md) | P0–P3 |
| 改进强度 | [改进标准](../Prompts/L2_Standards/improvement_strength/v1.md) | L0–L4 |
| 知识压缩 | [知识压缩标准](../Prompts/L2_Standards/knowledge_compression/v1.md) | L0–L4 |
| 论证强度 | [论证标准](../Prompts/L2_Standards/argument_strength/v2.md) | L0–L4 或未定,不计分 |
| 主贡献类型与标签 | [分类标准](../Prompts/L2_Standards/contribution_classification/v3.md) | 类型与标签,不计分 |

总分只使用方向价值与方向进度;结构、改进和知识压缩保留独立判断,不计分。详见[数值计分](数值计分.md)。

表中链接是当前维护入口,不表示所有历史流程版本都采用这些版本。执行时以所选流程的冻结内容为准。

## 维护边界

关键升档条件与相邻差别应简短、明确;未定不能当作低等级,材料不足不能靠补造前提升档。发布校验能核对接口、依赖和文件身份,不能替代语义审计或模型表现验证。

维护操作见 [规则维护](Technical/RULE_MAINTENANCE.md),原始规范和审计来源见 [历史来源](Technical/HISTORICAL_SOURCES.md)。旧原文保留真实字节和原始语境,不作为当前执行要求直接注入。
Docs/评审流程版本.md

SHA-256 · 4793878f219e81c6c9742f6bf71bf650f21a292667b8a16b83dc0811b0c5918e

# 评审流程版本

外部版本号代表评审流程,不代表开发软件的部署版本。内部配置、Workflow 的 Fork、接口及规则版本继续独立递增;外部流程号通过不可移动的 `flow/v<版本号>` 标签绑定一组固定内容。

## 隔离方式

显式准备后,代码、配置、提示词和规则保存在外部证据根的 `FlowVersions/<版本>/`。外部调用启动该目录中的独立 Python 进程,使用其中的执行定义。开发目录可以继续迭代,不需要停留在流程标签对应的提交。

```powershell
python run.py flow prepare 0.0.2
python run.py flow show 0.0.2
python run.py flow run 0.0.2 <论文路径>
```

准备依据固定 Git 提交,不读取开发目录的未提交内容。相同版本和内容可重复准备;同版本不同内容拒绝覆盖。调用只接受精确版本号,不接受 latest,不隐式准备,不退回其他版本。

## 固定口径与本次输入

| 随流程固定 | 由本次请求提供 |
|---|---|
| 运行配置、计分 Rubric、模型、推理参数、Agent 命令、默认并行数和复用政策 | 论文、可选并行数、评价日期、显式 Claim 引用及回执参数 |

执行政策维护于 [Configs/flow.toml](../Configs/flow.toml)。更改固定口径应发布新的流程版本,而不是向外部入口传入配置或模型覆盖参数。

流程默认不扫描活动 Claim,也不读取隐式目标价值缓存;显式 Claim 复用仍需通过身份和内容校验。人工确认的目标等级来自该流程的规则配置。流程准备不生成模型 Artifact,评审也不自动发布 Artifact。

## 换机器与追溯

换机器后获取相同源提交和标签,再执行 prepare。清单与快照在本机生成,内容身份不包含本机绝对路径;运行仍需要兼容的 Python 和可用的 Agent CLI/认证。

计划、成功回执及运行记录保存 `flow_version`、`flow_sha256` 和 `git_commit`;`delivery_version` 是兼容字段,流程执行时等于 `flow_version`。历史报告读取已保存的身份,不按今天的开发版本重新赋值。接口细节见 [执行回执](外部调用与回执.md)。

旧 `delivery/v0.0.1` 标签保留,不能转换或移动来冒充新流程版本;新机制使用 `flow/v0.0.2` 起的标签。内部发布和旧记录兼容见 [技术说明](Technical/LEGACY_COMPATIBILITY.md)。

## 保证范围

版本固定可控的执行内容和评审口径,不保证模型输出逐字相同;远端模型服务和本机 Agent CLI 的变化需要另行记录。原生 Batch 按流程版本启动和补跑尚未接入,可由 Workshop 并行调用单篇入口。

发布、自检、子进程隔离和故障定位见 [流程实现](Technical/FLOW_IMPLEMENTATION.md)。
Docs/核心评审机制.md

SHA-256 · d58d682dc6cd477a388e3c969579340ee04bf93a76312e0c9759460e87ec85af

# 核心评审机制

产品的评价主张、可证伪分级、参考总分与历史模拟限制见 [产品核心机制](产品核心机制.md)。本文只说明这些主张如何落实为实际评审链路。

IdeaLens 将论文中的主张、结构增量、目标价值、方向进度和其他评价分开处理,再按固定规则计算总分。本文说明维护中的默认流程;指定外部流程版本时,以该版本的执行定义为准。

## 基本对象

| 名称 | 含义 |
|---|---|
| Claim(论文主张) | 从论文提取、保留来源与适用条件的评价输入,不是对论文真实性的自动认证 |
| Run(单次评审) | 对一篇论文执行一次所选评审定义并保存证据 |
| Artifact(冻结产物) | 经显式冻结、可在兼容条件下复用的结果,和每次 Run 必须保存的快照不同 |
| Batch(批次) | 多个独立 Run 的组织与汇总,不是新的评分尺度 |

外部流程版本固定整套执行定义;内部配置、任务实现和接口版本负责追踪组成部分。流程版本号不是 Run 序号,也不是模型输出的版本号。

## 评审关系

```text
论文 → Claim 提取
Claim → 最近邻吸收审计 → 统一结构评审
Claim → 主贡献类型与标签
Claim → 目标选择与准入 → 方向价值
论文、Claim、同一目标 → 方向进度 → 独立论证强度
Claim、结构、方向 → 改进强度
论文、Claim → 知识压缩
方向价值、方向进度 → 确定性计分
```

| 环节 | 职责 |
|---|---|
| Claim | 提取论文主张、适用条件、推广范围和时间锚点,保持来源与原文模态 |
| 最近邻与结构 | 区分已有内容能够吸收的部分,评价剩余结构增量,统一输出 L0–L4,不参与总分 |
| 类型与标签 | 给出主贡献类型和受控标签,不据此推导结构等级或分数 |
| 目标与价值 | 先确定评价对象,再评价该目标的方向价值;不能用论文进度替代价值 |
| 方向进度 | 在主张成立的假设下,评价论文相对于同一目标的进展,保留条件和模态 |
| 论证强度 | 根据原文、进度描述和等级独立评价论证,不参与总分 |
| 改进强度 | 在主张成立的假设下,比较共同基线、指标和资源条件下可衡量的结果变化,不借结构或方向价值抬级,不参与总分 |
| 知识压缩 | 在固定范围和精度下评价认知负担的净减少,新增前提和工具成本须算回,必要区别仍须可恢复,不参与总分 |
| 计分 | 方向价值分乘方向进度分,不由模型自行改算式 |

## 目标与准入

问题空间提供评价对象、范围、成功条件和比较基线。同一篇论文可以在不同问题空间中被评审;改变空间可能改变价值和进度的含义,须记录所用目标及条件,不能只比较一个脱离视角的分数。当前自动选择以与论文主张及边界相适应为目标,不证明全局唯一最优,也不自动搜索最高分空间。

原始研究问题先匹配维护中的必要问题或已确认瓶颈。明确命中并通过程序准入时,采用对应目标及已确认等级。未命中或不确定时,最多向上扩展一层功能目标,也可以不扩展;生成的普通目标不能重新借用白名单身份。

目标定义保持 `id / version / definition` 三字段。定义中的适用前提和未确定范围贯穿后续评价。指定目标、读取缓存或复评不能绕过准入校验;命中必要问题不等于论文已经解决整个目标。

## 时间、未知与证据

评价日期和发表锚点共同决定时间语境。历史路径要求避免使用今天的白名单或后世成功充当当时证据;锚点不确定时不猜造时间,也不强行选择一个时点继续正式评分。校准文件的时间模式只控制比较资格,不替代模型路由。

历史路径依赖 AI 对发表时知识、问题和基线的理解与模拟,不能保证与新论文具有完全相同的实际评价条件。记录时间政策和来源可供审计,不证明历史语境已经还原准确。

条件不成立、执行失败、结果缺失、评审未定和有效零等级是不同状态。程序能检查字段、来源、哈希和契约一致性,不能因此证明模型语义判断正确。

## 人工校准与规则迭代

人工校准为评审提供独立的比较参照,不是向模型提供答案。普通 Run 可用论文侧车参考值作标注和比较;单项校准集固定输入、重复执行目标评审,用于观察偏差和稳定性。两类人工值各有自己的适用范围,不自动互相覆盖。

人工确认的白名单目标等级属于流程的规则输入,通过准入后可以作为方向价值参与计分;校准参考值则用于结果比较,不替换本次等级。两者的用途不同,不能混同。

人工一致率回答“是否落在人工可接受范围”,重复一致率回答“多次实际判断是否一致”。相邻双值可以都被接受,但 L1/L2 交替仍不等于输出稳定。比较要核对论文内容、目标和评价语境;条件性或待澄清锚点须连同说明解读,不能把每个偏差直接等同于模型错误。

迭代过程是:人工确认参照 → 校准观察 → 判断是输入、规则还是表达问题 → 修改并验证 → 发布内部版本;需要对外交付时再发布新的流程版本。只改三级表达应保持等级含义,改变二级语义须新建标准版本。更新人工参照不代表模型表现已经改善,也不回写旧 Run。

## 独立评审与批次

每篇论文独立执行并留证。批次调度不会将同批其他论文或结果自动作为本篇的比较上下文,也不按本批次的相对排名评分;跨 Run 的产物复用仍须满足来源和兼容性约束。

并行只改变调度,不改变评分规则。原生 Batch 的补跑只处理已正常结束批次中的失败项,成功项不重复执行;它不接管异常中断的进程。外部 flow 目前只提供单篇入口,Workshop 可以自行组织并行请求,不能把它当作已实现的原生 Batch 流程版本接口。

## 结果与版本

每次 Run 保存实际输入、执行定义和结果;可复用 Artifact 必须另行显式冻结。固定流程版本隔离开发环境,内部版本仍用于诊断与兼容性检查。校准用于标注和比较,不修改评分,也不作为额外答案注入评审。

等级依据见 [等级规则](等级规则.md),分数解释见 [数值计分](数值计分.md)。字段、路由和维护接口见 [技术文档](Technical/README.md)。

Continue reading

Evaluation time and historical papers →How the total score is calculated →Claims and their boundaries →