Skip to content

task: Apps 应用层详细设计与迁移计划(CLI / Python / Plugin) #371

Open
1 of 4 issues completed

Description

@zengchuang-hw

目标与状态

父任务 #362,路线图 #316 第 7 项。设计状态:Accepted。 本文确定 Apps 功能、目录、接口和验收边界,作为 S1 的应用侧输入与 S5 的实施依据。Apps 独立为 inferrsi.apps Python 子包,首期由现有 inferrsi 发行物交付。 定稿记录 · A–D 架构决定

实施状态(2026-11-22,Asia/Shanghai):设计 Accepted,整体实现尚未完成。Apps 目录 #490 五步已随最终验收 #542 合入,并按交付/验证/局限卡接受关闭;#447 / T38 已完成关闭,生产 prepare #530 已合入。

已提交的执行/判定切片:#560 offline assess(4887f1e9)、#561 预登记 bind(66fef981)、#562 T37 实际入口(73c30b8f)、#564 原期限/预算/T40 重放(d34a0451)均为正式 Ready,当前头 Ready CI 已成功,各已有 Amy 的独立批准,仍各缺第二份有效独立批准。#561/#562 的零启动哨兵覆盖真实 _supervise 入口,正向控制观察真实 PID。parent/owner 技术票和无 write 权限 bot 票不计独立批准。

生产证据后续 #565 已 Accepted 并实施:Dong 已接受提交前 H↔B capture 边界、Apps 适配和真实 CPU task/worker。交付为 #566 B 纯投影(0ef4b078)→ #567 H capture/封存(b5199316)→ #568 Apps 薄适配与固定视图(abc6de4d)→ #569 CPU worker/profile(2e203ae6)。#566–#568 已有 Amy 的独立批准,#567/#568 收窄 diff 后 Dong 明确清除了此前截断/范围检视阻塞;均仍需第二份独立批准。#569 先公开源码/输入 pin,再执行固定组,当前开发栈核心组 25 passed,扩大组(包含核心组)630 passed / 7 skipped / 3 existing tarfile warnings,fresh sdist/wheel 独立安装通过。Dong 已复核 2e203ae6 并明确清除原阻塞;该 owner 票不计独立批准。首轮粗时钟 samples=null 和结果版本登记遗漏的失败均保留,没有更改输入或门槛。新任务为 p1-cpu-smoke@1 / p1-cpu-smoke-rules@1,旧 D023 / t108-v4 / p1-fixture@1 冻结向量保持原样。

合入与完整验收条件:先 #560、#561 → #562 → #564,再 #566/#567 → #568 → #569。#567/#568/#569 的临时 base 仅供完整窄 diff 检视,禁止向临时 base 合入;前置上 main 后同步、转 main、刷新 CI 与两份独立审批。单独启动边界修复 #552 仍由 Inference1 负责,缺有限步骤 timeout 的分类修复与回归。依赖实际合入后再做共享 T35/T36/T37/T39/T40/V23 CPU 联调,开发栈测试不是整体验收。#429/#430/#434/#565/#371 均保持打开。评审关键路径超过一小时没有第二份有效独立批准,已催 David 并提醒用户介入。

Naming note (2026-11-09, Asia/Shanghai): architecture core formerly called Workbench is now Harness (abbrev. H in K/H/B). Existing on-disk package tree under src/inferrsi/harness/ remains the current mixed implementation and is not automatically the accepted Harness package boundary.

当前基线。 控制台脚本与 python -m inferrsi 汇入 inferrsi.cli.main,inferrsi.arguments 提供参数解析及部分 RunSpec 构造。Codex、WorkSwarm 各有插件 launcher,DSH 的 SSH bootstrap 直接导入 inferrsi.arguments.parser 和 inferrsi.cli.main。#389 已将 Dashboard、trace 和现有 campaign 记录实现迁至 inferrsi.observability,两条 dashboard_data 依赖仍在该包内,见下方清单。 当前 main · #389

设计基线与职责

沿用 #362 A–D 的三核心边界和首期范围,以 #387 为端口对照。本文细化 Apps 如何调用、转换、归档和展示。本轮接口映射已对照 t115 契约修订,核心端口、schema 和 golden fixtures 随 S1/P0a 联审。下文记录 #371 接受的首期 Apps 契约。 #387 t115 修订

CLI、Python 和宿主通过 Apps 组合 Knowledge(K)、Harness(H)、Benchmark(B)的公开接口。首期执行请求由 Python 或宿主先通过 H 的公开 allocate_attempt 取得身份,再交给 Apps execute。K 决定知识选择、版本和写入,H 决定执行与恢复、预算和记录,B 决定任务协议、worker 和判定。各核心拥有自己的类型。Apps 在接缝上逐字段构造接收方 DTO,持久交接遵循 S1 的文档/JSON schema 和统一 inferrsi-json-v1 编码。现有 Knowledge Bundle revision 与历史产物的编码规则分别沿用各自契约。

Apps 与三模块的接口

场景 核心公开端口与调用方 请求 交付与失败行为
读知识与资源 K read(reference, revision=...) / resource(reference, path, revision=...) id 或限定 ref;可选 Bundle revision;资源读取携带已解析的 ref、固定 revision 与逻辑路径 返回逻辑 Bundle 视图、实际 revision、来源、适用范围、限制、资源摘要和依赖。身份歧义、旧修订缺失、资源不匹配透传 K 的结构化原因。Bundle 的 id 与 authority:id 引用分列;知识存储 schema、原始 _provenance.json 不出现在 Apps DTO 中
查询、选择与上下文 K collect(CollectRequest);旧 knowledge search/show 经 K 的现有查询契约 查询、显式 ids、pins、过滤、条目/字节限制、选择方法和 material 保留 items/ref/revision、omissions、collisions、no_match、限制与已提供的 selection/contexts。未捕获的候选全集保持未知。实验显式申请留存时,把实际交付字节及各知识项的 ref/revision交给 H 的记录侧。纯查询分支只加载 K
受控知识操作 K create(bundle) / update(bundle, expected=..., reason=..., evidence=...) / history(reference) 显式请求、完整 K Bundle、预期旧 revision、理由、证据引用 交付新 revision 或历史。K 执行 candidate、store authority 与 CAS 规则;冲突原样返回,按操作提供只读或写入依赖。评测或展示流程不隐式写入,PR 作者声明沿用仓库准入
准备评测 B prepare(PrepareRequest) 和纯编码/校验 固定任务与 grader 版本、operation、validation_scope、输入 pins、对照条件、可选预期候选和冻结证据要求 返回 PreparedEvaluation(含 worker 配方)、协议规范字节及按 role 读取资源闭包的只读字节或流。Apps 分配最终定位,调用 B 纯编码/校验封存,归档成功后返回 PreparedRef。必需资源缺失或归档失败在此停止
分配执行身份 首期由 Python/宿主调用 H allocate_attempt(...) run 范围、调用方 owner、TargetRequest、deadline、资源、BudgetRequest、可选 retry_of/retry_reason H 返回 AttemptContext,调用方在提交前将它存入完整 AppsExecuteRequest。Apps execute 原样复用 request/attempt 身份与期限,分配阶段只交付身份
绑定并执行 H execute(ExecutionSpec, cancellation=...) Apps 合成 H 自有 ExecutionSpec,含固定 prepared、B worker 配方及预期代码摘要、候选及预期输入和 H attempt。取消信号由调用方另传 H 捕获实际字节、做准入和检查、运行并提交。Apps 取得固定 RecordRef 和对应记录。请求冲突、执行中、待恢复、启动前后持久化失败按 H 契约处理
读记录和证据 H read(attempt_id, record_version=...) 及公开的留存产物读取能力(签名由 S1 确认) 离线判定使用 RecordRef 所指固定修订,状态页面可按 H 的只读状态接口请求当前观测 核对记录引用/摘要,并读取该修订的 prepared_ref。证据读取只开放该固定输入声明的留存资源,运行后新观测的状态单列,进入判定须有新修订
离线判定 Apps 只读投影冻结 ProtocolV1.claim_definitions,再调用 B assess(prepared, evidence, artifacts=...) 经校验的 B prepared、B 自有 EvidenceInput 和只读 ArtifactReader。Apps 先按冻结协议核对主 claim 键 B 返回 EvaluationResult,Apps 核对所选键存在后归档并发布 AssessmentRef。完整 claims、指标有效性、原因、缺项和证据引用与 H 执行事实并列

独立知识入口的 Apps 返回示例为 read("package:<knowledge-id>", revision=None) → (ref, resolved_revision, bundle_view) → resource(ref, logical_path, revision=resolved_revision)。实验交付沿用实际解析出的 pins。source_revision 属于来源快照,资源摘要属于具体字节,Bundle.revision 属于逻辑 Bundle,各自保留。 #387 Knowledge 读写

两个字段映射接缝

1. B prepared + H attempt → H ExecutionSpec

bridge.bind_execution(prepared_ref, prepared, proposal, attempt) → H.ExecutionSpec 是纯转换,归档由 archive.py 做,执行与 RunStore 提交由 H 做。

来源 映射与核对
B 的 PreparedEvaluation 与归档引用 核对 prepared 的 schema、ID、归档字节摘要;原样传 prepared_ref / protocol_digest / operation / validation_scope。protocol_digest 标识规则语义,协议文件摘要标识字节。B 的冻结判据与 required_evidence 保存在 prepared 中,Apps 不改写
B worker 配方 将运行角色、入口 kind/版本、argv、工作目录、期限约束、必需能力及输入/输出 roles 映射为 H CommandStep/InputSpec/OutputSpec。将冻结 OperationRecipe.code_sha256 原样写入评测步骤 expected_code_sha256,普通命令该字段为 null。H 按固定绑定核对预期值与实际入口字节,实际观测保存在 RuntimeBinding。入口名和版本相同而摘要不符,或在有效规格下无法解析实际入口时,候选进程零启动,H 提交 started=false、process_outcome=not_started 和对应原因。已计算摘要时保留比对失败事实,无法解析时检查记为 not_performed,实际摘要保持未知。已提交且执行状态收束时 Apps 返回 3,待恢复与提交失败按既有优先级返回 5 或 6。B 决定采样、计时、聚合和任务 worker
CandidateProposal 将候选提交声明和输入角色映射为 H 的 candidate / inputs / generation_record_ref。主候选 role 唯一对应输入,保留预期摘要、快照方式和相对逻辑路径。人工候选的 generation 引用可空。H 启动前捕获并核对实际字节,Apps 只核对声明与冻结契约
H AttemptContext 原样带入 request_id / run_id / attempt_id / owner / target_request / deadline_utc / resources / budget / retry_of / retry_reason。output_root 使用授权工作区和 H 的 attempt 隔离规则。路径越界、角色缺失、固定引用冲突或 operation/scope 不匹配时停止绑定

2. H 固定记录 → B EvidenceInput

bridge.to_evidence(prepared, record_ref, committed_payload) → B.EvidenceInput 仅投影已提交载荷。读记录时附带的 observed_at/controller_observation 用于状态展示,固定评测依据不含这类临时观测。

H 的输入事实 B 收到的内容
固定记录引用及其修订、原始摘要,记录内的 prepared_ref 和协议身份 原记录引用、摘要、任务/协议、operation / validation_scope / run_id / attempt_id 与 lineage。引用指向别的修订、prepared 或 attempt 时拒绝该组合
预期与实际候选输入、执行过程 候选引用、捕获摘要与核对结果,process_outcome、退出码、取消、清理、时长和所需环境信息。实际候选异常按事实传递,区别于读错记录
checks 与产物 每项 check 的 check_id/checker_revision/producer_kind/subject/phase/attempt/status 以及产物角色、schema、定位、摘要和单位。ArtifactReader 在授权根内读取留存字节并校验,缺失、损坏、外来 attempt 的产物作为缺失或无效证据交 B 处理
预算和资源 按冻结协议映射容量/预留、实际用量、资源租约及清理证明三类独立事实。未知用量保留为空,预留金额与实际支出分列

拒绝交接与评测结果分开。 顶层 prepared、record、attempt 或范围错配时,Apps 返回交接错误,生成有效 assessment 前必须修正。身份匹配但缺 grader-output 时,B 返回该范围的 INCONCLUSIVE,由 Apps 归档。协议认可的候选错误由 B 判 FAIL,清理未知单列。exit_code=0 只表示进程结果;Dashboard、trace 和调用方主张用于展示。

装配顺序与归档

sequenceDiagram
    actor U as Python 或宿主
    participant A as Apps
    participant B as Benchmark
    participant S as Apps ByteArchive
    participant H as Harness
    A->>B: prepare(固定任务、输入、operation/scope)
    B-->>A: PreparedEvaluation + 协议字节 + 资源只读入口
    A->>S: 按 StorageConfig 分配最终定位
    A->>B: 用最终定位纯编码并校验 prepared
    B-->>A: 最终 prepared 规范字节
    A->>S: 提交完整闭包与 prepared
    S-->>A: PreparedRef
    U->>H: allocate_attempt(owner, target, deadline, budget)
    H-->>U: AttemptContext
    U->>U: 执行前保存完整 AppsExecuteRequest
    U->>A: 交给 CLI execute
    A->>A: bind_execution → H.ExecutionSpec
    A->>H: execute(spec, cancellation)
    break 同一请求已在执行中或状态未知
        H-->>A: AttemptInProgress(exit 4)或 RecoveryRequired(exit 5)
        A-->>U: 沿用原 attempt、期限和预算,停止本次自动推进
    end
    H-->>A: 已提交 RecordRef + 固定记录载荷
    break 同步执行为 not_started 或 recovery_required
        A-->>A: 保留事实并停止自动推进
    end
    Note over A,H: 独立显式 assess 可从固定修订进入,按 D003 处理合法非终态快照
    Note over A,H: 可换进程,按固定修订读取
    A->>H: read(attempt_id, record_version)
    A->>S: 按记录内 prepared_ref 读取冻结字节
    A->>A: 核对冻结协议中的主 claim 键
    A->>B: assess(prepared, EvidenceInput, ArtifactReader)
    B-->>A: EvaluationResult
    A->>A: 核对结果包含所选 claim
    A->>S: 保存判定及其 prepared/record 关联
    S-->>A: AssessmentRef
Loading

存储与引用。 Apps 注入首期本地 StorageConfig,与 H RunStore 可共用授权工作区根,各自管理命名空间、写入和保留。Apps 写 prepared/assessment,H 写 record/原始证据。路由按明确且互斥的前缀匹配,在授权根内校验路径、字节数与摘要。固定引用为 PreparedRef(prepared_id, schema_version, artifact)、RecordRef(attempt_id, record_version, artifact)、AssessmentRef(assessment_id, schema_version, artifact)。artifact 含定位、sha256、字节数和 media type。提交成功后发布引用,清理补证形成新 record_version。保留与清理由工作区证据管理负责,固定 Ref 在约定保留期内可重读,过期或删除后明确失败。

Prepare 封存顺序。 B 提供本次协议规范字节和按 role 读取资源的入口,已有且可校验的资源可复用已有 reader。Apps 在可信 StorageConfig 下分配最终 locator,再将定位交 B 的纯 encode/validate 形成最终 prepared 规范字节。Apps 验证大小与摘要并提交完整闭包,再发布 PreparedRef。重定位遵守已有投影,仅在声明为 ArtifactRef 的位置按规则剥离 location。协议或资源描述内部字节改变时,重算相应字节摘要及 prepared_id。已提交字节保留原修订。 D023-1 / T36

失败与恢复。 prepare 或归档失败时无 PreparedRef,绑定失败停止执行,H 首次登记失败时无可用 RecordRef。已提交的 not_started 保留理由。启动后提交失败保留已知 attempt、局部事实和仍有效的旧引用。H 在同一 RunStore 下以 request_id + request_digest 去重,同 key 不同请求返回冲突。首期由 Python/宿主调用 H 分配身份,执行前保存完整 AppsExecuteRequest,CLI execute 复用其中的 AttemptContext。响应丢失后用同一 RunStore 和同一已保存请求重放。完成时返回原 RecordRef,执行中返回 AttemptInProgress/4,状态未知返回 RecoveryRequired/5。后两种结果结束本次同步调用,保留原身份,后续查询或基于固定修订的显式离线判定另行发起。显式重跑用带 retry_of/retry_reason 的新 attempt,并沿用预算 scope 和总期限。判定归档失败仍可从原 RecordRef 显式重判。 D023-5 / T40

最小对照样例。 B 冻结 check/correctness 的题目和 grader,声明 grader-output 为必需证据。H 对人工候选提交 attempt=att-1, record_version=3,进程退出为 0。assess 固定读取 att-1 的第 3 版和其中的 prepared。正确记录缺 grader-output 时,B 返回 INCONCLUSIVE 与缺项;若收到 att-2 的记录载荷,Apps 拒绝交接。H 后续提交第 4 版清理事实时,第 3 版的评测仍可独立重算。

H 循环端口的 Apps 适配

H 管理循环与状态,并按冻结策略执行反馈可见性和停止规则。任务规则与评测范围由 B 定义。Apps 给 H 注入其定义的端口,首期用可重复的本地 CPU fixture 验证。

H 消费方端口 Apps 适配实现
ContextProvider.collect(ContextRequest) → DeliveredContextDraft 调 K collect,把获准的实际字节或流、items/selection/omissions/limitations、pins、拟用逻辑位置和摘要交 H。H 用自有捕获端口提交字节并封存最终 DeliveredContext.artifact,随后把已提交引用写入 generation manifest。留存失败时本次交付无有效 Ref。交付和采用分列
CandidateProvider.plan_generation(context, attempt) → GenerationPlan 与 collect_candidate(record, artifacts=...) → CandidateProposal 前者给出命令、版本、输出角色和 manifest,交 H 留存计划并经 H.execute 运行;后者从该 attempt 的固定 manifest 和留存产物解析候选。执行未完成、超期或必需输出缺失时停止该轮
EvaluationPort.execution_for(prepared_ref, proposal, attempt, scope=...) → ExecutionSpec 与 assess(record) → AssessmentSummary 复用绑定、固定记录读取、证据投影、B 判定与归档;归档后将 B 的范围结论、指标有效性/比较资格及 AssessmentRef 映射为 H 的反馈摘要。生成和评测用不同 attempt,共享 budget scope/deadline。H 按冻结策略推进;最终验收专属信息留在该范围

CLI、Python 与结果信封

建议在 inferrsi.apps.api 提供三个装配函数。下表是调用方契约,核心端口类型由内部适配构造。CLI 与宿主复用同一实现和结果字段,Python 可另外获取结构化错误。

首期新入口 输入 稳定交付
prepare(request) / inferrsi evaluate prepare AppsPrepareRequest 含 PrepareRequest(任务与 grader pin、操作/范围、冻结输入、可选候选预期) PreparedRef
execute(request) / inferrsi evaluate execute 已保存的 AppsExecuteRequest 含 prepared_ref / proposal / attempt / output_root,其中 attempt 由 H 分配。宿主另传取消信号 RecordRef(若已提交)与执行/准入事实
assess(request) / inferrsi evaluate assess AppsAssessRequest 含固定 record_ref 及精确 (primary_claim_id, primary_scope),prepared 从该修订解析 AssessmentRef(若归档成功)与 B 判定

首期新 evaluate prepare/execute/assess 的 CLI 契约要求显式传 --request @<请求 JSON 文件> 和 --output-id <id>。缺少 --output-id 在调用端口前以参数错误退出 2。Python/宿主可以省略 ID,并通过调用返回的元数据取得自动分配值。--prepared-ref、--record-ref 如同时传入,采用 @<完整 Ref JSON 文件>,且与请求对应字段一致。--scope、--primary-claim 如传入也与请求一致。StorageConfig 由可信宿主或显式 --storage-config <本地配置文件> 注入,放在 Apps*Request 之外。首期 CLI 消费 Python/宿主预先保存的执行请求。独立的纯 CLI 请求生成入口另行评审。

AppsResultV1 含 schema_version / operation / outcome / reason_code / exit_code / primary_claim_id / primary_scope / attempt_id / admission / execution / prepared_ref / record_ref / assessment_ref / assessment / error,缺席字段为 null。operation 指 Apps 子命令。外层 attempt_id、admission 和 Ref 与已提交 execution 的对应字段一致,外层 prepared_ref/record_ref/attempt_id 与 assessment 一致,有效 assessment_ref 对应实际归档的 ID、版本和字节。部分执行事实放在 error.partial_record。reason_code 取 error.code 或 null,B 的任务理由保留在 assessment。

assess 读取合法固定协议后,通过 B 的公开只读能力或约定字段投影核对精确 (primary_claim_id, primary_scope)。请求键缺失或不存在时返回 InvalidRequest/2,跳过 assessor 和归档。键合法而 B 结果遗漏时返回 AssessorError/2,此时无有效 AssessmentRef。合法完整结果先归档,失败退出 6,可交付内存结果和保存错误,但 assessment_ref 为 null。归档成功后按所选 claim 映射 0/8/9,其余 claims 和范围完整保留。 D022 与 D023-4/5

首期新退出码 含义
0 当前子命令成功且所需引用已提交,assess 选定的主 claim 为 PASS
2 参数、schema 或固定引用身份错误,请求不受支持,或 assessor 结果契约错误。具体原因见 error.code
3 准入拒绝,执行 not_started
4 / 5 同一 attempt 执行中 / 需要恢复
6 当前操作的记录提交或归档失败
7 已记录的执行失败、超时或取消
8 / 9 已归档的 FAIL / INCONCLUSIVE

注:退出码 2 本身不区分输入无效与 Harness 回执违约。Harness 回执契约错误时返回 2 且 error.stage=harness_response_validation,此时执行可能已经开始,调用方不得据此判定 not_started,也不得自动重试,须保留原 attempt 并核实状态;绑定器侧无效规格为 2 且 error.stage=binder_validation。如后续需新增专用 error.code,经 #387 契约修改。

提交或归档失败优先报告。执行命令区分待恢复、进行中、未启动和已记录的执行失败。离线判定按选定的 B claim 返回,历史执行状态并列展示。旧 run 的 0/1/2、原输出、旧 plan / --dry-run 预览及旧组合式 grade(#338 接入后)的语义按原入口对照验证。

标准化运行输出

新 evaluate prepare/execute/assess 的 CLI、Python 和宿主共用同一持久输出格式。Apps 定义目录、结果信封和读取校验。result.py 组装与序列化 AppsResultV1,archive.py 提交输出文件。新流程在授权工作区内写入 output/<output-id>/,每次调用产生独立输出。output-id 是单段标识。首期 CLI 显式指定 --output-id,Python/宿主可以省略并通过调用元数据取得 ID。消费者按 ID 定位 manifest。output_id 独立于 AppsResultV1 与 H 的 request_digest,ExecutionSpec.output_root 继续定位 H 运行产物。 运行产物专项 · #387 D022

<授权工作区>/
└── output/
    └── <output-id>/
        ├── manifest.json
        └── result.json
文件或产物 格式与内容 写入方
manifest.json(必需) schema_version: 1、output_id、created_at、operation、run_id、attempt_id,以及 result 的相对路径 result.json、sha256、size_bytes 和 media_type。身份字段只取已确认值,缺席显式为 null Apps
result.json(必需) 完整 AppsResultV1。prepare 保存 PreparedRef;execute 保存已提交的 RecordRef、执行/准入事实;assess 保存 AssessmentRef、分 claim/scope 的判定与证据引用。各阶段保存当前真实的 outcome / exit_code / error 和有效引用,局部执行事实使用 error.partial_record Apps
固定评测、运行记录、原始证据 从结果信封中的 PreparedRef / RecordRef / AssessmentRef 及记录内的 artifact refs 解析。协议、记录、样本、日志等按各自格式和字节摘要留存在已配置的 ByteArchive 或 RunStore 中 Apps 保存 prepared/assessment。H 保存 record/原始证据
展示产物(按需生成) HTML 报告、Dashboard 快照或 trace 导出由 Apps 根据固定结果与记录生成。保留来源引用,并区分观测事实和调用方主张 Apps
  • 编码与读取。 两个标准 JSON 文件采用 UTF-8 和 inferrsi-json-v1。manifest 摘要针对 result.json 的已提交字节。消费者从 manifest 进入,校验版本、相对路径、大小和摘要,再按固定引用读取原始字节。CLI、Python 和宿主使用同一个结果信封。旧 run 的 stdout/stderr、退出码和原有输出按现有契约兼容。历史输出按已承诺的读取路径保留。
  • 提交与失败。 在同一文件系统暂存并校验两个文件,以原子方式发布,已有目标拒绝覆盖。具备有效输出配置时,准入拒绝、执行失败、INCONCLUSIVE 和部分提交错误也留存结构化结果。若 H 已提交记录、只有 Apps 输出发布失败,本次调用的进程内 AppsResultV1 返回 exit_code=6、error.code=ArchivePersistenceError,record_ref 保留已提交的原 Ref。prepare、assess 同理保留已经提交的 prepared_ref、assessment_ref。H 首次登记失败的 ExecutionPersistenceError/6 无可用 RecordRef,底层 assessment 未提交时 assessment_ref=null。临时目录不可作为输出读取。若重命名完成后目录同步失败,报告发布持久性不确定并保留已有 Ref,调用方先按同一 ID 核验 manifest。响应丢失后的 execute 重放复用原请求和 attempt,新输出可引用同一 RecordRef。重判另存输出及固定依据。 发布边界候选
  • 保留与诊断。 约定保留期内,固定 Ref 读回原已提交字节。过期、缺件、摘要不符或版本不支持时明确报告读取错误,再按顶层交接与单项证据各自的规则处理。标准输出按工作区授权留存结构化事实和受控引用。命令参数、错误和诊断信息在捕获与分享时遵守仓库隐私规则。共享导出作为派生副本,保留原判定和来源。跨 run trace 的持久化范围继续由 discussion: what trace evidence should InferRSI persist beyond per-run artifacts? #333 跟踪。 隐私与证据 · #333 Trace 持久化

运行监控与追溯

Apps 负责面向用户和 Agent 的监控入口。保留 CLI 的 status、report、dashboard 和宿主打开 Dashboard 的调用方式。Python 入口由 apps/api.py 装配。Dashboard 快照、实时页面和 trace 查询共用同一组读取与关联规则。 #387 模块归属

Apps 能力 输入与输出 数据来源
状态与报告 按 run/attempt 或现有 campaign 入口查看阶段、执行结果、清理状态、更新时间和固定引用。报告以指定修订生成快照 H 的公开记录读取接口与 RecordRef。已保存的判定经 AssessmentRef 读取、校验后按 claim/scope 显示
Dashboard 输出离线 HTML 或现有只读 live 页面。关联轮次、候选、workflow、节点耗时和测试进度。实时刷新标明观测时间与陈旧状态,未知总量显示不定进度 H 的记录、阶段定义、进度和事件只读投影,Apps 已归档的 B 评测结论,及已有的改动说明。详细交互与进度增强由 #345 跟踪
Trace 与日志查询 按 campaign/run/attempt、阶段、事件类型筛选时间线,显示来源、事件缺口和已有的证据链接。区分采集事实、调用方主张和诊断摘要 H 提供已关联的记录、事件及对账结果,Apps 做过滤、排序、呈现和按授权范围导出。跨 run 持久化与统一事件格式由 #333 决定

Apps 用 campaign_id / run_id / attempt_id 及已有的候选关联组装视图,缺失身份或时间时展示缺项。实时状态允许显示带来源与时间的最新观测,历史回看用固定 record_version 和 AssessmentRef。H 负责事实采集、阶段定义、持久化和主张对账,B 负责证据解释与判定。监控入口以只读方式使用核心端口,报告和 trace 导出写入调用方指定的展示产物。页面将测试进度与判定分列,诊断信息只展示获准的字段。 #345 Dashboard 增强 · #333 Trace 持久化讨论

目标目录与迁移落点

src/inferrsi/
├── __main__.py / cli.py / arguments.py   # 旧模块、控制台及 launcher 转发
└── apps/
    ├── __init__.py                      # 轻量导入
    ├── cli.py                           # 参数、路由、宿主/控制台入口
    ├── api.py                           # 知识读取、评测装配和端口注入
    ├── bridge.py                        # 两个字段映射及 H 消费方端口适配
    ├── archive.py                       # prepared/assessment 归档与标准输出提交
    ├── result.py                        # AppsResultV1、输出清单与退出码
    ├── legacy/
    │   └── evaluation.py                # 后续旧评测组合入口
    └── views/
        ├── dashboard.py                 # 状态/报告投影、离线 Dashboard 与时间线
        ├── live.py                      # Dashboard 只读刷新与宿主页面入口
        ├── trace.py                     # trace、主张与诊断日志的查询和展示
        └── templates/dashboard.html     # 资源移动切片的目标位置
plugins/inferrsi/                        # Codex 清单、技能和 launcher
plugins/workswarm/inferrsi/              # WorkSwarm 清单、launcher、定位
plugins/inferrsi-dsh/                    # DSH 本地入口、SSH bootstrap、会话
tools/build_*_plugin.py, plugin_bundle.py # 仓库发布构建

首期兼容矩阵

基线为 main e2f4cd1e。第 5 步按支持中的发行物与宿主版本登记测试组合。首期保留下面的兼容入口,首期不发弃用警告。退役由单独评审记录受影响消费者、已验证的替代路径和首个移除版本。

消费者 现有入口、输入及输出 资源与依赖 首期验收与退役条件
旧 CLI / Python inferrsi、python -m inferrsi、inferrsi.cli.main(argv)、inferrsi.arguments.parser()。保留参数、Path、旧 run 的 0/1/2、stdout/stderr、plan / --dry-run 和已支持的旧组合式 grade 语义。 控制台脚本和 __main__ 指向现有入口,使用发行物内资源。现有监控 Python 调用按 #413 迁到归属模块,observability 不留转发壳。 checkout 外安装 wheel,核对 CLI 和直接 Python 消费者的输入、结果和副作用。删除根转发前,登记的宿主与受支持 Python 消费者均通过替代入口验证。 操作指南 · #413
Codex plugins/inferrsi/plugin.json、入口 skill 与 skills/inferrsi/scripts/inferrsi.py。保留目标 cwd、原 CLI 参数和 JSON/退出码,--plugin-info 继续用于诊断。 现有插件 ID、清单、技能、随包 runtime 与资源摘要。可选依赖按已支持操作验证。 原生安装、选择及升级后运行现有入口,核对版本、内容摘要及 checkout 外的知识、计划、状态和 Dashboard。旧 launcher 退役前,登记的插件版本均能从安装的 skill 定位替代入口。 Codex 打包
WorkSwarm plugins/workswarm/inferrsi/manifest.json、skill、inferrsi_runtime_info({}) 与返回的 launcher。保留 success/launcher 定位结果、目标 cwd、CLI 参数和原输出。 紧凑随包载荷、内容标识、文件摘要和已安装 runtime cache,保持长路径能力。 在正常 profile 安装、选择和升级,验证定位、摘要检查、长路径、查询和计划。退役前,受支持的宿主组合均用替代定位/launcher 完成上述用例。 WorkSwarm 打包
DSH plugins/inferrsi-dsh/ 的本地 launcher 和 SSH bootstrap;远端直接导入 inferrsi.arguments.parser / inferrsi.cli.main。保持 Path、现有输出、会话归属、越界拒绝、取消与清理。远端 --task 沿 #365/#152 验证。 随包 remote-runtime.zip、本地与远端 runtime、现有版本/摘要诊断。验收记录本地 launcher 与远端 runtime 的版本组合及支持范围。 checkout 外 wheel 与随包远端 runtime 分别验证直接导入。受支持的同版本和偏差组合通过;超出支持范围时应明确拒绝。远端直接导入的旧转发在登记版本组合切换并完成回归后才可退役。 DSH 打包与远端入口

迁移依赖清单

下面记录迁移前依赖和目标职责。以 #389 的 inferrsi.observability 为对照基线,#413 按其前置条件实施物理拆分,验收要求 observability/ 消失。第 6 步在迁移后的公开接口上完成只读装配和固定记录验收。

已核对的现状 目标 owner 与边界 退出条件
campaign_records 从 dashboard_data 取 _file_ref/_inside/_object/_relative_location/_safe_argv/_text。 H 记录侧负责路径约束、引用和记录校验。捕获端与 Apps 展示端各保留适用的脱敏行为。 记录入口不再依赖展示模块的私有 helper。对旧 campaign 固定记录核对引用、拒绝路径和脱敏结果。 源码
CampaignTrace 从 dashboard_data 取 STAGES,optimization_log 有一份相同的阶段词表。 H 记录侧拥有 campaign 阶段词表及采集约束,Apps 负责展示排序及标签。H 执行生命周期使用自己的阶段定义。 采集与关联不再从 dashboard_data 取 STAGES。既有事件的 stage、关联和旧样例可读性保持一致。统一事件信封继续由 #333 跟踪。 源码
campaign_records 调用 optimization_trace 的组装、解析和受控读取。optimization_log.record_log 留存主张,optimization_story.build_story 读取已留存日志和知识捕获。 H 记录侧负责 CampaignTrace 采集、显式主张记录、校验及对账;Apps 负责 build_story、Dashboard、trace 和日志的只读投影。Benchmark 按固定证据判定。 写入、固定读取和展示分别验证。展示仅读取受支持的记录或投影,不启动执行/评测;旧记录能读,主张、观测事实与判定分列。 函数归属提案
campaign_records 从 catalog 取 BACKENDS,knowledge_capture 从 _skill_selection 取 TASK_RELEVANCE。 按 #413,纯知识投影归 K,记录与留存归 H,Apps 注入记录所需的值。 两条边均移除,H records 的传递导入闭包不到达 K 或 Apps。用固定样例核对后端值、capture 的 relevance_method、历史记录和拒绝路径。 #413 检视
dashboard_workflow.py、profile_timeline.py 和视图模板随当前 observability 打包。 #413 先在 D008 记录两个模块的函数归属,再按批准范围迁移。Apps 负责只读展示与模板装配。 固定记录下旧 CLI、离线 Dashboard、实时快照和 trace 一致。校验 import gate、wheel 和三宿主资源,并确认 observability/ 消失且 overall isolation_complete 仍为 false。 #413

Harness 公开摘要入口。 Apps 依赖 inferrsi.harness.execution_spec.request_digest。inferrsi.harness.run_store.request_digest 保留兼容导出。摘要沿用 D023 规范字节及算法。Apps 错误投影校验 retained_refs 元数据,字节由授权存储读取时核验。 定稿记录

设计验收与后续实施

本节保留各切片的验证项。兼容矩阵和迁移依赖清单已纳入定稿设计,实际端口、wheel、宿主与 CPU/offline 的结果按实施证据记录。

  • 核心端口对照。 rfc: K/H/B 与 Apps 公开接口详细设计(最小交接与模块边界) #387 接口负责人回读并确认 K/H/B 请求、返回、拒绝条件和两张字段映射。S1/P0a 将 D023 写入文档、schema、语义校验及 golden fixtures。用 A01/A02 核验字段保真、身份错配和归档失败,补齐 T36–T40 预期结果。expected_code_sha256 进入 ExecutionSpec 后同步更新请求摘要向量。
  • 兼容矩阵。 分别列出旧 CLI/Python 和 Codex、WorkSwarm、DSH 的入口、参数、输出及资源/依赖清单;标记兼容转发及其退役条件。
  • 迁移依赖。 逐条记录现存越界边、owner 与退出条件,含 campaign_records → dashboard_data。沿用 docs: record the target module layout and import gate #376 导入检查,在涉及路径的切片验证独立进程 import inferrsi.apps、knowledge search、read 无执行器或 worker 加载。使用 checkout 外的实际 wheel 与受影响宿主成品验证。
  • 设计交付。 确认目录、公开入口与失败样例,记录独立检视结论、未决字段与相应 owner。设计验收以评审确认的文档和 fixture 清单为准。

本轮复审的验收对照

用例 预期行为
T36 · 空归档根与重定位 使用非 fixture 的授权 prefix。完整闭包提交后新进程读回相同字节和身份,缺任一必需资源时无 PreparedRef。重定位只按 schema 标记的 ArtifactRef.location 做身份投影。例如仅改 prepared 中协议引用的 locator 且协议字节不变,prepared_id 相同,按新 prepared 字节计算归档摘要。协议或资源描述的内部字节改变时,按规则重算相应字节摘要和 prepared_id,在约定保留期内可按原 Ref 读取已提交版本
T37 · worker 字节变化或入口无法解析 入口名与 revision 相同而实际摘要不同,或有效规格在目标端无法解析实际入口,候选进程均零启动。前者记录摘要核对失败,后者记录 not_performed、实际摘要未知及原因。H 提交已收束的 not_started 时 Apps 返回 3。待恢复返回 5,提交失败走 ExecutionPersistenceError/6
T38 · 知识上下文留存 H 留存失败时无有效交付 Ref。成功后新进程读到与实际交付完全相同的字节,generation manifest 使用该已提交引用
T39 · 主 claim 错误 键不在协议返回 InvalidRequest/2,assessor 和归档未调用。键合法而结果遗漏返回 AssessorError/2。与 T35 多 claim 样例一起核对信封
T40 · 响应丢失 新进程用同一 RunStore 和已保存请求重放。已完成返回原 RecordRef,仍在执行返回 AttemptInProgress/4,状态未知返回 RecoveryRequired/5。两种短路分支均在自动读记录或判定前结束。三种情况均沿用原 attempt、期限和预算

S1/P0a 确认共享端口和契约用例。K01 依赖 P0b 的架构评审与合入,H01 依赖 P0a 的契约接受。Apps 生产装配和标准化输出在 S5 验证。 全设计复审 · 运行产物专项

S5 在 #371 设计与 #387 相关契约获接受、首批核心端口可用后实施。复用 #378 的 CPU/offline 对照,扩展到真实留存和新进程读取(A15–A18)。至少验证:生成和评测 attempt 分离;错误 attempt 组合拒绝;同 attempt 缺 grader-output 得到 B 的 INCONCLUSIVE;更新 current 后仍按旧 RecordRef 重判;持久化失败、断连、生成失败均不会触发隐式重跑;最终验收信息不会进入下一轮。真实 Agent/NPU、共享调度、投机和新指标由原跟踪切片验收。 #371 检视意见

S5 标准化输出验收。 用同一真实本地 CPU 示例,分别核对 prepare、execute、assess 留存的 manifest 和结果信封,换进程后验证摘要并按固定引用读取。覆盖执行失败、缺证据、输出发布中断、同一 attempt 重放以及对同一记录的重新判定。旧 run 用现有兼容 fixture 对照。

S5 监控验收。 用同一组固定记录和判定对照 CLI、离线 Dashboard、实时快照和 trace 查询。验证跨轮次/attempt 关联、缺字段或断连时显示未知/陈旧、主张与事实分列,以及监控读取不启动执行或重新评测。现有 CLI 和宿主 Dashboard 入口随迁移验证。

首期实施顺序(S5)

#371 首期按 6 步交付,每步按表独立检视和验收。PR #397 已合入,完成 第 1 步。PR #424 已 squash 合入,交付 第 2 步的 Apps prepare 归档。生产装配遵循 #362 的 S5 前置条件和 #387 的公开端口契约。表中的验收是各切片的退出条件,整项 S5 验收在第 6 步汇总。 架构顺序 · 首个 CPU/offline 接缝

设计确认。 #371 提案人按本次授权记录 Apps 包路径、标准输出、Harness 字段与摘要入口、监控和 legacy 归属的接受决定。生产装配按 S5 前置条件推进。 定稿记录

步骤 交付范围 依赖与验收
1. 标准输出与重放 AppsResultV1、manifest.json / result.json 的发布和校验、发布失败保留已提交 Ref、复用原 attempt 的重放。对应 #397。 复用已合入的 P0a 契约和 H01 SQLite RunStore。用注入的执行端口验证跨进程固定 Ref、拒绝覆盖、错误映射和 T40 重入。保留生产执行闭环到后续步骤。
2. 接通生产 prepare 和 execute B 冻结协议与资源闭包,Apps 校验后归档 PreparedRef,按固定 prepared、候选和调用方已保存的 attempt 绑定 H 的 ExecutionSpec。调用 H 的生产 CPU 执行端口并发布已提交记录。 依赖 B 的 prepare/编码端口、H02 普通命令基线以及后续 H 的 evaluation-mode bind/execute 能力。T37 由后续评价模式端口交付和验证。覆盖 T36 闭包归档、T37 启动前拒绝、取消与提交失败,并在真实 CPU 路径重验 T40。 H02 和 T37 范围
3. 接通生产离线 assess 以固定 RecordRef 读回原记录和 prepared,核对主 claim,按留存证据调用 B 离线判定,归档 AssessmentRef 并发布完整结果。 依赖 H 固定读取、冻结协议的 claim_definitions 和 B 的 assess 端口。 #434 接口决定验证 T35/T39、错配拒绝、缺证据和归档失败。新进程按原 Ref 重判,并确认离线评测路径无执行副作用。
4. 知识入口与 Harness 循环适配 接入 K 的 read/resource/collect 和显式受控操作。组合 ContextProvider、CandidateProvider、EvaluationPort,复用第 2、3 步的绑定和判定路径。 依赖 K 的对应公开端口及 H 的循环和字节留存能力。验证固定知识 revision、T38 实际交付字节、生成与评测 attempt 分离、预算和截止时间沿用,以及最终验收信息不进入下一轮。
5. CLI、旧入口与三宿主兼容 CLI 和 Python 复用同一装配,接入 evaluate prepare/execute/assess,按兼容矩阵处理旧 CLI/Python 和 Codex、WorkSwarm、DSH。旧组合式评测由 #414 按 H/B/Apps legacy 边界交付。 新 CLI 以第 1–3 步的请求与结果为基础。#414 按 H02、#397 和 apps/legacy/ 接受条件独立实施。对照旧 run 0/1/2、incomplete 优先、evaluation.json、参数和输出。在 checkout 外用 wheel 与三个实际宿主包验证入口、资源和版本偏差。 #414
6. 监控接入与 S5 验收 把已提交运行事实和评测结果接入只读状态、报告、Dashboard 与 trace。在同一组固定记录上完成首期 CPU/offline 端到端验收。 #413 在 K01、#397 之后独立完成记录与展示迁移,第 6 步消费迁移后的接口。以 A15–A18、本节上方两项 S5 验收及实际兼容结果为完成依据。 #413

为什么先做 #397。 三条生产命令共用同一个输出信封和发布边界。H01 已能提供固定记录和真实重入行为,因此可以先验证输出发布失败后的引用保留和跨进程重放。#397 的执行端口仍是注入的,完整的 S5 验收留到生产端口接通后。

当前进展。 第 1 步标准化输出与重放已随 #397 合入。第 2 步的 #424 已合入,交付 Apps prepare 归档和固定引用读取,以注入 Benchmark 端口验证了 T36 的 Apps 侧。PR #427 已 squash 合入(a590ccb2),交付 Apps 侧 ExecutionSpec 字段绑定,覆盖固定 prepared、冻结 worker 和原 attempt 的规范提交。 PR #432 交付生产执行与离线评测共用的只读 ArtifactReader,已 squash 合入(03324093)。第 3 步的固定 RecordRef 到 EvidenceInput 投影由 PR #433 squash 合入(1b888118)。 离线评测装配已由 PR #444 squash 合入(c2f463f0)。Amy 与 Dong 对当前 head 正式批准,8 项检查通过。Apps、导入边界、RunStore 和 Harness 执行定向回归 232 项通过、2 项跳过,覆盖主 claim 的 0/8/9、错配拒绝、单项证据缺失、两级发布失败和跨进程重读旧 SQLite 修订。生产 Benchmark assessor 及其 CPU 验收由 #434 跟踪,需与 #430 共用首个冻结任务。第 2 步的生产依赖分别由 #430 Benchmark prepare/编码 与 #429 Harness 评测模式 CPU 执行 跟踪。#429 已接受,Dong1017 负责。#430 prepare 与 #434 assess 已接受,由 Dong1017 负责 D023 / t108-v4 首个 CPU 生产端口的限定交付。接通后验收 T36、T37 与生产路径的 T40。 第 4 步可独立交付的 Knowledge 读取入口见 PR #436,覆盖固定 Bundle revision、资源摘要和旧 CLI 读取兼容。 36783e6f 已修复 checkout 读取的重复枚举并补回归。完整测试和安装检查通过。知识策略例外 已批准,策略状态已通过。早期失败的声明检查重跑通过,Cursor 复审解除原变更请求,Amy 与 Dong 的两份有效审批及全部 CI 核对通过,已 squash 合入(223ee523)。第 4 步的 Knowledge 上下文交付草稿 #446 已由 Dong1017 squash 合入(ec43d0a4),验证真实 Knowledge 选择与精确数据字节、固定 pins 和摘要;T38 的留存失败、提交封存和新进程重读由 #447 Harness 留存与封存 跟踪。Harness 接缝与负责人已接受,由 Dong1017 在生成编排内通过 RunStore 留存与封存。第 4 步的显式 Knowledge 候选创建、更新和只读历史入口 #448 已由 Dong1017 squash 合入(d32eb968)。并行依赖方面,#422 已合入(9ede1835),交付 #414 旧 run/evaluate 的迁移。D008 五项函数归属已获架构接受。#425 已由 Dong1017 合入(36440109),交付 #413 的 Dashboard、trace 和记录归位。Apps 侧对该 head 的监控定向测试 99 项通过,旧 CLI 及三个插件包入口的兼容检查 61 项通过。第 6 步的固定状态查询 #449 已由 Dong1017 合入(1373ef8e)。#450 已 squash 合入(a92c77cc),复用同一只读视图连接报告、离线及实时 Dashboard 和 trace。第 4 步的 Apps EvaluationPort #462 已 squash 合入(016c7c7d),复用固定执行绑定与离线归档。候选生成计划 #465 已由 Dong1017 squash 合入(4535315d),Apps 按原 attempt 绑定获准的固定输入和必需产物。从已提交生成记录回收候选的 #469 已由 Dong1017 squash 合入(21fddc3e),已通过真实 CPU 普通命令执行、SQLite 固定修订重读及 D023 评测绑定验证。Harness 的前置留存与封存交付 #475 已合入(0311393c),prepare_generation 实际连接 Apps providers、SQLite 固定槽位、manifest 与最终 spec。该 PR 的 9 个定向用例及 131 项回归/43 子用例记录覆盖两处回滚、跨进程读取、同请求恢复和真实普通 CPU 执行;#447 已获 Harness owner 明确接受限定 T38 验收并关闭,见交付、验证和局限汇总。生产 prepare #530 已合入,offline assess #560 正式检视;#429 PR-1 已提交 #561,实际执行和 T40 仍等待后续 PR-2/3 后联合验收。验收覆盖同一固定记录与判定、实时快照和旧修订跨进程读取。真实生产 CPU 验收继续跟踪 #429、#434;#447 / T38 已验收关闭。

Apps 目录整理已完成。 #490 的 storage #493、handoff #496、workflows #517、Cannbot #528、MindIE #537 及最终固定记录验收 #542 均已合入;owner 验收/关闭卡 明确交付、实际检视/测试及环境局限,#490 已关闭。#371 继续推进生产端口:prepare #530 已合入,assess #560 正式检视,Harness #429 按 PR-1/2/3 交付后进行共享生产 CPU 联调。

负责人和完成确认

Apps 设计负责人及提案人:zengchuang-hw(#316)。本次设计接受由提案人按授权记录。S5 的实施完成与关闭以实际交付和验收记录为依据。 定稿记录

Activity

  1. self-assigned this
    on Nov 9, 2026
  2. amy-why-3459 commented on Nov 9, 2026

    @amy-why-3459
    Collaborator

    感谢整理,Apps 作为薄装配层、三核心互不导入的方向很清楚,失败语义(not_started 不算成功、不自动新建 attempt、判定归档失败保留原 RecordRef)也写得很到位。评审时有几点想请一起确认:

    1. 旧入口兼容与版本偏差。 DSH 的 SSH bootstrap 直接导入 inferrsi.arguments.parser / inferrsi.cli.main,远端安装版本可能和本地 launcher 不一致。建议兼容映射里写明:旧模块转发保留到哪个版本、是否发 DeprecationWarning,并为这几个 import 路径加一组兼容测试(含 wheel 安装后、checkout 外执行),避免移动后远端静默失败。

    2. “导入无副作用”和“纯读取不初始化执行器”如何验证。 建议加可自动化的断言,例如导入 inferrsi.apps 及执行 knowledge search/read 后检查 sys.modules 中没有 W 执行器 / B worker 相关模块,或用 import-linter 之类的规则同时约束“三核心互不导入、Apps 只依赖公开接口”。否则这条边界很容易在后续迁移中被打破。

    3. bridge.py 的范围。 它同时承担 K/W/B 三个方向的 DTO 转换和 bind_execution / to_evidence,有可能变成新的跨核心耦合点。是否考虑按方向拆分(如 bridge/workbench.py、bridge/benchmark.py),或至少约定每个转换函数只依赖一侧公开类型?

    4. archive.py 与 RunStore 的存储边界。 prepared / assessment 通过注入的字节存储保存,想确认:存储后端由谁配置和拥有、是否与 W 的 RunStore 共用、保留与清理策略由谁负责,以及新进程执行 assess 时如何仅凭 RecordRef + prepared_ref 定位到同一存储。这几点会直接影响 A15–A18 的新进程离线判定用例。

    5. 退出码优先级。 建议在 S1 评审前先给一张表,列出准入拒绝、not_started、进行中、需要恢复、持久化失败、证据缺失、verdict 不通过各自的退出码和信封字段,并说明与旧 run 的 0/1/2 如何区分,方便宿主 launcher 和 CI 统一处理。

    6. 重试与去重。 execute 沿用 W 的身份和去重语义,但 allocate_attempt 超时或连接中断时,Apps / 宿主若重试,是否可能产生重复 attempt?建议写明去重身份由谁生成(Apps 传入还是 W 分配),以及 Apps 自身在哪些分支一律不重试。

    7. 验收可勾选性。 第一条验收覆盖面较大,建议拆成具体产物:旧 CLI/import 兼容映射表、三个宿主入口映射、现存越界依赖清单(含 campaign_records 对 dashboard_data 私有 helper 的依赖及其退出条件),便于逐项关闭。

    以上主要是边界和可验证性方面的问题,整体方向我这边没有异议。

  3. added
    area:harnessHarness module: profile, A/B loop, quality gates, evidence reports
    on Nov 10, 2026
  4. Dong1017 commented on Nov 10, 2026

    @Dong1017
    Collaborator

    补充一条关于「运行输出契约」的讨论提议,只谈运行产物,不改本 Issue 正文,也不另开一份重复的大 RFC。

    正文已覆盖、此处不再重写的部分:Apps ByteArchive 与 Harness RunStore 可共用授权工作区根,但逻辑命名空间、写入者和保留责任分开;Apps 写 prepared/assessment,H 写 record/原始证据;固定 PreparedRef / RecordRef / AssessmentRef 携带定位、sha256、字节数和 media type;顶层 prepared / record / attempt / 范围错配应拒绝交接,身份已核对但缺必需产物(如 grader-output)才由 B 给出 INCONCLUSIVE。Dashboard、trace 和调用方主张用于展示,不是 assess 的隐含输入。正文「目标目录」和 #387 H 节都是源码迁移树,不是运行产物根,也不是 #91 或 src/inferrsi/data/ 下的知识语料树。

    建议在此补一份可评审的运行产物清单,先把要决定的项列清,不预先选定落盘路径或目录名,也不把下列各项写入本 Issue 现有关闭条件,更不表示设计已被接受:

    1. 逻辑目录与文件。 授权工作区根下有哪些逻辑目录(例如 prepared、record、原始证据、assessment、展示/产品日志、可选 trace),各有哪些必需或可选文件;谁写、谁读。
    2. 清单与引用对应。 新契约应写明 manifest / schema / format 版本及支持范围,并与上述三类 Ref 对应。缺文件、摘要不符,或遇到旧版本、未知版本,都不得当作有效证据,也不得静默读取;顶层身份错配仍走拒绝交接,不要混写成一律 INCONCLUSIVE。
    3. 角色分列。 分别列出记录事实、判定证据、展示/主张、产品日志;后两类不能作为 assess 的隐含输入。
    4. 保留与清理。 固定 Ref 在约定保留期内应能重读到相同的已提交字节;过期或删除后必须明确失败,不能暗示清理后永远可读。这与正文「后续清理补证生成新 record_version、旧修订评测仍可独立重算」相容。新的 schema/format 版本不改变已提交的固定 Ref 与字节,也不要求删除或改写历史输出。不兼容旧布局不等于丢弃审计材料;历史输出可只保留供历史核查,不要求新执行链读取。
    5. 运行输出格式的兼容范围。 这是本评论对运行产物布局的提议,请与正文已有的源码、旧入口和模板路径过渡区分开。本次复核未找到「新执行链必须兼容所有既有或未冻结的旧运行输出布局」的具体支持承诺,因此不默认要求即将发布的版本承担这一兼容,也不建议长期双写、双读或维护适配层。这不是在断言仓库没有使用方。若维护者事后指出具名现存消费者或已记录的明确承诺,再单列有界迁移需求(具体对象、范围、退出条件由维护者定),此处不编造消费者。

    本评论不修改、也不推翻正文里针对源码、旧入口和模板路径的过渡设计,例如旧 import / 参数 / stdout/stderr / 退出码的首期兼容转发、旧 run 的 0/1/2 与原输出对照,以及过渡期继续解析 data/dashboard/template.html。那些仍按 #371(及 #387 中对应的入口退出码对照)评审。

    下列已有规则或提案不在此取消,列为待决例外:

    • #333 与现行 docs/skill-eval-comparison.md 比较合同:按内容哈希绑定,并「保留完整输出目录,以便证据链接可用」。discussion: what trace evidence should InferRSI persist beyond per-run artifacts? #333 仍为 Proposed,是否调整由该题决定。这是既有比较目录的留存规则,不自动等于要求新执行链把所有旧布局当作有效判定输入。
    • 仓库内已冻结的战役 evidence/ 等审计材料应继续保留,不因新运行输出契约而删除或重写。
    1. 与 #333 的边界。 本清单元覆盖一次运行的目录/文件及跨 run 索引落点;discussion: what trace evidence should InferRSI persist beyond per-run artifacts? #333 仍决定 per-run 之外还要持久化哪些 trace。两题不互相关闭,此处也不给 discussion: what trace evidence should InferRSI persist beyond per-run artifacts? #333 的事件信封定最终 schema。

    以上供设计评审对照;实施切片另议。

  5. Dong1017 commented on Nov 11, 2026

    @Dong1017
    Collaborator

    Apps 全设计复审:有具体待修项,整体分工不推倒重来

    这轮输入覆盖本 Issue 完整正文与全部评论、#387 当前正文及七卷规范、#362 已接受约束和相关讨论。本机 Fable 做了完整只读复审,我再独立核对具体论据;不是沿用之前仅接缝审阅的结论,也未运行源码、pytest、wheel 或宿主测试。

    已覆盖的部分不重复提成缺口: api/bridge/archive/result/views 的装配、转换、字节归档、呈现职责是清楚的;纯 K 查询不加载执行器有验收位置;H 持有循环/预算/恢复,B 持有协议/worker/判定;记录 helper、STAGES、主张对账先回 H 再迁页面。固定 Ref、提交成功才发引用、顶层错配与单项缺证据分开、旧入口/Path/stdout/stderr/run 0/1/2、模板和三个宿主的兼容也已有安排。没有依据要求为“更完整”先重拆 bridge.py 或重做整棵目录。

    以下是需要补齐的具体交付面。前四项对应 zengchuang 的交接/CLI 复核,第五项是这轮额外发现;不是让 Apps 私自补核心业务。

    1. prepare:协议字节、资源来源和最终定位须连起来

    对应「准备评测」「装配顺序与归档」及 D005/D017/V07/T15。目前返回 PreparedEvaluation,其中 protocol/resources 是 Ref;Apps 要归档完整闭包,但新生成协议的规范字节及按 role 读取资源的入口没有明确交付。

    建议 B 的进程内返回提供协议字节和只读资源字节/流;同时明确谁分配最终存储 locator、何时由 B 的纯编码/校验能力封存,避免 Apps 复制 B 规则。验收: 从空归档根、非 fixture 的授权 prefix 开始,完整提交后换进程可读;缺任一必需资源就没有 PreparedRef。重定位按既有语义 ID/字节摘要规则逐层重算,不能泛称任意移动闭包都不改变 ID,也不能改写已提交字节。

    2. worker:冻结的预期代码摘要必须到达 H 的启动前核对

    对应「B worker 配方」映射、D005/D021、OperationRecipe/CommandStep/RuntimeBinding。recipe 有 code_sha256,步骤映射未明确如何把它交给 H;实际观测摘要不能代替预期值。

    建议固定一条明确路径:步骤显式预期摘要,或有版本的 H 只读绑定投影;Apps 原样传递,H 不导入 B。反例/验收: 入口名和 revision 相同、实际代码字节不同,候选进程零启动,H 提交 not_started 与核对失败事实;提交失败仍走原持久化错误分支。若改 DTO,同步 schema、语义校验和 golden/request digest,不重写历史输出。

    3. CLI:先明确受支持的 attempt 获取与断连重放路径

    对应「CLI、Python 与结果信封」「失败与恢复」及 D022。AppsExecuteRequest.attempt 必填,但三条 CLI 命令未交代纯 CLI 用户如何取得它;不能在重发 execute 时又分配 attempt。

    最小可行路径是明确:Python/宿主先调用 H 分配身份,执行前保存完整请求文件,CLI 消费它,StorageConfig 另由可信宿主/显式配置注入。若要承诺纯 CLI 独立闭环,再补获取请求文件的入口,不必现在扩命令集。验收: 同一 RunStore、同一已保存请求,提交后响应丢失仍重放原身份;已完成返回原 Ref,状态未知返回 RecoveryRequired,不新跑、不延长期限/预算。

    4. 主 claim:错误发生点及结果信封与 D022 对齐

    对应「CLI、Python 与结果信封」、D022/V30/T35。同一 scope 可有多个 claim,“主范围”不够;应明确 (primary_claim_id, primary_scope),并对齐 exit_code/error/primary_* 和内外层 Ref 一致性。

    建议通过 B 的公开只读能力或明确的字段投影核对冻结 claim key:请求键不存在 → InvalidRequest/2,不调用 assessor、不归档;键合法但 B 结果漏该键 → assessor 结果契约错误,不由 Apps 补判或误报用户参数错。合法完整结果再按归档失败优先、所选 claim 的 0/8/9 返回。补这两个反例,并保留其他 claim/scope 原结果。

    5. ContextProvider.collect:实际字节交付与 H 留存回执缺一段

    对应「H 循环端口的 Apps 适配」及 ContextRequest/DeliveredContext/GenerationManifest。当前约定 Apps 把实际内容交 H 留存,但 DeliveredContext.artifact 已是必填 Ref,返回 DTO 又没有字节/流通道。仅算出 hash/location 不代表字节已提交。

    建议保留现有写入分工:Apps 交上下文 draft/字节,或调用 H 定义的捕获端口;H 完成留存后封存最终 DeliveredContext,再用于 generation manifest。验收: 留存失败不能发布有效交付 Ref;成功后换进程能读到完全相同的实际交付字节,不能只有引用、重读却 ArtifactUnavailable。这不授权 Apps 直接写 H RunStore。

    依赖与非阻碍边界: 1/2/5 涉及共享端口/DTO,应回到 P0a 契约联审修正,不是 Apps 自行填空;3/4 须在 Apps CLI/结果契约冻结前明确。H01 仍依赖被接受的 P0a,K01 仍须 P0b 精确政策正式架构 review;不另加“全部 Apps 实现验收完才能迁 K/H”的条件。后续旧评测落点 Apps legacy/evaluation.py、实际需要的包 init/package-data/新旧模板唯一解析,列入对应迁移切片即可;示意树省略不等于打包已经坏,七 K 例外也不自动授权后续 CLI→Apps 兼容边。

    原运行输出专项建议继续单独保留,不重复扩成“必须兼容全部旧输出布局”,也不删除历史证据。本评论是全设计复审意见,不改变 Proposed、负责人、验收框或实施授权;模型复审与作者判断均不代替维护者接受。

  6. Dong1017 commented on Nov 11, 2026

    @Dong1017
    Collaborator

    交叉说明:已将本评论五项中经独立核对仍成立的部分,连同#387 上 zengchuang 的四点,写入#387 正文 K 节和t115 契约修订补充。不修改本 Issue 正文、指派或验收框,也不把这些修订写成 #371 已接受。

    对应关系:第 1 项(prepare 字节与 locator)和第 2 项(启动前代码摘要)对应其第 1、2 点;第 3 项(attempt 保存与断连重放)和第 4 项(主 claim 顺序与信封)对应其第 3、4 点。第 5 项(DeliveredContext 先提交字节再发 Ref)是本复审额外发现,已同样写入共享契约:Apps 交 draft/字节或调用 H 捕获端口,H 留存后封存最终引用,Apps 不直接写 RunStore。

    运行输出专项继续单独保留,不在此扩展为必须兼容全部旧输出布局。P0a 只收录文档/schema/fixture;K01 仍须 P0b 正式架构 review;不要求整个 Apps 实现完成才能搬家。

  7. zengchuang-hw commented on Nov 11, 2026

    @zengchuang-hw
    ContributorAuthor

    已对照全设计复审五项和 #387 t115 修订更新本 Issue 正文。这五项都有明确的数据交接或失败反例,已采纳为 Apps 设计修订,具体落点如下。

    1. Prepare 闭包。 「准备评测」「Prepare 封存顺序」和时序图已写明 B 提供协议规范字节与按 role 的资源字节/流,Apps 在可信 StorageConfig 下分配最终定位,再经 B 纯编码/校验形成最终 prepared 并归档。重定位遵循既有投影,协议或资源描述内部字节变化时重算相关摘要和身份。T36 覆盖空归档根、缺资源和跨进程读取。

    2. Worker 预期摘要。 字段映射明确将 OperationRecipe.code_sha256 传到评测步骤 expected_code_sha256,H 启动前核对实际字节。入口名和 revision 相同但代码不同走 T37 的零启动、not_started 和真实提交失败分支。schema、语义校验及请求摘要向量的联动已列入 S1/P0a。

    3. Attempt 与重放。 首期路径已确定为 Python/宿主先向 H 分配身份,执行前保存完整 AppsExecuteRequest,CLI 消费同一文件。响应丢失后复用原请求与原 RunStore,已完成返回原 Ref,未知状态返回 RecoveryRequired。T40 验证期限和预算随原请求重放。

    4. 主 claim 与信封。 请求明确包含 (primary_claim_id, primary_scope),信封补齐 primary_* / exit_code / error 及内外层 Ref、admission 一致性。键不在协议返回 InvalidRequest/2,键合法而 B 结果遗漏返回 AssessorError/2;合法完整结果先处理归档,再映射所选 claim 的 0/8/9。对应 T35/T39。

    5. 上下文实际留存。 ContextProvider.collect 的 Apps 侧交付改为 DeliveredContextDraft,包含逻辑字段和实际字节/流;H 捕获提交后封存最终 DeliveredContext,再把该已提交引用用于 generation manifest。T38 验证留存失败和成功后的字节可重读。

    正文还补上后续 apps/legacy/evaluation.py 的落点,并将包初始化、package-data、宿主资源筛选和模板解析验证放到对应迁移切片。原运行产物专项继续通过原评论单独讨论。

    本轮完成文档修订和条款对照,T36–T40 在正文列为预期验收。共享端口/schema/fixtures 随 S1/P0a 联审,生产装配与执行验证由相应切片交付。

  8. zengchuang-hw commented on Nov 11, 2026

    @zengchuang-hw
    ContributorAuthor

    @Dong1017 @amy-why-3459 麻烦再回读一下 #371 当前正文。上一轮五项意见已按 #387 的 t115 契约修订写入接口、时序和 T36–T40 验收用例。 逐项修订说明 · 共享契约修订

    两位还有检视意见吗?如果有,请指出对应条款、建议改动,以及是否需要在开发前处理。如果没有阻塞,请确认 #371 能否定稿,并在相应的共享契约和核心端口就绪后进入 Apps 开发。若还有必须先满足的依赖,也请一并注明。

    也请一起回读新增的「运行监控与追溯」。Dashboard、trace 和运行状态查询均设计在 Apps,数据沿用 Harness 的记录与事件及 Benchmark 的已保存判定。 监控设计

  9. cursor commented on Nov 11, 2026

    @cursor

    定稿前请先改三处正文,改完后这一轮回读没有进一步的检视阻塞。上一轮五项已经按条款写进当前正文。本条是 Dong-bot 的回读;接受与关闭仍要架构负责人会同接口 owner 记录,正文状态仍是 Proposed。

    五项已核对

    1. Prepare 闭包。 「准备评测」、时序图、「Prepare 封存顺序」:B 交协议规范字节和按 role 的只读字节/流;Apps 在可信 StorageConfig 下分配最终定位,再交 B 纯编码/校验后归档。缺资源或归档失败则没有 PreparedRef。已提交字节保留原修订。
    2. Worker 摘要。 「B worker 配方」把冻结的 OperationRecipe.code_sha256 原样写入评测步骤 expected_code_sha256;入口名与 revision 相同而摘要不同时候选进程零启动,H 提交 not_started 和核对事实。T37 包含提交失败走 ExecutionPersistenceError。expected_code_sha256 进入请求摘要向量写在「核心端口对照」,随 S1/P0a。
    3. Attempt 与重放。 「失败与恢复」和 CLI 节:首期由 Python/宿主向 H 分配身份,执行前保存完整 AppsExecuteRequest,CLI 消费该文件;StorageConfig 在请求之外注入。完成返回原 RecordRef,状态未知返回 RecoveryRequired;显式重跑才使用带 retry_of/retry_reason 的新 attempt。
    4. 主 claim。 AppsAssessRequest 使用精确 (primary_claim_id, primary_scope)。键不在协议中返回 InvalidRequest/2,跳过 assessor 和归档;键合法而结果遗漏返回 AssessorError/2,此时无有效 AssessmentRef。合法完整结果先归档,失败退出 6,成功后再映射所选 claim 的 0/8/9。T39 与 T35 一起核对信封。
    5. 上下文留存。 ContextProvider.collect 返回 DeliveredContextDraft(含实际字节/流);H 用自有捕获端口提交后才封存 DeliveredContext.artifact,再把该已提交引用写入 generation manifest。T38 覆盖留存失败与换进程读回相同字节。

    开发前要改的正文

    1. 时序图 break 与 T40 缺执行中分支。 对应「失败与恢复」和退出码 4。同步执行中应返回 AttemptInProgress,沿用原 attempt、期限和预算。时序图的 break 只写了 not_started 和 recovery_required,T40 只写了完成与状态未知。请把执行中写进这两处:停止自动推进,进入 read/assess 之前结束。同一段「B worker 配方」里「入口无法解析时记录未核对/未知」请写明候选进程零启动,以及记入的 H 事实和 Apps 退出码,与摘要不符分支一致。
    2. T36 表行缺重定位预期。 对应「Prepare 封存顺序」。正文已规定只在声明为 ArtifactRef 的位置按既有投影剥离 location;协议或资源描述内部字节变化时重算摘要和 prepared_id。T36 表行现在只有空归档根、换进程读回和缺资源。请把这条重定位预期写进 T36,供 P0a golden 直接引用。
    3. allocate_attempt 调用方前后不一致。 对应接口表「分配执行身份」和开篇「宿主 → Apps → 核心」。表上该端口列在 Apps 调用一侧;时序图和「失败与恢复」写的是 Python/宿主直接调用 H,CLI execute 只复用已保存的 AttemptContext。请在该表行写明首期调用方是 Python/宿主,execute 内部不再次分配。

    这三处都是现有条款的表达对齐,开发前处理。补进正文后,就这五项而言可以请架构负责人会同接口 owner 记录定稿。

    进入 Apps 开发之前还要满足

    本轮只读了 #371 当前正文和评论线程,没有跑测试,也没有对 #387 现行正文做逐条 diff。

  10. zengchuang-hw commented on Nov 11, 2026

    @zengchuang-hw
    ContributorAuthor

    已按本轮回读对齐 #371 正文中的三处。

    1. 同步重入与 worker 失败。 时序图和 T40 都列出 AttemptInProgress/4。它与 RecoveryRequired/5 一样在自动读取或判定前结束,并保留原 attempt、期限和预算。B worker 配方与 T37 也补了目标端无法解析实际入口的反例。候选进程零启动,H 记录 not_started、not_performed 及实际摘要未知。已收束记录返回 3,待恢复和提交失败沿用 5/6 的优先级。
    2. T36 重定位。 补上只改协议 Ref 的 locator、协议字节相同的正例。prepared_id 相同,新的归档摘要按新 prepared 字节计算。协议或资源描述内部字节变化时按规范重算相应摘要和身份,在约定保留期内可按原 Ref 读取旧提交。
    3. allocate_attempt 的调用方。 开篇、接口表和时序统一为首期 Python/宿主先通过 H 公开端口取得 AttemptContext,保存完整 AppsExecuteRequest。Apps execute 消费原请求中的身份。

    定稿时仍需回读兼容矩阵、越界依赖清单和独立检视结论,S5 依赖已接受的共享契约和可用的核心端口。以上是设计对齐,后续用例的实际验证由对应切片完成。

  11. zengchuang-hw commented on Nov 11, 2026

    @zengchuang-hw
    ContributorAuthor

    @Dong1017 @amy-why-3459 上轮回读的三处已修订,当前正文还补了「标准化运行输出」和「运行监控与追溯」。这版可以进入定稿评审。想请两位重点回读下面几项,确认是否还有会阻塞定稿的具体问题。 三处修订说明

    • 标准化输出。 请核对 manifest.json / result.json 的留存契约,尤其是 H 已提交固定记录、Apps 输出发布失败时,退出码 6 与原 RecordRef 的读取、重放是否足够明确。也请确认 CLI 自动分配 output-id 时,调用方是否需要额外的定位方式。 输出设计
    • 监控与迁移。 请核对 Dashboard、trace 的 Apps 只读边界,以及兼容矩阵与越界依赖清单还缺哪些条目。当前需要覆盖旧 CLI/Python、Codex、WorkSwarm、DSH,并验证 campaign_records 的记录读取 helper 和 campaign_trace 的 STAGES 从 dashboard_data 解耦。 监控设计
    • 定稿与实施依赖。 如仍有问题,请指明条款、预期改动和是否必须在定稿前完成。如认可当前边界,请明确记录 task: Apps 应用层详细设计与迁移计划(CLI / Python / Plugin) #371 的接受意见及剩余条件,便于按 rfc: K/H/B 与 Apps 公开接口详细设计(最小交接与模块边界) #387 共享契约和首批核心端口的进度安排 S5。 共享契约
  12. cursor commented on Nov 11, 2026

    @cursor

    标准化输出还有两处要在定稿前写进正文:输出发布失败时进程内结果要带上已提交的 RecordRef;CLI 省略 --output-id 时要有明确的定位通道。监控的只读边界按当前正文可以保留。兼容矩阵和越界依赖清单要补上下面这些条目之后,才能记入定稿。#371 的接受与关闭仍待架构负责人会同接口 owner 记录,状态保持 Proposed。以下是 Dong-bot 的回读。

    上轮三处

    已对齐,这三处不再作为定稿阻塞。

    • 时序图第一个 break 和 T40 都包含 AttemptInProgress/4 与 RecoveryRequired/5,两者在自动读取或判定前结束,并沿用原 attempt、期限和预算。
    • 「B worker 配方」和 T37:入口无法解析时候选进程零启动,H 记录 not_started、not_performed、实际摘要未知;已收束返回 3,待恢复和提交失败按 5/6。
    • T36 写了重定位:只改协议 ArtifactRef 的 locator 且协议字节不变时 prepared_id 相同,归档摘要按新 prepared 字节计算;内部字节变化则重算摘要和 prepared_id;约定保留期内按原 Ref 读取已提交版本。
    • 「分配执行身份」、开篇和时序图一致:首期由 Python/宿主调用 H allocate_attempt,执行前保存完整 AppsExecuteRequest,Apps execute 复用其中的 AttemptContext。

    标准化输出

    H 已提交、输出发布失败。 重放路径已经明确,当次返回还差字段。

    条款:「标准化运行输出」的提交与失败;退出码表的 6。

    已写明的部分:发布失败返回 ArchivePersistenceError、退出码 6;临时目录不可当作已发布输出;同一已保存请求和同一 RunStore 重放时,完成则返回原 RecordRef,新的 output-id 可以引用该 Ref。这条路径足以在响应丢失后取回原记录,并且沿用原 attempt。

    定稿前补上这一句:同一次调用的进程内 AppsResultV1 在该失败下带 exit_code=6、error.code=ArchivePersistenceError,且 record_ref 为已提交的原 Ref。退出码 6 同时覆盖 H 的 ExecutionPersistenceError(首次登记失败时没有可用 RecordRef)和判定归档失败(内存结果里 assessment_ref 为 null)。调用方要靠 error.code 和对应 Ref 是否存在区分这三种失败。prepare、assess 在底层 Ref 已经提交、只是 manifest.json / result.json 发布失败时,进程内结果同样带上该 Ref;重放语句里的「原 attempt」只适用于 execute。

    CLI 自动分配 output-id。 调用方传入 --output-id 时不需要额外定位,路径是授权工作区下的 output/<output-id>/manifest.json。Python/宿主不传时,从调用元数据取标识。CLI 省略时,标识独立于 AppsResultV1,目录名又只有分配之后才知道,正文没有第二条通道。

    定稿前在 CLI 契约里定一条:要么 CLI 必须收到 --output-id,自动分配只留给能拿到调用元数据的 Python/宿主;要么 CLI 省略时在 AppsResultV1 之外返回所分配的 output_id。output_id 继续独立于 AppsResultV1 和 request_digest。目录扫描不作为定位方式。--output-id 目前只出现在输出节,CLI 参数段还没有这一项。

    这两处是条款补齐。目录形态 output/<output-id>/{manifest,result}.json、原子发布、拒绝覆盖、从 manifest 校验后读 result.json,可以保留。

    监控与迁移

    Dashboard、trace、状态和报告的只读边界写清楚了,可以保留:读取 H 的记录、阶段、进度、事件投影和已归档的 AssessmentRef;Apps 做过滤、排序、呈现和授权范围内的导出;导出写入调用方指定的展示产物;实时页面带观测时间和陈旧状态;历史回看用固定 record_version。S5 监控验收已要求这些读取不启动执行、不重新评测。#345 和 #333 继续各自跟踪。

    兼容矩阵和越界依赖清单还是「设计验收」里未勾选的交付,正文没有表。定稿记录前要补上。此项不改监控边界。

    矩阵按旧 CLI/Python、Codex、WorkSwarm、DSH 各行列出入口、参数、输出、资源/依赖、兼容转发和退役条件。现在还缺的具体行:

    越界清单逐条写 owner 和退出条件,至少包括:

    • campaign_records → dashboard_data 的私有记录读取 helper。helper、STAGES 和主张对账留在 H。退出条件:campaign_records 不再导入 dashboard_data。
    • campaign_trace 的 STAGES。正文写了按方法拆分并先标明 owner,还没有把「不再从 dashboard_data 取 STAGES」列为独立退出条件。owner 按现有表述放在 H records。本轮没有核对源码,这一条来自本轮问题和正文,是清单缺项,不是树内 import 的核对结果。
    • optimization_trace / story / log 与 campaign_trace 的记录、主张采集、对账、展示。正文要求先标明 owner,清单里还没有对应行。
    • rfc: K/H/B 与 Apps 公开接口详细设计(最小交接与模块边界) #387 H 节文件迁出候选相对 F 节「记录与对账留在 H」。定稿清单点名暂留项和迁出项,迁移按函数核对。

    导入无执行器/worker 的检查沿用 #376,放在涉及路径的切片里验证,含独立进程 import inferrsi.apps、knowledge search、read,以及 checkout 外的 wheel。

    定稿与 S5

    可以保留、并供后续接受的边界:Apps 作为薄装配层;首期 Python/宿主分配 attempt;T36–T40 的预期行为;标准输出与 H output_root 分离;监控只读。本轮把 #371 保持为未接受。

    定稿记录之前:

    1. 写入上面两条输出条款。
    2. 附上兼容矩阵、越界依赖清单和独立检视结论。设计验收四项目前都未勾选。

    其后 S5 仍等待,与这轮正文修订分开:

    • rfc: K/H/B 与 Apps 公开接口详细设计(最小交接与模块边界) #387 相关契约被接受。S1/P0a 把 D023 写入文档、schema、语义校验和 golden fixtures,覆盖 T36–T40、expected_code_sha256 的请求摘要向量,以及留存产物读取签名。
    • H01 等这份 P0a 被接受。K01 等 P0b 的架构评审与合入。
    • 首批核心端口可用之后,再做 Apps 生产装配,并按正文的 S5 输出验收和监控验收执行。

    本轮只读了 #371 当前正文和评论线程,没有跑测试,也没有对 #387 现行正文做逐条 diff。

  13. 33 remaining items

  14. zengchuang-hw commented on Nov 19, 2026

    @zengchuang-hw
    ContributorAuthor

    已按这次 owner 确认将最新实施状态写到 issue 顶部:当前跟进 #528(完整差异已获 Dong 正式批准,1/2,必需 CI 全绿),#526 只保留历史,不再寻求批准。#447 / T38 已完成;#429/#430/#434 标明代码未启动、没有分支/PR和可确认联调日期,不把已定负责人写成已有实现。

    4a 合入后提交 4b,随后将真实 CPU 固定记录验收换到实际 main 再提 Ready PR。生产三端口齐备后才跑 T36/T37/T39/T40。后续跨模块测试请优先使用已合入的 canonical inferrsi.apps.handoff.bridge.verify_protocol;旧 apps.bridge 暂由登记的静态 shim 兼容。

  15. zengchuang-hw commented on Nov 20, 2026

    @zengchuang-hw
    ContributorAuthor

    本轮已分别在 #429、#430、#434 @Dong1017 请求启动已接受的实际开发,要求回填实现分支/PR或具体执行阻塞;#429 可以独立开发,不等 #430 或 Apps 目录整理。检查发现 #429 的 GitHub assignee 尚未登记,已按既有 owner 决定补为 Dong1017;#430/#434 已有同一负责人,未改动其分配。三项暂仍以尚无实现入口记录,收到实际分支/PR后再更新。

    Apps 当前继续跟进 #528:head 2045c0fe,Dong 的有效 Approve 1 份、必需 CI 全绿,已再次请求 david6666666 / amy-why-3459 独立检视。第二份有效审批到位后 squash 合入,再依次提交 MindIE 和最终验收 PR。

  16. Dong1017 commented on Nov 20, 2026

    @Dong1017
    Collaborator

    Posted by Dong-bot, an automated agent acting on behalf of @Dong1017 (always-on-bot, model claude-sonnet-5-5).

    已收到。这条是进度通报,没有新的待决项。我没有新的架构决定要记,#371 的设计仍是 Accepted,整体保持打开。

    已确认

    仍未解决(都是实现交付,不是设计决策)

    未核对的内容:没有重新读取 #528 的 CI 日志和审批状态,以上沿用你这条评论和上一轮线程里的记录。这条回复不是对 #528 的复审。

    Dong-bot(授权代办)记录。

  17. zengchuang-hw commented on Nov 20, 2026

    @zengchuang-hw
    ContributorAuthor

    生产接口出现实际实现进展:按 #430 的作者授权,当前 Apps Codex 作者已提交正式 Ready #530(Benchmark P1 prepare / encode / validate)。head 8980ff6e,229 passed、330 subtests;独立 sdist→wheel→新环境安装及新端口导入通过。它验证生产 prepare 代码与真实 Apps 归档/跨进程重读,不执行 worker,也不替代尚未交付的 #429/#434;#430 整体验收待检视确认。

    #528 继续保持原 head 2045c0fe,Dong 有效 Approve 1 份、必需 CI 全绿,david6666666 / amy-why-3459 第二份审批仍待完成。满足后先 squash #528,再依次提交 MindIE 与最终固定记录验收 PR。两个 Apps 本地分支已准备,顺序不变。

  18. zengchuang-hw commented on Nov 20, 2026

    @zengchuang-hw
    ContributorAuthor

    本轮结果已回填:#530 当前 0a82e7b5 的必需 CI 全绿,Python 3.10/3.11 完整组各 5615 passed、31 skipped、672 subtests,缺 consumers 的唯一失败已修复;任务 owner 已技术 PASS,独立审批 0/2。它交付 #430 的配置式生产准备端口,仍不替代 #429 execution / #434 assess。

    #528 仍待第二份有效 write+ 审批:Dong 一份有效,新增 Cursor 技术复验报告 124 passed,但其 permission=none,不计有效票。已在本轮满 1 小时时提醒请求方介入,并再次催 david6666666 / amy-why-3459。没有越过条件合入,MindIE 与最终验收分支继续等待 #528 合入后依序提交。#429/#434 的开工请求已分别记录,尚无已记录实现 PR。

  19. amy-why-3459 commented on Nov 21, 2026

    @amy-why-3459
    Collaborator

    看到实施状态已更新为 2026-11-21:#490 前四步(含 MindIE #537)已合入主线 13a9953ac682f831d5be6d9489c9092779410295,第五步正式 Ready #542(head 96b327fe1222d297275f340c35e4a428393add2b)已提交。正文同时写明 #490 待该 PR 合入及 owner 验收后再关闭,#371 总体验收仍按生产端口与共享 CPU 条件跟踪、不能由目录回归替代,这与既定边界一致。定向 39 passed 与组合 362 的版本关系见 #490 / #542;我会对 #542 单独检视。

  20. Dong1017 commented on Nov 21, 2026

    @Dong1017
    Collaborator

    Suggestion for the Apps layout, now that #490 has closed. This is for the #371 owner to decide; nothing here is started.

    apps/views/ mixes two kinds of module. The package docstring says views are read-only and accept no result, and most modules match that: they render or project recorded evidence (dashboard*, attempt*, comparison_report, summary_chart, optimization_chart, optimization_story, experiment_timing, profile_searches, retrieval_projection). Six modules instead import and correlate evidence into a campaign:

    Module What it does (main at 7a7ab84)
    search_attribution.py import_search (line 280) writes search/round-N.json and search/archive/ with an atomic replace (line 81); reached from campaign import-search
    codex_search.py extracts attributable file-search evidence from Codex rollouts
    codex_tool_returns.py correlates Codex tool-return windows (correlate_window, line 183)
    codex_knowledge.py decodes recorded InferRSI CLI results; imports apps.cli.arguments (line 42), so views depends on cli
    round_citations.py binds citations in a retained round reason to the rollout
    capture_delivery.py checks visible capture resources; imports workflows.campaign.verify_capture

    search_archive.py is shared input validation, used by both groups. The rendering and projection modules import none of the six.

    Option: move the six into their own Apps subpackage (for example apps/evidence/), keep search_archive.py where both can use it, and keep static compatibility exports under the #490 rules. No views file is in the optimization runtime identity or the skill-eval controller hashes, so the move does not affect existing sessions or comparison plans. Hard-coded paths to check are the apps/views/*.html package data in pyproject.toml, dashboard.py's template lookup and tests/check_installed.py; the templates stay in views/.

    Meanwhile, a docs PR corrects the views/__init__.py docstring so it no longer claims the package writes nothing.

  21. amy-why-3459 commented on Nov 21, 2026

    @amy-why-3459
    Collaborator

    看到实施状态已再次更新:#490 五步(含最终验收 #542,squash 合入 main c56c0808ac78a6ee2c18aadbeb347a337addc7b5)已按 7061223067 接受限定完成并关闭。我核对了该关闭卡与合入提交;目录验收不替代 #371 总验收,这一点与此前边界一致。

    正文同时写明生产 prepare #530 已合入,offline assess 正式 Ready #560(head 4258c76a84f3c9cf7086a0b7965a7ec17cd445f9)已提交,输入是留存夹具、不冒充真实 Harness evaluation worker。我已在同一 head 上留下未通过的检视意见(7061870798),当前 CI 与独立批准仍待完成,因此还不能把 #434/#560 视为生产 assess 已交付。

    关于 #429:已核对 7061372237,PR-1 限定委派给本 Codex 会话、Dong 负责后续 PR-2/3、原验收范围不变,记录属实。正文写“PR-1 仍待实际首提交”时确实还没有正式 PR;在描述更新之后,作者已在 #429 说明首个增量已推到分支 codex/harness-429-prepared-binding(bfa4bc23a4cd5f5ec031eb77b6b8989d10273987),并明确不据此声明 PR-1 完成、完成后再开正式 Ready PR。建议把这句话改成“分支已有首个增量,正式 Ready PR 尚未提交”,以免“首提交”被读成还没有 commit。共享生产 CPU 验收(T35/T36/T37/T39/T40/V23)请在 #560 意见处理完且 #429 PR-1 进入正式检视后再更新完成判断。

  22. amy-why-3459 commented on Nov 21, 2026

    @amy-why-3459
    Collaborator

    看到描述更新:实施状态已将 #560 记到 head 4887f1e9、#429 PR-1 记为已提交的 #561(head d67b4131),并把剩余路径写清为 #530 → #561 PR-1 → Dong 的 PR-2/3,#560 可先独立完成端口集成、再消费真实 CPU 固定记录。

    我核对了当前开放 PR:#560 head 确为 4887f1e94f39c1d4b675e965cfcc0a6e932d50a2,#561 head 确为 d67b41312a2b61cfe81ae1dec1fcda715edd4d62,我此前已分别在这两个 head 上批准。两者都还需要另一份独立批准,合入前 required checks 也需通过。#560 使用留存软件测试记录、#561 仍拒绝有效 evaluation-mode 启动、联合验收继续跟踪 T35/T36/T37/T39/T40/V23,与当前交付边界一致,没有额外阻塞意见。

    建议把 #434 正文 Current state 里仍记录的 #560 head 4258c76a 同步为 4887f1e9,避免两处状态不一致。

  23. zengchuang-hw commented on Nov 21, 2026

    @zengchuang-hw
    ContributorAuthor

    补充 #560 + #561 组合验证(两条 PR 的公开 head 不变,不制造新检视 head):

    • feat(benchmark): add frozen P1 offline assessment #560 4887f1e94f39c1d4b675e965cfcc0a6e932d50a2 与 feat(harness): verify frozen preparation before registration #561 d67b41312a2b61cfe81ae1dec1fcda715edd4d62 可无冲突组合;组合 source tree 为 cfa11c032dee252a84718040b05cc2e023d7b618。
    • 组合运行 Benchmark prepare/assess、Apps assess、H prepared binding、旧 ordinary execute、迁移登记和以下额外端口探针:274 passed,2 skipped。跳过仍为 POSIX-only 过程域测试;没有失败或错误。
    • 新探针使用真实 Production PreparationService → Apps 完整闭包归档 → canonical verify_protocol → Apps binder → 新 H 只读投影,核对实际 worker resource 的固定字节摘要、candidate/worker-code/input-data 输入角色。随后 H 仍按 PR-1 范围拒绝 evaluation-mode 启动;claim/入口解析/执行哨兵均不得触发,attempts/records 仍为空。
    • 两条 PR 各自当前头的 Ready CI 已全绿;Python 3.10 / 3.11 的 full-check 各为 5980 passed、31 skipped、674 subtests passed。各自 fresh wheel 也通过。Amy 已分别正式批准;David 原请求仍保留,并补请具有 write 权限的 jiangkuaixue123 独立检视。仍需第二份有效独立批准才能合入。

    这只增加组合兼容性证据。实际 evaluation worker、登记后的 T37、期限/预算/T40 和共享生产 CPU 验收仍未完成,#429/#430/#434/#371 不据此关闭。

    独立绑定探针源码(在上述组合 checkout 根运行;不执行 worker)

    将下列内容保存为临时测试文件,使用组合 checkout 的 src 和 tests,运行 pytest。本探针未提交进两个 PR;其余用例均来自所列 head 中的已有测试。

    """One-off combination probe; preparation and declaration binding only, no worker run."""
    
    import sqlite3
    from hashlib import sha256
    from pathlib import Path
    
    import pytest
    
    from inferrsi.apps import api
    from inferrsi.apps.handoff.bridge import bind_execution, verify_protocol
    from inferrsi.apps.storage.archive import read_archive_artifact, read_prepared
    from inferrsi.apps.storage.artifact_reader import ArtifactReader
    from inferrsi.benchmark import preparation as benchmark
    from inferrsi.contracts.json_v1 import decode
    from inferrsi.harness import execution_service, prepared_binding, run_store
    from inferrsi.harness.api import Harness, LocalCpuTarget
    from inferrsi.harness.errors import PublicError
    from tests.test_benchmark_preparation import preparation
    
    
    def test_actual_prepare_archive_is_consumable_by_the_new_harness_binding(
        preparation, tmp_path, monkeypatch,
    ):
        service, request, sources, _, _, config, archive = preparation
        output = api.prepare(
            {"schema_version": 1, "request": request}, workspace=tmp_path,
            storage_config=config, prepare_benchmark=service.prepare,
            encode_prepared=benchmark.encode, validate_prepared=benchmark.validate_prepared,
        )
        assert output.result["exit_code"] == 0
        ref = output.result["prepared_ref"]
        prepared = read_prepared(config, ref)
        verify_protocol(prepared, read_archive_artifact(config, prepared["protocol"]))
        base = decode((Path.cwd() / "tests/fixtures/harness-prepared-binding/d023-null-timeout.json")
                      .read_bytes())
        candidate = b"actual retained candidate for a binding-only probe\n"
        (archive / "candidate.txt").write_bytes(candidate)
        candidate_ref = {"location": "archives/local/candidate.txt",
                         "sha256": sha256(candidate).hexdigest(), "size_bytes": len(candidate),
                         "media_type": "text/plain"}
        base["inputs"][0].update(source=candidate_ref["location"], source_ref=candidate_ref,
                                 expected_sha256=candidate_ref["sha256"])
        execute_request = {
            "schema_version": 1, "prepared_ref": ref,
            "attempt": {key: base[key] for key in execution_service.ATTEMPT_FIELDS},
            "proposal": {key: base[key] for key in ("candidate", "inputs", "generation_record_ref")},
            "output_root": base["output_root"],
        }
        spec = bind_execution(execute_request, prepared)
        reader = ArtifactReader(config)
        projection = prepared_binding.verify(spec, reader)
        assert projection.code_sha256 == sha256(sources["worker-code"].read_bytes()).hexdigest()
        assert {item["role"] for item in spec["inputs"]} == {
            "candidate", "worker-code", "input-data",
        }
        store = run_store.RunStore(tmp_path / "binding-store", "test")
        target = LocalCpuTarget("fixture-cpu", "1", work_root=tmp_path / "work")
    
        def forbidden(*args, **kwargs):
            pytest.fail("a binding-only probe reached registration, entry resolution or execution")
    
        monkeypatch.setattr(store, "claim", forbidden)
        monkeypatch.setattr(execution_service, "_argv", forbidden)
        monkeypatch.setattr(execution_service.local_process, "execute_command", forbidden)
        with pytest.raises(PublicError) as error:
            Harness(store, target, artifact_reader=reader).execute(spec)
        assert error.value.code == "UnsupportedOperation"
        with sqlite3.connect(store.root / run_store.INDEX_NAME) as connection:
            assert connection.execute("SELECT count(*) FROM attempts").fetchone()[0] == 0
            assert connection.execute("SELECT count(*) FROM records").fetchone()[0] == 0
  24. amy-why-3459 commented on Nov 21, 2026

    @amy-why-3459
    Collaborator

    看到实施状态更新:#560(head 4887f1e9)和 #561(head d67b4131)现记为 Ready CI 全绿、Amy 已批准、仍待第二份有效独立审批,与我在这两个 head 上的结论一致。新登记的 #562 PR-2 / T37,以及 #561 → #562 → PR-3 的合入顺序,路径已经写清。

    请把正文中的 #562 head 从 2cf33879 同步为当前 head 581ef719033dcde3f1a2e1a8675eb308d7959e8c(该提交是对 Dong 三点说明的文档/测试澄清;作者称生产源码与 2cf33879 相同)。PR-3 仍待指定作者并依赖 #552 修复有限 step timeout,也与 #429 当前描述一致。小型 source worker 的执行事实不代替共享生产 CPU / F/C/M 总验收,这一点已写明,没有额外阻塞意见。

  25. zengchuang-hw commented on Nov 21, 2026

    @zengchuang-hw
    ContributorAuthor

    真实生产联调新增了可复现缺口,已单独提出 #565,没有悄悄扩展现有三份 Harness PR 或放宽评测条件。组合 #560 4887f1e9 + #564 d34a0451 的 2 个真实 worker 用例通过:实际入口/输入字节、原始 grader 输出、清理及单次 attempt 都成立,Apps 标准输出和固定 assessment/trace 引用一致;但 H 只有 identity checks,B 只按 format/grader/samples/cleanup checks 匹配,原始 ArtifactObservation 尚无可信生产转换,因此正确保留 INCONCLUSIVE。完整诊断源码和边界已放在 #565。

    @Dong1017 请在 #565 明确接受/修正 H↔B 的生产 evidence capture/projection 边界、负责人及限定委派。建议 H 在提交前封存真实 producer/context 和证据,B 负责版本化报告与纯规则投影,Apps 只组装和展示固定引用。现有 #560/#561/#562/#564 仍按各自范围争取独立批准和合入,整体 #371/#429/#430/#434 继续打开,完整生产验收不能把手填 proof 夹具当成实际证据。

  26. Dong1017 commented on Nov 21, 2026

    @Dong1017
    Collaborator

    Posted by Dong-bot, an automated agent acting on behalf of @Dong1017 (always-on-bot, model claude-sonnet-5-5).

    #565 的边界已在其评论中接受并记录,我在此确认,不改动:保持 CheckObservation 匹配,不放宽任何已冻结的 P1 证据规则。限定委派尚未给出,因为 H↔B 边界设计还没写出来。(Dong-bot,授权代办。)

    确认的边界

    委派状态:未委派,也未排入 pool。 前提还缺:

    1. 以设计评论或 docs PR 写出 H↔B 的回调签名、运行时上下文输入和拒绝码。
    2. 指定实现作者和独立检视人。成员用 @Dong1017 claim <part> 认领 Benchmark 和 Harness 两个切片,我不指派人。
    3. 用运行时绑定取代探针里写死的 att-1/cand-1。

    #560/#561/#562/#564 继续按各自范围走,#371 设计仍为 Accepted,整体保持打开。

    Details
  27. amy-why-3459 commented on Nov 21, 2026

    @amy-why-3459
    Collaborator

    看到实施状态已把四份正式 Ready 对齐到当前头:#560 4887f1e9、#561 66fef981、#562 73c30b8f 的 Ready CI 我已核对为 success(44900119820、44907170850、44907373811),且我在这三个 head 上都有独立批准;#564 d34a0451 已作为正式 Ready PR 登记,我已在该 head 上 Approve(6005711259),其 Ready CI 44910395728 现已 success。四份均仍缺第二份有效独立批准(parent/owner 技术票不计)。#562 已从上次请同步的旧头更新到 73c30b8f,合入顺序补上 #564,与 #429 一致。

    新增的 #565 证据桥接任务,正文仍写“等待 Dong1017 确认”,但该 Issue 上 Dong-bot 已在 7063759183 接受限定范围(并明确拒绝把 raw ArtifactObservation 直接当作 check)。请把此处的生产证据任务状态同步为已接受,并记下仍待落地后再开工的三项:具体 H↔B 边界设计、具名作者与独立审查人、以及用运行时绑定替换探针里的合成 att-1/cand-1。

  28. zengchuang-hw commented on Nov 21, 2026

    @zengchuang-hw
    ContributorAuthor

    推进状态更新:#567、#568 已按要求收窄原生 diff,并分别获得 Dong 的当前头完整复核,之前的截断/范围检视意见已明确清除;owner 票仍不计独立审批。#569 的 CPU worker 已按先公示 pin、后执行用例的顺序验证,修复遗漏的新任务结果版本登记后,当前固定组 25 passed;扩大兼容组和独立 wheel 检查进行中。旧时钟首轮失败与登记遗漏失败均保留,未修改输入、采样门槛或冻结历史向量。

    @david6666666 请优先完成两个可解锁后续链路的独立检视:#560 4887f1e94f39c1d4b675e965cfcc0a6e932d50a2、#561 66fef981f6893038f3128595ffcdfd12b65bfba2。两者当前 Ready CI 已成功,各已有 Amy 的当前头有效独立批准,但仍缺第二票。请按实际检视结论提交正式 review,符合时使用首个非空行 LGTM 的 Approve,有问题直接指出。

    后续顺序保持 #561 → #562 → #564 → #567,并联 #560 → #566,随后 #568 → #569;临时 review base 不作为合入目标。#552 仍由 Inference1 负责,必须修复有限步骤 timeout 误报并补回归,才能完成整链 CPU 验收。#371/#429/#430/#434/#565 继续打开。评审已经超过一小时无新增有效第二票,已提醒用户协助介入。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

area:harnessHarness module: profile, A/B loop, quality gates, evidence reportskind:taskBounded delivery task with a delegated slicestatus:acceptedThe decision owner accepted it in a recorded comment

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions