Repository navigation
Open
Labels
area:benchmarkBenchmark line: preparation ports, metric contracts, validators, and isolated workersBenchmark line: preparation ports, metric contracts, validators, and isolated workersarea:harnessHarness module: profile, A/B loop, quality gates, evidence reportsHarness module: profile, A/B loop, quality gates, evidence reportsarea:knowledgeKnowledge line: packs, skill library, knowledge admissionKnowledge line: packs, skill library, knowledge admissionkind:trackingTracking umbrella that follows child workTracking umbrella that follows child workstatus:proposedWaiting for the decision named in the status blockWaiting for the decision named in the status block
Description
背景
本次讨论围绕 InferRSI 的知识库、评估、硬件泛化与有损加速。共识是:明年的重点是整理 Knowledge 和做 Evaluation,用客观、自动化的指标牵引 Agent 自主迭代,减少人工参与。
最急的缺口在有损加速:量化可带来约 30%–40% 吞吐提升,蒸馏可达 5 倍以上提速,但传统评测发现不了文字崩坏、跳帧、场景切换异常这类细节问题,缺统一评估标准导致无法落地生产。
待办
A. 有损加速的自动化评测(优先)
- A1 梳理有损优化的隐蔽缺陷清单(文字崩坏、跳帧、场景切换异常等),每类配一个可复现的 bad case 样例
- A2 建立贴合业务场景的视频生成评测集:短剧、人物参演、广告、影视,不再只靠测试 QA
- A3 口型同步检测:调研并接入开源 lip-sync 模型或多模态 LLM 打分,判断声音与嘴型是否对齐
- A4 画质一致性:为广告、影视场景分别定义评估标准与阈值
- A5 把以上指标接成 Harness 的质量门禁:有损方案必须同时过速度阈值和质量阈值才算 PASS
- A6 用一组量化、一组蒸馏方案做试点,给出「提速 × 质量损失」对照报告
B. 知识库条目规范与回流
- B1 知识卡片强制写「产生条件」(硬件、任务类型、框架版本等),CI 检查缺失即拒收
- B2 Bad case 与经验记录看板化,评估后按「硬件 × 任务类型」分类回流知识库
- B3 知识生效四关分开统计:被检索返回(Returned)→ 送进模型上下文(Delivered)→ 被 Agent 采纳(Adopted)→ 带来加速(Made it faster),逐级给出通过率;investigation: 8 轮 Knowledge on/off 对照暴露的 RSI 框架问题 #509 已发现「返回了但没送到」的缺口
- B4 定期扫描聊天记录与会话,自动形成候选知识条目(进入评估队列,不直接入库)
- B5 记录强模型 Teacher 蒸馏与分层整理的流程,补一份弱模型(GLM、DeepSeek V4.1 等)的收敛速度对比
C. Harness Loop 提速与门禁
- C1 并行加载:多个候选同时上真机,缩短单轮实测时间(task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249 / PR feat(harness): 離線集群 RSI 并行轮协调器 #268)
- C2 嵌套 Loop 树状搜索:内层搜候选树、外层学习改进器(RFC [RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习 #363 / PR harness: add bounded VATS/GVO runtime and benchmark adapters #488)
- C3 Harness²:从真实任务轨迹改进 Agent 自己的工作方法,知识库开/关对照验证迁移(RFC rfc: 基于 Harness² 的真实 Agent 工作方法改进与跨任务经验复用 #460)
- C4 门禁阈值配置化:任务声明性能目标(如吞吐 +30%),未达标判失败并继续迭代
D. Benchmark 牵引
- D1 固化「加载 / 不加载知识」对照实验为标准 benchmark,持续证明知识组织方式有效
- D2 把对照中暴露的 Trace 过程问题自动登记为 issue
E. 硬件定制与部署切换
- E1 明确策略:按硬件单独做极致优化,不追求跨平台通用最优;知识条目按硬件隔离
- E2 调研基于历史经验数据与流量路由的动态部署切换(流量变化时自动换部署策略)
相关 issue(供对齐,避免重复开单)
- 评测与指标:Diffusion quality: reference PSNR ranks a blurred frame above a sharp one #364(Diffusion 质量:PSNR 误判模糊帧)、task: 定义 Benchmark metrics:单跑基础指标与 comparison 派生指标 #536(Benchmark metrics 定义)、rfc: 可解释的改进——用 profile 证据和配对统计判定 PASS #454(用 profile 证据和配对统计判定 PASS)
- 知识生效与对照:task: 支持每个优化迭代的知识库命中归因统计 #344(知识库命中归因)、tracking: Skill Indexer 检索效率、准确性与逐轮采用 #379(Skill Indexer 逐轮采用)、investigation: 8 轮 Knowledge on/off 对照暴露的 RSI 框架问题 #509、acceptance: eight-round RSI managed Knowledge comparison #502(8 轮 Knowledge on/off 对照)、[Tracking] 高效知识表达:知识目录(含 Skill)的分层披露与搜索空间索引 #500(分层披露)、Organize inference knowledge in one skill_library and validate task-oriented retrieval #515(按任务组织知识)
- Loop 提速:task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249、[RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习 #363、rfc: 基于 Harness² 的真实 Agent 工作方法改进与跨任务经验复用 #460、task: 让 RSI 用更少代价获得更好的实测优化结果 #419
- 总路线:[Roadmap] InferRSI: Optimization, Evaluation, and Engineering #316、discussion: Knowledge / Harness / Benchmark 三模块目标架构——现状、原语、交接时序与遗留问题 #362(三模块目标架构)
Metadata
Metadata
Assignees
Labels
area:benchmarkBenchmark line: preparation ports, metric contracts, validators, and isolated workersBenchmark line: preparation ports, metric contracts, validators, and isolated workersarea:harnessHarness module: profile, A/B loop, quality gates, evidence reportsHarness module: profile, A/B loop, quality gates, evidence reportsarea:knowledgeKnowledge line: packs, skill library, knowledge admissionKnowledge line: packs, skill library, knowledge admissionkind:trackingTracking umbrella that follows child workTracking umbrella that follows child workstatus:proposedWaiting for the decision named in the status blockWaiting for the decision named in the status block
Activity
Dong1017 commentedon Nov 21, 2026
Posted by Dong-bot, an automated agent acting on behalf of @Dong1017 (always-on-bot, model gpt-6.2-sol).
初步判断:#543 适合作为会议待办的总跟踪单。建议首轮只做有损视频评测试点:先冻结评测契约,再用一组量化、一组蒸馏验证速度和质量能否同时达标。 会议里提到的吞吐 +30%–40% 和蒸馏 5× 以上是试点动机,不是已验证收益,也不宜直接当作通用门槛。
建议下一步: 在本单补一张对应表,标明各待办是复用现有 issue、依赖它,还是确有新缺口;同时确认 A 的首个场景、基线、验收人和交付物。首轮交付建议限定为「版本化样例集 + 阈值草案 + 一组量化/一组蒸馏的配对报告」,逐例保留失败样本与判定依据,再决定是否接正式门禁。
本轮核对了 #364、#536、#454、#509 的讨论;未复跑设备实验或验证实现。
zengchuang-hw commentedon Nov 21, 2026
建议把 A6 的第一轮试点定成可验收的切片:各选一个量化和蒸馏候选,先在验收 Issue 冻结 baseline/candidate、业务样本、测量口径和两类门槛,再交给 Harness 执行。对 A1/A3/A4 的严重缺陷按样本验收,不让平均分掩盖文字崩坏、跳帧或音画不同步;音画不同步只测适用样本。按 #364,PSNR/SSIM 可以留作诊断,不能单独决定视频质量;缺必要产物时标为 INCONCLUSIVE,不算通过。这符合 AGENTS 的冻结与证据规则。
B3/D1 建议拆成两张表:第一张按轮次和捕获 ID 记录 Returned、实际进入上下文的 Delivered、可追溯的 Read/Adopted,分别列分子/分母、未知及自报项;不能把“返回但未投递”算成功,也不能从投递推断采纳。第二张用同任务、同基线、同硬件、同预算和同 validator 的配对 on/off 独立复测报告最终加速。正如 现有 trace 契约 所区分的,记录采纳和证明提速是两件事,不能把
Made it faster当作每张卡的第四关。C1 可以并行搜索候选,但计入选优的测量仍应遵守 #249 的设备租约和 AB/BA 对照;共享设备有争用或隔离不明时,单独复测后再计入。并行节省的搜索墙钟和候选本身的推理提速应分开报告。
以上是对当前追踪方案与现有契约的静态核对,不是试点结果,也未运行硬件实验。
amy-why-3459 commentedon Nov 21, 2026
感谢整理这次会议待办。我看了正文,以及 @Dong1017 和 @zengchuang-hw 的评论,同意把本单作为会议跟踪父单,并且首轮只做有损评测的可验收切片:先冻结评测契约与样本,再各选一组量化、一组蒸馏做配对报告,不要把背景里的「约 30%–40% / 蒸馏 5 倍以上」直接写成通用门槛。下面只补充几点尚未写清的范围和归属问题。
请先明确「有损加速」的模态范围。 正文缺陷清单(文字崩坏、跳帧、切镜、口型)和 A2/A3/A4 都指向视频生成,但 InferRSI 现有评测与知识工作大量覆盖 LLM / 推理侧优化。若本单首轮只做视频生成,建议在正文写死,避免 A5/C4 的质量门禁被理解成要同时覆盖文本生成或其他模态。若也包含 LLM 量化/蒸馏,则缺陷类型、评测集和门槛需要单独切片,不宜与视频指标混在同一门禁里。
A 的指标与门禁应复用现有契约,而不是另起一套。 A5/C4 接入 Harness 质量门禁时,报告口径应对齐 task: 定义 Benchmark metrics:单跑基础指标与 comparison 派生指标 #536,PASS/FAIL/INCONCLUSIVE 与配对证据应对齐 rfc: 可解释的改进——用 profile 证据和配对统计判定 PASS #454;视频质量不要用 PSNR/SSIM 单独判过(Diffusion quality: reference PSNR ranks a blurred frame above a sharp one #364)。建议在本单补一张「待办 → 复用 / 依赖 / 新缺口」对应表,例如:B3 与 task: 支持每个优化迭代的知识库命中归因统计 #344 / tracking: Skill Indexer 检索效率、准确性与逐轮采用 #379 / investigation: 8 轮 Knowledge on/off 对照暴露的 RSI 框架问题 #509,D1 与 acceptance: eight-round RSI managed Knowledge comparison #502,C1 与 task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249 / PR feat(harness): 離線集群 RSI 并行轮协调器 #268,C2 与 [RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习 #363 / PR harness: add bounded VATS/GVO runtime and benchmark adapters #488,C3 与 rfc: 基于 Harness² 的真实 Agent 工作方法改进与跨任务经验复用 #460。已有开放单的工作请在原单推进,本跟踪单只链过去,避免平行实现。
E2 建议与 A–D 分开排期。 按硬件隔离知识适用范围(E1)可以立刻约束 B1 的「产生条件」;但基于流量路由的动态部署切换(E2)是另一类产品/运维问题,还依赖历史回放、切换成本、服务质量下限和回滚条件,不应当成 A 试点的前置。建议先标为后续调研,以免稀释优先项。
请确认首轮验收切片的冻结项。 在开始实现或开子单前,建议在本单写明:首个业务场景与硬件/模型、baseline 与候选(各一个量化、一个蒸馏)、样本集(含可复现反例和易误报正例)、性能与质量门槛的测量协议、验收人,以及交付物是否就是「版本化样例集 + 阈值草案 + 配对报告」。本单目前是
status:proposed,在这些决策落地前,不宜把 A–E 全部视为已授权实现。我只对照了本单正文、已有评论和所列相关 issue 的公开讨论,没有复跑设备实验。
Dong1017 commentedon Nov 21, 2026
Posted by Dong-bot, an automated agent acting on behalf of @Dong1017 (always-on-bot, model claude-sonnet-5-5).
决定:接受 amy-why-3459 的四点建议,并作为 #543 的当前范围约定。 以下由 Dong-bot(authorized delegate)记录。
接受的条款
status:proposed。下面的冻结项落地前,A–E 不视为已授权实现,也不开实现子单。待办(下一步,不阻塞上述决定)
场景、硬件、模型和验收人这几项在 seed 里没有给出。我没有替任何人指定,需要负责人在本单认领。本次只核对了本单正文和评论,未运行设备实验或验证实现。