Skip to content

[Tracking] 会议待办(2026-11-21):有损加速评测、知识回流与 Loop 提速 #543

Open

Description

@Dong1017

背景

本次讨论围绕 InferRSI 的知识库、评估、硬件泛化与有损加速。共识是:明年的重点是整理 Knowledge 和做 Evaluation,用客观、自动化的指标牵引 Agent 自主迭代,减少人工参与。

最急的缺口在有损加速:量化可带来约 30%–40% 吞吐提升,蒸馏可达 5 倍以上提速,但传统评测发现不了文字崩坏、跳帧、场景切换异常这类细节问题,缺统一评估标准导致无法落地生产。

待办

A. 有损加速的自动化评测(优先)

  • A1 梳理有损优化的隐蔽缺陷清单(文字崩坏、跳帧、场景切换异常等),每类配一个可复现的 bad case 样例
  • A2 建立贴合业务场景的视频生成评测集:短剧、人物参演、广告、影视,不再只靠测试 QA
  • A3 口型同步检测:调研并接入开源 lip-sync 模型或多模态 LLM 打分,判断声音与嘴型是否对齐
  • A4 画质一致性:为广告、影视场景分别定义评估标准与阈值
  • A5 把以上指标接成 Harness 的质量门禁:有损方案必须同时过速度阈值和质量阈值才算 PASS
  • A6 用一组量化、一组蒸馏方案做试点,给出「提速 × 质量损失」对照报告

B. 知识库条目规范与回流

  • B1 知识卡片强制写「产生条件」(硬件、任务类型、框架版本等),CI 检查缺失即拒收
  • B2 Bad case 与经验记录看板化,评估后按「硬件 × 任务类型」分类回流知识库
  • B3 知识生效四关分开统计:被检索返回(Returned)→ 送进模型上下文(Delivered)→ 被 Agent 采纳(Adopted)→ 带来加速(Made it faster),逐级给出通过率;investigation: 8 轮 Knowledge on/off 对照暴露的 RSI 框架问题 #509 已发现「返回了但没送到」的缺口
  • B4 定期扫描聊天记录与会话,自动形成候选知识条目(进入评估队列,不直接入库)
  • B5 记录强模型 Teacher 蒸馏与分层整理的流程,补一份弱模型(GLM、DeepSeek V4.1 等)的收敛速度对比

C. Harness Loop 提速与门禁

D. Benchmark 牵引

  • D1 固化「加载 / 不加载知识」对照实验为标准 benchmark,持续证明知识组织方式有效
  • D2 把对照中暴露的 Trace 过程问题自动登记为 issue

E. 硬件定制与部署切换

  • E1 明确策略:按硬件单独做极致优化,不追求跨平台通用最优;知识条目按硬件隔离
  • E2 调研基于历史经验数据与流量路由的动态部署切换(流量变化时自动换部署策略)

相关 issue(供对齐,避免重复开单)

Activity

  1. added
    kind:trackingTracking umbrella that follows child work
    area:harnessHarness module: profile, A/B loop, quality gates, evidence reports
    area:knowledgeKnowledge line: packs, skill library, knowledge admission
    status:proposedWaiting for the decision named in the status block
    area:benchmarkBenchmark line: preparation ports, metric contracts, validators, and isolated workers
    on Nov 21, 2026
  2. Dong1017 commented on Nov 21, 2026

    @Dong1017
    CollaboratorAuthor

    Posted by Dong-bot, an automated agent acting on behalf of @Dong1017 (always-on-bot, model gpt-6.2-sol).

    初步判断:#543 适合作为会议待办的总跟踪单。建议首轮只做有损视频评测试点:先冻结评测契约,再用一组量化、一组蒸馏验证速度和质量能否同时达标。 会议里提到的吞吐 +30%–40% 和蒸馏 5× 以上是试点动机,不是已验证收益,也不宜直接当作通用门槛。

    1. A / C4:先定义质量门禁,再接 Harness。 首轮选哪个模型、硬件和业务场景?谁负责人工标注、阈值校准与验收?建议先选一个场景,冻结输入、基线、性能指标与测量协议;对量化与蒸馏分别声明改动项,固定其余可比条件。评测集既要有文字崩坏、跳帧、异常切镜、口型错位的可复现反例,也要有正常快切、正常运动等容易误报的正例。按 Diffusion quality: reference PSNR ranks a blurred frame above a sharp one #364,PSNR 不宜单独决定 PASS,锐度或帧差也不能单独替代它;口型和画质打分应先用人工标注校准,并在留出样本上报告误接受与误拒。建议先只出报告,确认哪些是媒体完整性硬门槛、哪些按场景设阈值、哪些严重缺陷不得被均分掩盖,再启用试点门禁。只有速度和质量都有充分证据达标才 PASS;明确未达标记 FAIL,缺材料或处于测量噪声内记 INCONCLUSIVE,均不采纳。报告口径对齐 task: 定义 Benchmark metrics:单跑基础指标与 comparison 派生指标 #536,配对证据与状态语义参考 rfc: 可解释的改进——用 profile 证据和配对统计判定 PASS #454,不把其普通项目路径的可选策略直接视作 benchmark 默认行为。
    2. B / D:先确认知识确实进入上下文,再测收益。 investigation: 8 轮 Knowledge on/off 对照暴露的 RSI 框架问题 #509 的 Qwen 例子首先是默认检索范围排除了相关任务卡,并非已证实该卡“已返回但没送达”。B3 建议按卡片 ID/版本和轮次分别记录 Returned → Delivered → Adopted → Made it faster 的证据、分子/分母与未知数;引用卡片不等于采纳,采纳后变快也不等于收益已归因到该卡。D1 先对齐 acceptance: eight-round RSI managed Knowledge comparison #502 的对照范围,冻结任务、Agent、预算和独立 final,保留失败与重试成本,不以单次结果宣称普遍收益。B1/B2 先补适用条件和证据状态;B4 只从授权来源生成脱敏候选,D2 先做去重后的待审草稿,不直接入库或批量发 issue。
    3. C / E:并行提速、搜索策略和部署切换分别验收。 C1 复用 task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249 / PR feat(harness): 離線集群 RSI 并行轮协调器 #268,分别量每轮墙钟与真机测量波动,避免设备争用把提速或退化测偏;C2/C3 沿 [RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习 #363 / rfc: 基于 Harness² 的真实 Agent 工作方法改进与跨任务经验复用 #460 跟踪,不阻塞 A。E1 用硬件和软件栈约束知识适用范围;E2 先做历史流量回放,明确切换成本、服务质量下限和回滚条件,再讨论线上自动切换。

    建议下一步: 在本单补一张对应表,标明各待办是复用现有 issue、依赖它,还是确有新缺口;同时确认 A 的首个场景、基线、验收人和交付物。首轮交付建议限定为「版本化样例集 + 阈值草案 + 一组量化/一组蒸馏的配对报告」,逐例保留失败样本与判定依据,再决定是否接正式门禁。

    本轮核对了 #364、#536、#454、#509 的讨论;未复跑设备实验或验证实现。

  3. zengchuang-hw commented on Nov 21, 2026

    @zengchuang-hw
    Contributor

    建议把 A6 的第一轮试点定成可验收的切片:各选一个量化和蒸馏候选,先在验收 Issue 冻结 baseline/candidate、业务样本、测量口径和两类门槛,再交给 Harness 执行。对 A1/A3/A4 的严重缺陷按样本验收,不让平均分掩盖文字崩坏、跳帧或音画不同步;音画不同步只测适用样本。按 #364,PSNR/SSIM 可以留作诊断,不能单独决定视频质量;缺必要产物时标为 INCONCLUSIVE,不算通过。这符合 AGENTS 的冻结与证据规则。

    B3/D1 建议拆成两张表:第一张按轮次和捕获 ID 记录 Returned、实际进入上下文的 Delivered、可追溯的 Read/Adopted,分别列分子/分母、未知及自报项;不能把“返回但未投递”算成功,也不能从投递推断采纳。第二张用同任务、同基线、同硬件、同预算和同 validator 的配对 on/off 独立复测报告最终加速。正如 现有 trace 契约 所区分的,记录采纳和证明提速是两件事,不能把 Made it faster 当作每张卡的第四关。

    C1 可以并行搜索候选,但计入选优的测量仍应遵守 #249 的设备租约和 AB/BA 对照;共享设备有争用或隔离不明时,单独复测后再计入。并行节省的搜索墙钟和候选本身的推理提速应分开报告。

    以上是对当前追踪方案与现有契约的静态核对,不是试点结果,也未运行硬件实验。

  4. amy-why-3459 commented on Nov 21, 2026

    @amy-why-3459
    Collaborator

    感谢整理这次会议待办。我看了正文,以及 @Dong1017 和 @zengchuang-hw 的评论,同意把本单作为会议跟踪父单,并且首轮只做有损评测的可验收切片:先冻结评测契约与样本,再各选一组量化、一组蒸馏做配对报告,不要把背景里的「约 30%–40% / 蒸馏 5 倍以上」直接写成通用门槛。下面只补充几点尚未写清的范围和归属问题。

    1. 请先明确「有损加速」的模态范围。 正文缺陷清单(文字崩坏、跳帧、切镜、口型)和 A2/A3/A4 都指向视频生成,但 InferRSI 现有评测与知识工作大量覆盖 LLM / 推理侧优化。若本单首轮只做视频生成,建议在正文写死,避免 A5/C4 的质量门禁被理解成要同时覆盖文本生成或其他模态。若也包含 LLM 量化/蒸馏,则缺陷类型、评测集和门槛需要单独切片,不宜与视频指标混在同一门禁里。

    2. A 的指标与门禁应复用现有契约,而不是另起一套。 A5/C4 接入 Harness 质量门禁时,报告口径应对齐 task: 定义 Benchmark metrics:单跑基础指标与 comparison 派生指标 #536,PASS/FAIL/INCONCLUSIVE 与配对证据应对齐 rfc: 可解释的改进——用 profile 证据和配对统计判定 PASS #454;视频质量不要用 PSNR/SSIM 单独判过(Diffusion quality: reference PSNR ranks a blurred frame above a sharp one #364)。建议在本单补一张「待办 → 复用 / 依赖 / 新缺口」对应表,例如:B3 与 task: 支持每个优化迭代的知识库命中归因统计 #344 / tracking: Skill Indexer 检索效率、准确性与逐轮采用 #379 / investigation: 8 轮 Knowledge on/off 对照暴露的 RSI 框架问题 #509,D1 与 acceptance: eight-round RSI managed Knowledge comparison #502,C1 与 task: parallel optimization rounds with orthogonal lanes for multi-agent harnesses #249 / PR feat(harness): 離線集群 RSI 并行轮协调器 #268,C2 与 [RFC] 基于 SpecRSI 的双循环 RSI:VATS 搜索与 GVO 改进器学习 #363 / PR harness: add bounded VATS/GVO runtime and benchmark adapters #488,C3 与 rfc: 基于 Harness² 的真实 Agent 工作方法改进与跨任务经验复用 #460。已有开放单的工作请在原单推进,本跟踪单只链过去,避免平行实现。

    3. E2 建议与 A–D 分开排期。 按硬件隔离知识适用范围(E1)可以立刻约束 B1 的「产生条件」;但基于流量路由的动态部署切换(E2)是另一类产品/运维问题,还依赖历史回放、切换成本、服务质量下限和回滚条件,不应当成 A 试点的前置。建议先标为后续调研,以免稀释优先项。

    4. 请确认首轮验收切片的冻结项。 在开始实现或开子单前,建议在本单写明:首个业务场景与硬件/模型、baseline 与候选(各一个量化、一个蒸馏)、样本集(含可复现反例和易误报正例)、性能与质量门槛的测量协议、验收人,以及交付物是否就是「版本化样例集 + 阈值草案 + 配对报告」。本单目前是 status:proposed,在这些决策落地前,不宜把 A–E 全部视为已授权实现。

    我只对照了本单正文、已有评论和所列相关 issue 的公开讨论,没有复跑设备实验。

  5. Dong1017 commented on Nov 21, 2026

    @Dong1017
    CollaboratorAuthor

    Posted by Dong-bot, an automated agent acting on behalf of @Dong1017 (always-on-bot, model claude-sonnet-5-5).

    决定:接受 amy-why-3459 的四点建议,并作为 #543 的当前范围约定。 以下由 Dong-bot(authorized delegate)记录。

    接受的条款

    1. 定位: [Tracking] 会议待办(2026-11-21):有损加速评测、知识回流与 Loop 提速 #543 是会议待办的父跟踪单,不是实现单。已有开放单的工作在原单推进,本单只做链接。
    2. 首轮范围: 只做有损视频生成评测的可验收切片。
      • 先冻结评测契约和样本,再各选一组量化、一组蒸馏做配对报告。
      • 背景里的「约 30%–40% / 蒸馏 5 倍以上」只是动机,不写成通用门槛。
      • 模态: 首轮只覆盖视频生成。A5/C4 的质量门禁暂不覆盖 LLM 或其他模态的量化/蒸馏,若要纳入,需单独切片并另定缺陷类型、评测集和门槛。
    3. 契约复用: 报告口径对齐 task: 定义 Benchmark metrics:单跑基础指标与 comparison 派生指标 #536,PASS/FAIL/INCONCLUSIVE 与配对证据对齐 rfc: 可解释的改进——用 profile 证据和配对统计判定 PASS #454。按 Diffusion quality: reference PSNR ranks a blurred frame above a sharp one #364,PSNR/SSIM 只作诊断,不能单独判过。严重缺陷按样本验收,不被均分掩盖。缺必要产物记 INCONCLUSIVE,不算通过。
    4. E2: 与 A–D 分开排期,标为后续调研,不作为 A 试点的前置。E1(按硬件隔离知识适用范围)可以立即用来约束 B1 的「产生条件」。
    5. 授权状态: 本单仍是 status:proposed。下面的冻结项落地前,A–E 不视为已授权实现,也不开实现子单。

    待办(下一步,不阻塞上述决定)

    场景、硬件、模型和验收人这几项在 seed 里没有给出。我没有替任何人指定,需要负责人在本单认领。本次只核对了本单正文和评论,未运行设备实验或验证实现。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:benchmarkBenchmark line: preparation ports, metric contracts, validators, and isolated workersarea:harnessHarness module: profile, A/B loop, quality gates, evidence reportsarea:knowledgeKnowledge line: packs, skill library, knowledge admissionkind:trackingTracking umbrella that follows child workstatus:proposedWaiting for the decision named in the status block

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions