Skip to content

About

大肥鱼聊天记忆系统评测:六人物聊天测试集、判分工具与评测成绩

Resources

Stars

45 stars

Watchers

2 watching

Forks

Repository files navigation

中文陪伴记忆 Benchmark

聊天记忆挑战赛 2.2 海报

2.2 聊天记忆挑战赛(2026-11-12 开赛)

两个合成人物、各半年的聊天史(约 7000 轮和 5400 轮),测陪伴类 AI 记不记得、该不该提旧事。成绩和成本一起排名。

  • 短对话榜:话痨型,短句多。
  • 长对话榜:长信型,一条消息很长。
  • 自然用记忆榜:该提旧事时自然地提,不该提时不翻旧账。

赛程(北京时间)

阶段 时间
调试期(可申请一次开发集试跑) 11-12 至 12-02
冻结(提交 commit / tag 和模型清单) 12-03 00:00
封存跑(只跑一次) 12-03 至 12-09
复核与公布 目标 12-12

规则要点:开源、固定 commit;所有模型调用走我们的评测网关;每次运行先交 ¥50 押金,按实际费用结算,用不完退;总费用到 ¥50 就停止、成绩作废,不补交。奖品:200 美元 ChatGPT 订阅。

报名:开一个 issue(报名、申请试跑、提交冻结版本都用它),再加 QQ 群 1132194746 交押金、联系我们。

参照成绩(Qwen 基础方案,封存集抽样,括号是 95% 区间):短对话 42.5(35.1–49.9),长对话 47.4(39.7–55.0),自然用记忆 52.5(42.7–60.8),综合 48.7(42.6–53.0)。开发集分数不是榜单成绩;2.1 和 2.2 的分数不能直接比较;只有两个合成人物。

2.2 说明 · 规则 · 计分 · 结果 · 评测程序

旧版本

  • 2.1:两个人物的长历史、成绩 + 成本计分;挑战赛已改按 2.2 进行。
  • 1.0(六人物 714 题):题库、判分工具、示例和投稿方式,下面是成绩表。

1.0 六人物 714 题成绩表

成绩写「通过 / 实际考几题」。作者自测的成绩我们没有复测(标了「作者自测 · 未复核」,写明判分模型和日期,判分者不同时不能严格横比)。1.0 不再是主榜,欢迎带着系统来 2.2 挑战赛。各项目的版本和接入方式见测试配置与局限。

项目/上游 作者 测试状态与成绩(通过 / 已答)
冷热记忆方案(ARCHEON) 原无奇变 / ARCHEON999 按公开方案复现;完整卷 356 / 714
SeekMemory BangBang在coding / NeverENG 原版插件,开启 Dream;完整卷 230 / 714
digital-life-core 温水 / mashangshui 原生核心与迁移入口;完整卷 233 / 714
dsh-soul 糖霜Official 2.0 原生 452 / 714;其他版本和配置
SurfCore 玛露Marrow 记忆卡完整卷 123 / 714;合辑共同题 122 / 687
dsh-rofm 鄙人乃路人甲 1.4.2 重测初判 471 / 714;旧版测试中断,保留 242 / 687
OpenViking 火山引擎 0.5.2.1 初判 555 / 714
dsh-suzu-memory eryucheng 强制原生检索重测初判 621 / 714;自主决定是否检索的上一轮 516 / 714
Hindsight Vectorize 1.2.0 初判 513 / 714
dsh-biocore 0.4.0 未标注 不可用:测试历时约 34 小时,仅完成 58 / 714 题后停止;查看记录
dsh-world 0.7.2 chenkezhen480 完整卷 557 / 714;成绩数据
dsh-memory-keeper flywalker68 完整卷 542 / 714;成绩数据
whale-card wangjumhan131 完整卷 217 / 714;成绩数据
BaiShou Next foxletters-hq 已答 711 题,通过 514 题;成绩数据
dsh-mnemon omdsh-dev 已答部分 341 / 539;成绩盘点
codex-deepseek-starter xrh66 345 / 714;成绩盘点
dsh-memory(灵枢) FuRongJun-1999 DSH 原生 363 / 714;其他配置
dsh-fish-memory Yuuyuko-uu 383 / 714;成绩盘点
dsh-mnemosyne 胃疾璇 425 / 714;成绩盘点
memory-brain peterpoal134 454 / 714;成绩盘点
dsh-memory-calendar IStarFoxI 505 / 714;成绩盘点
dsh-hippocampus coner13 528 / 714;成绩盘点
dsh-memory-brain y083245 583 / 714;成绩盘点
Qwen RAG(本评测搭建的检索对照) Qwen 模型团队;检索流程由本评测搭建 完整卷 596 / 714;合辑共同题 574 / 687
dsh-neo4j-memory shuunO-O 684 / 714 · 作者自测 · 未复核 · 判分:DeepSeek(作者抽查 + 维护者抽查修正) · 2026-11-05 · 材料
dsh-memu-memory 1.2.7 Tkingxiao 653 / 714 · 作者自测 · 未复核 · 判分:DeepSeek · 2026-11-06 · 材料
SurfCore 向量记忆(BGE-M3) mcliudian 605 / 714 · 作者自测 · 未复核 · 判分:DeepSeek · 2026-11-07 · 材料
dsh-dot 0.20.0 Kevinwu901113 654 / 709(5 题未答) · 作者自测 · 未复核 · 判分:Codex(gpt-6.1-sol) · 2026-11-07 · 材料
dsh-plugin-memory-graph(大肥鱼好记性) YeStarOne 502 / 714 · 作者自测 · 未复核 · 判分:glm-5.3-flash 单票 · 2026-11-07 · 材料
whale-card V5.9.1 wangjunhan131 585 / 714 · 作者自测 · 未复核 · 判分:DeepSeek · 2026-11-08 · 材料
PMem 0.41.0 dnciyun 618 / 714;关闭增强模块 583 / 713 · 作者自测 · 未复核 · 判分:deepseek-v4.1-flash · 2026-11-09 · 材料
灵枢 md_cg 0.10.0 + 补丁包 FuRongJun-1999 642 / 714 · 作者自测 · 未复核 · 判分:deepseek-chat · 2026-11-10 · 材料
DSH-DREAM v0.3.6 baiqieji-LuLu 624 / 714 · 作者自测 · 未复核 · 判分:deepseek-flash · 2026-11-10 · 材料
dsh-rofm 1.5.5 wall1234567 681 / 714 · 作者自测 · 未复核 · 判分:deepseek-flash A/B + 人工仲裁 · 2026-11-10 · 材料
memory-system(AstrBot) wuwugi 522 / 714 · 作者自测 · 未复核 · 判分:deepseek-chat · 2026-11-10 · 材料

许可与反馈

本仓库自行编写的代码、文档和虚构示例使用 MIT 许可;第三方项目使用各自许可。欢迎通过 Issue 指出题意歧义、错误证据或接入差异,不要提交密钥、私人对话或真实用户身份资料。

About

大肥鱼聊天记忆系统评测:六人物聊天测试集、判分工具与评测成绩

Resources

Stars

45 stars

Watchers

2 watching

Forks

Releases

Packages

Contributors

Languages