Repository navigation
Description
欢迎在这里提建议、补充使用场景,或参与设计与开发。各方向的具体方案和认领在对应的任务 Issue 里跟进;问题反馈和新建议请用模板另开 Issue。
更新于 2026-11-22。一期已上线内测:网站在 https://ddl.mousebaoyan.cn ,先不对外宣布,上线后遇到的问题再慢慢改。二期和三期:站内消息、邮件提醒和订阅,我的报名、学院标签、求收录、关注学院、反馈和修改申请,以及 Agent 接入都已上线;群汇总由维护者在做,见下面的「二期和三期」。
本地怎么跑见 AGENTS.md 的「命令」:pnpm seed 填示例数据,登录用假的鼠洞。设计见总体设计,参与方式见 CONTRIBUTING。
引用说明:Issue 用于需求和讨论,PR 用于方案和实现。PR 合并不等于上线,任务 Issue 按验收标准关闭。
实验和数据
- 扩充标注集:初筛覆盖全部 45 个列表页,抽取扩到 150 条左右,以后换模型跑一遍就能定门槛。初筛的部分已完成,PR:扩充初筛标注集至 45 个来源 #135、给只发保研通知的来源加上全收 #136;抽取的部分 @Xi1495 在做。评估要调用华东师大平台的模型,由维护者跑。[任务] 扩充初筛和抽取的标注集 #84
一期:能看、能改
网站
网站这边一期的任务由维护者 @JunieXD 做,都已完成,见下面的「已完成」;有建议直接开 Issue。
抓取节点
一期的任务都已完成,见下面的「已完成」。
部署
-
部署内测:网站在
ddl.mousebaoyan.cn(香港那台,和鼠洞同一台),抓取节点在上海那台,先内测、不对外宣布;第一批 45 个来源已录入。部署文件和做法见总体设计 §16,PR:加上网站和抓取节点的部署文件 #111、网站改用 ddl.mousebaoyan.cn 域名 #117。已上线,每天北京时间 18 点抓一轮,观察抓取的结果;11-17 部署了 0.1.4(管理员可以删除项目 #118–审核页每条只问一件事,在原处处理 #120),积压的 274 条待审按核对实验的结果处理后剩 85 条;同一天下午部署了 0.1.5(项目的值按通知发布的先后更新,届按发布日期算 #121),现有项目的值按新规则重算过,归错届的通知挪到了对的项目;傍晚部署了 0.1.6(归并时核对截止变了的通知,名单建的项目改用报名通知的名称 #123),22 个只有名单的项目并进了各自的报名,21 个取自名单的名称改了过来,并在一起的两次报名拆开了;晚上部署了 0.1.7(修正反代后面页面表单提交被拒 #124–抓官网通知链到的公众号文章 #127),审核页剩下的 55 条逐条查明原因、处理完,审核页清零;22 点多部署了 0.1.8(导航回到列表上次的筛选和页码 #128),导航回到列表上次的筛选和页码;11-18 凌晨部署了 0.1.9(修正筛选时的重影、侧边栏动画和卡片角标的排法 #129、加上恢复修改权限的管理页,更新待定事项 #130),筛选时不再重影,加上恢复修改权限的管理页;11-18 晚上部署了 0.1.10(合并后的旧链接跳到留下的项目,修改记录单独成页 #132),被合并的项目旧链接跳到留下的那个,修改记录单独成页;22 点半部署了 0.1.11(加上站内消息、邮件提醒和「我的」页 #133、加上订阅和截止提醒 #134),加上站内消息、邮件提醒和订阅;11-20 凌晨部署了 0.1.12(给只发保研通知的来源加上全收 #136),抓取节点也一起升级,只发保研通知的列表设成全收;11-20 上午部署了 0.1.13(加上我的报名 #137–加上个人令牌和数据下载 #142),加上二期的 5 个功能和 Agent 接入的第一步;11-22 凌晨部署了 0.1.14(禁言的人关注学院不算同求,补上几处设计的决定 #143、加上 MCP 服务,让自己的 Agent 接上 #144),加上 MCP,禁言的人关注学院不再算求收录,@JunieXD -
抓取节点的镜像在依赖不变时复用层:现在每次发版都要重新下载约 325 MB,原因和做法见 [任务] 抓取节点的镜像在依赖不变时复用层 #122,还没人认领。
已完成
- 总体设计:添加初始设计文档和项目规矩 #1
- 技术选型:网站和鼠洞同一套,抓取节点用 Python,见总体设计 §5。Issue:[任务] 技术选型:网站和抓取节点 #3;PR:定下技术栈:网站和鼠洞同一套,抓取节点用 Python #11
- 项目骨架和协作设施:PR 要通过 CI 的检查才能合并。Issue:[任务] 项目骨架和协作设施 #8;PR:统一换行和编辑器设置,任务按部署单元加标签 #9、搭好网站和抓取节点的骨架,接上 CI #12
- 一期的主干:Issue:[任务] 一期的主干:先定下共用的部分 #21;PR:建好一期的表,定下抓取节点的交接流程 #22–加上页面共用的时间值显示和项目状态 #30
- 管理院校清单和来源:管理员在网页上维护院校和来源。Issue:[任务] 管理院校清单和来源 #37;PR:添加管理员院校与来源管理 #52
- 带令牌的请求不再按会话 Cookie 认人:认证收到一处。Issue:[任务] 带令牌的请求不再按会话 Cookie 认人 #56;PR:带令牌的请求不再按会话 Cookie 认人 #58
- 抓取不再读 robots.txt:有的学院官网一请求 robots.txt 就断开连接。PR:抓取不再读 robots.txt #70
- 第一批来源清单:7 所学校 45 个通知列表页,学院和研究生院的都有,见 data/sources.csv。Issue:[任务] 第一批来源清单 #5;PR:补充第一批来源清单 #66
- 院校清单和学院页:按学校找学院,看它的来源和历年的项目。Issue:[任务] 院校清单和学院页 #33;PR:实现院校清单和学院页 #71
- 句子、日期和链接的编号:抽取时模型只选编号,程序按编号取值和原文证据。Issue:[任务] 句子、日期和链接的编号 #43;PR:实现原文句子日期和链接编号 #75
- 初筛的实验:判别模型只看标题,现在用华东师大开放平台的
ecnu-decision,门槛 0.5,见总体设计 §8.1、§8.5。标注集扩充后([任务] 扩充初筛和抽取的标注集 #84)重跑过,门槛不变;标题看不出是推免的那几条,所在的列表只发保研通知,设成「全收」(给只发保研通知的来源加上全收 #136,11-20 随 0.1.12 上线)。Issue:[任务] 初筛的实验 #4;PR:补充初筛标注集 #67、添加初筛评估脚本和实验结果 #68、补充 System One 多模型初筛比较结果 #80、给只发保研通知的来源加上全收 #136 - 读列表:按页面上重复的结构认出列表,认不出的用配置指定;第一次抓往回翻到两年前。Issue:[任务] 读列表:通用抓取、配置和往回翻页 #6;PR:实现通知列表解析、配置和历史翻页 #83
- 抽取的实验:选定 DeepSeek V4.1 Flash 的编号方案,见总体设计 §8.5;上线走华东师大开放平台的
ecnu-max,就是这个模型。Issue:[任务] 抽取的实验 #18;PR:补充抽取实验标注集 #72、补充基于编号的抽取评估和实验结果 #81 - 总表(首页):一届的项目按截止时间排好,能筛选、排序、搜索和分页,条件在网址里,数据没变时浏览器不重新下载。Issue:[任务] 总表(首页) #31;PR:实现总表的接口、页面、筛选和分页 #87
- 校验提示写明是哪一项、怎么改:比如「学校名称不能为空」,以后要人填的字段照这样起名。Issue:[任务] 校验不通过时显示好懂的中文提示 #57;PR:校验不通过时提示是哪一项、怎么改 #88
- 详情页:原文放在最上面,每个字段能看到原文里的句子和来自哪一版,每一版都能打开快照;快照净化后只留文字、表格和链接。Issue:[任务] 详情页:字段、证据和快照 #32;PR:实现项目详情页、版本和快照 #89
- 直接修改、修改记录、撤销和已核对:L3 以上在详情页直接改,人改的字段之后的通知不覆盖;每次修改都有记录,撤销时连来源一起放回去;管理员能一次撤销某人的全部修改。Issue:[任务] 直接修改、修改记录、撤销和已核对 #35;PR:实现直接修改、修改记录、撤销和已核对 #90
- 审核页:抽取拿不准的字段和归并由 L3 以上对照原文决定,通过就照那个版本上表或者归并,驳回只关掉这一条;下面列全站最近的修改。Issue:[任务] 审核页 #36;PR:实现审核页 #91
- 抓取看板:按天看每个来源每一轮的结果、没抓成的通知和模型用量,连续失败的标红、旺季里 30 天没有新通知的标黄,抓取节点很久没来领活时提示;来源管理页的最近一次结果链接过来。Issue:[任务] 抓取看板 #34;PR:实现抓取看板 #92
- 抓取节点令牌:站长在系统设置里生成和作废,令牌只显示一次,作废马上生效。Issue:[任务] 抓取节点令牌:站长的系统设置 #39;PR:实现抓取节点令牌的管理 #93
- 试抓(网站这边):管理员在来源管理页试抓列表页,看抓到的条目和生成的配置,采用后保存来源。Issue:[任务] 试抓:网站这边 #38;PR:实现试抓的网站这一半 #94
- 读正文和附件:正文按建站系统的正文容器取,认不出的记进抓取记录、不猜;附件按页面上的顺序下载、取出文字,要验证码下载的照样列出、文字留空。选定的库见总体设计 §5.1。Issue:[任务] 读正文和附件 #40;PR:实现读正文和附件 #98
- 浏览器抓取:要执行脚本才显示内容的来源用无头 Chromium 打开再抓,一轮里同一个来源共用一个无痕会话,页面访问和附件下载照样守同一网站一次一个请求的规矩。Issue:[任务] 浏览器抓取 #41;PR:接入浏览器抓取 #77
- 重新设计网站的界面:项目一个一张卡片,筛选可多选并显示数量,加上校徽;适配手机,切换时有过渡动效,页面和静态文件压缩传输。PR:重新设计网站的界面,加上校徽 #95
- 初筛接进一轮:新通知按标题初筛,过门槛的才往下读;初筛不成的记进没抓成的通知,下一轮再初筛。Issue:[任务] 初筛接进一轮 #42;PR:实现一轮中的初筛步骤 #82、加上抓取节点的入口和镜像 #100
- 抽取接进一轮:读到的正文和附件交给 DeepSeek,模型只选编号,程序按编号取出值和原文证据交给网站。Issue:[任务] 抽取接进一轮 #44;PR:将编号抽取接进一轮 #96
- 入口和 Dockerfile:抓取节点作为常驻进程运行,每分钟领活、各来源同时抓,停止时做完进行中的几轮再退出;镜像带无头 Chromium。Issue:[任务] 抓取节点的入口和 Dockerfile #45;PR:加上抓取节点的入口和镜像 #100
- 试抓(抓取节点这边):领到试抓只读列表第一页,带了配置按配置读,没带的先通用解析、取不到条目才让 DeepSeek 生成选择器;条目、配置、失败原因和用量交回网站,抓取节点上线后管理员就能在来源管理页试抓。Issue:[任务] 试抓:抓取节点这边 #46;PR:接通抓取节点试抓与配置生成 #101
- 补上认不出的日期写法:认得出带完整年份的数字年月日、「号」、中文数字的年月日和旬,以及括号里的日期后面紧跟的时刻;
6.30这样的短数字月日不认,见总体设计 §8.2。Issue:[任务] 补上日期识别认不出的写法 #85;PR:补齐通知日期写法并保留编号证据 #97 - 图片和扫描件里的文字:图片附件和没有文字层的 PDF 交给 DeepSeek 读,长图切成小块一次送完,扫描的 PDF 由 pypdf 取出每页的图片;同一张图每次读的可能不一样,读过的文件存在抓取节点上,没变就不重读。起初用本地的 RapidOCR,比较后换成 DeepSeek:9 张样本的关键信息认对 111/113,RapidOCR 是 94/113,见总体设计 §5.2。Issue:[任务] 图片和扫描件的文字识别 #47、[任务] 实验:让 DeepSeek 直接读图片附件 #102、[任务] 图片改由 DeepSeek 切块读 #105;PR:实现图片附件的文字识别 #74、识别扫描的 PDF 里的文字 #103、写下图片改由 DeepSeek 读的比较和结论 #104、图片改由 DeepSeek 切块读 #106
- 证据出自图片的字段送审核页:DeepSeek 认错的字在快照里照样找得到,证据有一句出自图片或扫描件的字段,审核通过才上表,见总体设计 §8.3。PR:证据出自图片的字段送审核页 #108
- 列表页只写月日时读出年份:按月分组、每行只写月和日的列表页,年份取分组标题,找不到就留空、不猜。PR:列表页只写月日时从分组标题读出年份 #109
- 失败的模型调用也算进用量:中途失败的调用,以及读了图片却不用再抽取的,用量随这一轮的抓取记录交给网站。PR:失败的模型调用也算进用量 #110
- 附件文件最大 10MB:超过的读到 10MB 就停,照样列出名称和网址、文字留空。PR:附件文件最大 10MB #112
- 初筛和抽取换成华东师大开放平台的模型:初筛用
ecnu-decision,门槛在标注集上重定为 0.5;抽取和读图用ecnu-max,走 Chat Completions,在标注集上复验过。PR:初筛和抽取换成华东师大开放平台的模型 #113 - 鼠洞登录:用鼠洞账号登录鼠钟,鼠洞是授权方。鼠钟这边是 用鼠洞账号登录,定下会话和权限 #25,鼠洞这边是 让鼠钟等自家应用用鼠洞账号登录 mousehole#347,11-15 随鼠洞 v0.2.44 上线,鼠钟已在鼠洞后台登记。
- 抽取出的空值不交给网站:模型选了却什么都没填的字段(比如写着另行通知的报名时间)当作没给,免得网站拒收整份结果、这个来源这一轮中断。PR:抽取出的空值不交给网站 #114
- 抓取节点少因出错丢通知:模型平台返回 429 和 5xx 时隔 10 秒、30 秒各再试一次,同时调用模型的上限可以用
MODEL_CONCURRENCY调;网站拒收一条通知只算这条失败;模型选了同一系列另一年的项目时当作新项目;学校评定本校学生推免资格的办法和名单不收。PR:抓取节点少因出错丢通知,不收本校推免的通知 #115 - 每天北京时间 18 点抓一轮:18 点以后模型平台是低谷价,开着的项目的通知也每轮重抓一次。PR:每天北京时间 18 点起抓一轮 #116
- 管理员可以删除项目:不该收的通知建出来的项目,管理员在详情页写明理由就能删除,版本、快照和记录都留着。PR:管理员可以删除项目 #118
- 审核前先让第二个模型核对:图片里的值、模型拿不准的值、没写截止和可能重复的项目,先让
ecnu-plus独立核对,两个模型说法一致的不用人看;线上 274 条待审的实验里 196 条不用再人看,见总体设计 §8.3。PR:审核前先让第二个模型核对拿不准的地方 #119 - 审核页重新设计:只列有条目的种类,每条只问一件事,证据直接打开快照里的那句话,在原处处理,点错了 5 秒内可以撤回。PR:审核页每条只问一件事,在原处处理 #120
- 项目的值按通知发布的先后更新:旧通知不再改掉新通知给的值,届按发布日期算,名单只补项目还没有的字段、不改报名时间和报名入口,没写截止的项目按活动结束或这一届推免结束算已截止,见总体设计 §8.4、§9.1。PR:项目的值按通知发布的先后更新,届按发布日期算 #121
- 归并时核对截止变了的通知:抽取给了编号、报名截止却和那个项目不同的,也让两个模型核对,免得把另一次报名并进来;从名单建出的项目,报名通知来了改用它的名称,见总体设计 §8.4。PR:归并时核对截止变了的通知,名单建的项目改用报名通知的名称 #123
- 反代后面的页面表单能提交:网站在 OpenResty 后面,页面的表单(改学校、学院、来源、设置等)提交时被当成跨站请求拒掉,页面变空白;页面现在按
PUBLIC_URL的地址处理请求。PR:修正反代后面页面表单提交被拒 #124 - 长图分几次读,透明背景的图铺上白底:几百行的名单一次全送会超出模型的输出上限或超时,现在每 2 块读一次;透明背景的图读出来是黑底黑字,先铺白底,见总体设计 §5.2。PR:长图分几次读,透明背景的图铺上白底 #125
- 审核页不再收机器能定的几类条目:截止在等审核或额满即止的不另问「没写截止」,程序整段认得出的「未识别时间」不再送人看,第二个模型重抽不合格再抽一次,合并重复项目时审过的字段沿用原来的决定,见总体设计 §8.3、§12.2。PR:审核页不再收机器能定的几类条目 #126
- 抓官网通知链到的公众号文章:普通请求会被转到微信的验证码页,这类网址改用浏览器打开,正文认
rich_media_content;把公众号本身当作来源仍留到以后,见总体设计 §7.2。PR:抓官网通知链到的公众号文章 #127 - 鼠洞的头像能在鼠钟显示:鼠洞的头像原来只许同一个网站嵌入,现在同一个域名下的自家网站都能显示。让自家网站能显示鼠洞的头像 mousehole#351,11-17 随鼠洞 v0.2.45 上线。
- 导航回到列表上次的筛选和页码:换个页面再点导航回来,筛选、排序、搜索和页码都还在;只记在这个标签页里,打开的编辑框、提示和出错的页面不记,见开发约定 §1。PR:导航回到列表上次的筛选和页码 #128,11-17 随 0.1.8 上线。
- 筛选时不再重影,侧边栏滑进滑出:筛选和翻页时列表直接换成新的,不再新旧两版叠在一起;手机的侧边栏关上时也滑出去;卡片的两个角标放得下就并排,见开发约定 §1。PR:修正筛选时的重影、侧边栏动画和卡片角标的排法 #129,11-18 随 0.1.9 上线。
- 恢复修改权限:管理员撤销某人的全部修改时会一并收回修改权限,现在管理菜单的「修改权限」页能看到收回了谁、恢复回来,见总体设计 §12.4。PR:加上恢复修改权限的管理页,更新待定事项 #130,11-18 随 0.1.9 上线。
- 二期和三期的设计:8 个完整功能的产品规则、表和接口,以及分工和认领的做法,见总体设计 §9–§13、§17。PR:写好二期和三期各功能的设计 #131
- 合并后的旧链接跳到留下的项目,修改记录单独成页:被合并的项目,旧链接和接口都跳到留下的那个,以前合并过的也补上了;全站的修改记录单独一页,登录的成员都能看,见总体设计 §12.2、§12.4。PR:合并后的旧链接跳到留下的项目,修改记录单独成页 #132,11-18 随 0.1.10 上线。
- 站内消息、邮件提醒和订阅:顶栏的铃铛和消息页;站长定每类消息发不发邮件、配发信邮箱,成员在「我的 · 邮件提醒」里自己调;订阅项目后,截止前 3 天上午 9 点提醒,截止改了也提醒,见总体设计 §10.2、§11.1–§11.3。PR:加上站内消息、邮件提醒和「我的」页 #133、加上订阅和截止提醒 #134,11-18 随 0.1.11 上线。
- 我的报名:给自己记报了哪些项目、进行到哪一步,只有自己看得到,见总体设计 §9.4。PR:加上我的报名 #137,11-20 随 0.1.13 上线。
- 学院标签:大家给学院贴印象,3 个人贴了才算,总表和院校清单能按标签筛选,见总体设计 §9.3。PR:加上学院标签 #138,11-20 随 0.1.13 上线。
- 求收录:想看的学院还没收录就提一个,别人点「同求」,人多的先接,见总体设计 §10.1。PR:加上求收录 #139,11-20 随 0.1.13 上线。
- 关注学院:关注的学院一发新通知就收到提醒,还没收录的学院关注了就算替它求收录(禁言的不算),见总体设计 §11.4。PR:加上关注学院 #140(11-20 随 0.1.13 上线)、禁言的人关注学院不算同求,补上几处设计的决定 #143(11-22 随 0.1.14 上线)。
- 反馈、修改申请和争议:看到项目信息不对随手反馈或提修改,好几个人都说不对就标「有争议」,请管理员复核,见总体设计 §12.1–§12.3。PR:加上反馈、修改申请和争议 #141,11-20 随 0.1.13 上线。
- Agent 接入:让自己的 Agent 帮自己查项目、订阅、记报名:在「我的 · Agent」生成个人令牌,接上 MCP,或者直接调开放 API、下载一届的数据,见总体设计 §13。PR:加上个人令牌和数据下载 #142(11-20 随 0.1.13 上线)、加上 MCP 服务,让自己的 Agent 接上 #144(11-22 随 0.1.14 上线)。
二期和三期:按功能认领
二期是能提醒、大家一起纠错,三期是接入 Agent,现在一起做。原来开放认领的 6 项一直没人认领,维护者先做了起来:前 5 项 11-20 随 0.1.13 上线,Agent 接入 11-22 随 0.1.14 上线,都挪到了上面的「已完成」;还剩下面的群汇总,由维护者在做。每一项是一个完整的功能,单独做完就能上线;点「设计」看用的人看到什么、规则是什么,读哪几节、归哪个模块、和别的功能在哪里接头见总体设计 §17。要发消息、加邮件开关或「我的」的标签,用已经上线的「消息、邮件和订阅」,怎么接也在 §17。
想参与:群汇总想一起做的,在这里留言商量;别的活照 CONTRIBUTING 的「怎么找活」找。
- 群汇总(小):每天上午 9 点,鼬鼬bot 在群里发一条:昨天新收录了几个项目、3 天内要截止的有哪些。设计 §11.5;插件那边要改的在 每天把鼠钟的群汇总发到群里 astrbot_plugin_mousehole#3。要在跑鼬鼬bot 的机器上调试,维护者 @JunieXD 自己做。
以后的计划见总体设计 §17。
目标是一期和二期在 2027 年 3 月底前上线,赶上 28 届的夏令营季。
Activity
路线图的进展改到置顶的 Issue 里跟进 (#7)
定下抽取的输出结构 (#17)