Skip to content

附件没读成时写明原因,抓取看板、快照页和审核页都看得到 - #148

Merged
JunieXD merged 2 commits into
mainfrom
attachment-failures
Nov 22, 2026
Merged

JunieXD merged 2 commits into
mainfrom
attachment-failures

Conversation

@JunieXD

@JunieXD JunieXD commented Nov 22, 2026

Copy link
Copy Markdown
Contributor

关联

Closes #147

改了什么

附件下载不成、超过 10MB 或者读不出来时,原来只打一条日志、文字留空,抓取记录、看板和审核页都看不到;我们自己代码里的异常也被改写成「文件坏了」。截止写在附件里时,第二个模型也没看到附件,会「确认」没写截止,这条通知就漏了。

  • 区分源站的原因和我们的 bug(parse/files.py):按异常从哪里抛出来分,在我们自己代码里抛出的照常抛出,从解析库或标准库里抛出的算读不出来。拿到的内容不是任何一种认得的格式(比如一句纯文字的「拒绝访问」)也算读不出来,不再当成没字的附件。
  • 接口:快照的附件改成读到的(ReadAttachment)和没读成的(UnreadAttachment)二选一,没读成的写明种类 download_failed、too_large、unreadable 和具体原因;读不出来的文件照样上传。一轮的结果加上没读成的附件一共几个(attachment_failure_count)和前 100 个(attachment_failures),总数不能少于列出的个数。
  • 快照:附件的网址、读到还是没读成、没读成的种类变了,算附件变了,存新快照;只是具体原因不同不算。
  • 页面:抓取看板每轮显示「N 个附件未能读取」,展开列出网址、原因和所在通知;快照页标出每个附件没读成的原因;审核页的条目标出所在通知没读成的附件。
  • 不漏:快照里有附件没读成时,第二个模型确认「没写截止」不算数,交给人。
  • 文档:总体设计 §7.4 加了「没读成的附件」一条,写明新的决定和理由,§5.2、§7.5、§8.3、§12.2 跟着改;接口、数据表、开发约定同步。

Issue 里列了这次不覆盖的三种情况,留给后续。

怎么验证的

  • 网站 pnpm check:类型、lint、格式、174 个测试和构建都通过。抓取节点 ./check.sh:409 个测试通过。
  • 失败的几种情况都有测试:下载失败(HTTP 404、无法连接、返回网页)、超过 10MB、文件坏了、内容不是认得的格式、我们自己代码出错、快照的变化规则、抓取记录的总数和明细、看板、审核页和「没写截止」的确认规则。修复前在 origin/main 上跑过:网站新改的 5 个测试都失败,抓取节点「自己代码出错」的测试抛的是 ParseError: TypeError;后加的几个测试(附件换网址、总数少于明细)也确认去掉修复时会失败。
  • 迁移在按旧结构建的临时库上跑过:旧数据保留,约束能拦住「有文字又标了失败」。
  • 页面:用 pnpm seed(加了一个下载不成的附件的示例)和 pnpm dev 看过抓取看板、审核页和快照页,显示都对。截图没附上。

影响

  • 接口:抓取节点的接口改了,老的抓取节点照样能交(读到的附件形状不变,新字段都可以不写)。新的抓取节点交给老的网站会被拒,所以先部署网站,再部署抓取节点。中间这段老节点交上来的附件按原来的行为处理。抓取节点的部署方式不变。
  • 表结构:迁移 0012 给 attachments 加 failure、detail,给 crawl_runs 加 attachment_failures、attachment_failure_count,共四个新列和两个 CHECK。不重写表,也不回填,但事务提交前会对两张表持排他锁,部署时间按线上规模定。
  • 已有数据:以前存的附件分不清是下载不成还是文件还没传上来,failure 为空,照旧当作读成了。还没截止的项目每天重抓,新的抓取节点抓到没读成的会存新快照、写明原因,这些通知会重新抽取一次。
  • MCP 工具:无。

我们自己代码里的异常原来也被改成 ParseError,看起来和文件坏了一样,
bug 永远不会被发现。现在按异常抛出的位置分:从解析库里抛出来的才算
文件读不出来,我们自己代码里的照常抛出。
附件下载不成、超过 10MB 或者读不出来时,原来只打一条日志、文字留空,
看起来和本来就没字的附件一样。截止写在附件里的通知很常见,抽取得出
「没写截止」,谁都不知道是附件没读到(总体设计 §7.4)。

- 接口:快照的附件分成读到的和没读成的,没读成的写明种类
  (download_failed、too_large、unreadable)和具体原因;一轮的结果
  记下没读成的附件一共几个,列出前 100 个。不写就是没有,老的抓取
  节点照样能交
- 拿到的内容不是任何一种认得的文件(比如一句纯文字的「拒绝访问」),
  算读不出来,不再当成没字的附件
- 表:attachments 加 failure、detail,crawl_runs 加
  attachment_failures、attachment_failure_count;以前存的分不清,
  不回填
- 附件的网址、读到还是没读成、没读成的种类变了,算附件变了,存新快照
- 抓取看板列出每轮没读成的附件,快照页标出原因,审核页的条目标出
  所在通知没读成的附件
- 快照里有附件没读成时,第二个模型确认「没写截止」不算数,交给人
@JunieXD
JunieXD merged commit 81d78e1 into main Nov 22, 2026
2 checks passed
@JunieXD
JunieXD deleted the attachment-failures branch November 22, 2026 08:26
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[Bug] 附件下载或解析失败只打日志,抓取记录、看板和审核页都看不到

1 participant