Repository navigation
修掉时好时坏的测试,让本地检查和 CI 一致 - #146
Merged
Merged
Conversation
提醒的测试用进程的时间写 next_at,被测的代码却拿数据库的 now() 比, 两个时钟差几毫秒就挂,十次里挂一次。 - 服务里的 SQL now() 全换成 new Date();排队的邮件用同一个时间写 created_at 和 next_at,放了一天没发出去的按进程的时间丢掉 - mutedNow 改成函数,每次查询取当时的时间 - 加一个测试,查询里再写 now()、current_timestamp 这类就失败;反馈和 争议复核的 clock_timestamp() 是例外,单独列出
CI 在 pnpm check 之后还要迁移、填种子、核对数据库类型和 OpenAPI 文档、 构建,本地全过推上去还可能挂。 - 数据库类型、抓取节点的 OpenAPI 文档和种子数据改成测试,在各自的库里跑 - pnpm check 最后加上构建,CI 的 web job 只跑这一条 - 同一个分支推了新提交就取消旧的运行,main 也一样
refreshUsers 按上次刷新的先后逐个问鼠洞,一个人的资料解析不了就抛出, 整轮停下;他的刷新时间不变,下一轮还排第一,后面的人再也刷新不到, 封禁和退群也收不回会话和令牌。 - 鼠洞拒绝或回复读不懂时抛 MouseholeError,只带失败类别,回复的内容 可能夹着成员资料和令牌,不进日志 - refreshUsers 遇到它只记这个人和失败类别,接着刷下一个;鼠洞连不上 仍然结束这一轮
- 操作人 { user_id, via } 原来各模块各写一份,via 的取值还不一样,
合成 platform/access.ts 的 Actor;种子数据照它登录的方式记作 web
- 抓取节点交来的用量、通知失败、抽取出的项目和附件,原来 Zod 一份、
服务里手写一份,Zod 挪进 ingest/schemas.ts,类型从它推导
- via、争议结果、反馈的种类和状态各起一个名字,不再到处写字面量
三个模块各自引 pg 的 DatabaseError,按错误码判断约束冲突,违反了 「每个库只在一个模块里用」;按错误码判断还会把操作人的外键这类 bug 当成输入错误。 - platform/db.ts 导出 explainConflict,模块按约束名给出准确的提示, 别的约束错误照常抛出 - no-restricted-imports 限定 pg、nodemailer、xss、MCP 和 lucide 连同 子路径只在各自的文件里用,每个文件只放行自己的那个库
ingest 直接改了 programs 表的名称,programs 表归 programs 模块写。 改成调用 programs 导出的 nameAfterCall,并加一个测试:从 data-model.md 读出每张表归哪个模块,各模块写了别人的表、或者有表没写归属就失败。
parse 包原来用 ValueError 表示认不出网页或文件,调用处一律接 ValueError 转成抓取失败,解析代码里的 bug(int() 用错、lxml 抛的 ValueError 之类) 也跟着变成一条普通的抓取失败。现在 parse 包抛专用的 ParseError,别的 异常照常抛出。 网页里坏到读不了的链接(比如没写完的 IPv6 地址)原来也靠接 ValueError 挡住,现在由 absolute_url 跳过这一条,其余的链接和附件照常读;页面的 <base> 先单独解析,坏的 <base> 或对着它解析不了的链接也只影响自己。
加一个测试,按库列出能用它的生产文件:httpx、playwright、lxml、PIL 和 读附件的几个库用在别处就失败,测试文件不算。试抓里清掉脚本和样式的 那几行 lxml 挪进 parse/webpage.py。
加 8 小时再截日期的写法在网站里抄了 7 份,开发约定又规定时间统一由 time.ts 处理。加上 beijingDay,其他地方都调它和 beijingYear。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
关联
没有对应的 Issue:这些是一次代码体检里找出的问题。
改了什么
next_at,被测的代码却拿数据库的now()比,十次里挂一次。服务里的 SQLnow()全部换成进程给出的时间;排队的邮件用同一个时间写created_at和next_at;mutedNow改成函数。test/conventions.test.ts解析源码,sql模板里再出现now()、current_timestamp这类就失败(反馈和争议复核的两处clock_timestamp()是有意的,单独列出)。pnpm check最后加上构建,CI 的 web job 只跑pnpm check。同一个分支推了新提交就取消旧的运行,main也一样。Actor合成一份;抓取节点交来的数据的类型从 Zod 推导。pg只留在platform/db.ts,约束错误按约束名给出提示;oxlint 限定pg、nodemailer、xss、MCP、lucide只在各自的文件里用;抓取节点加一个测试检查 httpx、playwright、lxml、PIL 和读附件的库只在各自的文件里用。nameAfterCall;test/table-owners.test.ts从docs/data-model.md读出每张表归哪个模块,写了别人的表就失败。ParseError,调用处只接它,解析代码里的 bug 不再被当成一次普通的抓取失败;坏到读不了的链接(包括坏的<base>)只跳过这一条。programs/time.ts算;院校清单的空状态去掉句号。开发约定和 AGENTS.md 的命令表一起改了。
怎么验证的
web/:pnpm check连跑 3 遍都通过(171 个测试和构建),每遍约 20 秒。改之前main上 10 遍里挂 1 遍。crawler/:./check.sh通过(406 个测试)。影响
pnpm check;main上推了新提交也取消旧的运行。