TwilightRain | 先量,再改,最后逐字节对一遍

先量,再改,最后逐字节对一遍

约 2674 字 · 阅读约 7 分钟

这个项目不大:一套处理中文稿件的引擎,加一个图形界面、一个命令行,生产代码一万行出头,测试一万行。它做的事也朴素,合并短行、批量替换标点、排版、检查文字里像机器生成的措辞。

我花了几轮时间给它做体检,顺手把查出来的问题修掉,最后压了一轮性能。中间有几件事值得写下来,都是那种“当时觉得没什么,回头发现很值钱”的做法。

同一个东西抄了几份,代价不是难看

界面层有六个页签,其中四个是“先选文件再处理”。选文件、拖放高亮、显示编码、错误横条、结果行、按主题取颜色,这六件事在四个文件里各有一份。我用脚本数了一下,每个页签大约有一百行代码和别的页签逐字相同。

真正的问题不是重复本身,而是它已经开始分叉:同一个“显示结果”的动作,在一个页签里收的是拼好的字符串,在另一个里收的是“文案编号加参数”,在第三个里收的是两个计数。三处写法都能跑,改起来要改三次,而且没有人说得清哪种才对。

后来抽成一个共用基类,那些分叉也统一了。这里有个细节值得记:两个“勾选窗”其实早就有一个适配器接口,替换方案和角色方案都接进去了,第三个窗(选检查规则)却是照抄一份代码。四十二个同名方法,我看了两遍才信。

教训很土:抽象要跟着差异走。已经有两个用户共用一套接口的地方,第三个用户出现时别再抄,否则前两个的抽象会因为第三个的特例变得没意义。

让一处成为唯一来源,代码只留干活的部分

检查规则原本分两处住:九十一条写在数据文件里,十五条写在代码里。前者能改、能测、能在界面里编辑;后者的标题、分组、严重程度、适用哪类文体,全是散在代码里的字符串,外加一句“如果是文档就直接返回”这种判断。

结果是加一条规则要动五处。更别扭的是同一件事有两种写法,而且只有其中一种能被用户改。

搬完之后,一条规则的元信息只在数据文件里写一次,代码只负责算法本身。加一条规则从动五处变成动两处(规则表和测试)。

代价我也说清楚:搬的过程不能改任何行为。同样的稿子,报出的位置、数量、先后、标题、说明必须一模一样。所以我们先录了一份输出当参照,改完再逐字节比。

文档里的每一句可执行的话,都跑一遍

体检时翻了文档,有三处跟实现对不上:

命令行文档里写着“扫一个目录”,实际跑出来是“错误:文件不存在”,退出码二。代码从来只收文件。

架构文档说几个配置文件“界面与命令行共用”。可是发版是四份独立的压缩包,配置按程序所在目录取,用户分别解压到两个文件夹时,两边读的根本不是同一份。

还有四十多条规则的标题和说明没有译文,繁体和英文界面上直接显示简体中文。

这三处都不难修,难的是“发现”。做法也简单:把文档里每条能跑的命令原样敲一遍,把每条能验证的说法拿盘上的文件对一遍。写文档的人不会故意骗人,他多半是没跑过。

改的时候,先留一份“改前”

文本工具有个好处:输出是确定的。同样的输入,同样的规则,输出应该一字不差。

所以每动一处,我们都先录一份参照:人读报告、机器读的 JSON、日志文件,各存一份;改完重跑同样的命令,逐字节比。前面那些重构,一共比了三十多组输出,全部相同才收手。

这招比“看着差不多”可靠得多,也比写一堆断言便宜。它抓到的都是那种不会报错、只会悄悄变一点的问题:某条规则少报了一处、片段里的换行从空格变回了转义、多份报告之间少了一个空行。

有个反例值得提:有一次验收的人拿别人留下的参照去比,三组都对不上。查下去不是代码的问题,是他从输出内容反推了命令,猜错了一条规则名;而输出里记的文件名,就是你在命令行里打的那个路径,写成相对路径和绝对路径出来的字节也不一样。参照得连着命令一起存,不然它自己就会骗人。

性能:直觉错得很离谱

压测从五十兆的稿子开始。同一批文字,拆成一百份(每份半兆)交给命令,二十一秒;装成一份五十兆的文件,三分五十二秒。同样的字数,慢了十一倍。

顺着这条线挖,找到两处写法,都是“每处理一处结果,就回头把已经收下的结果全扫一遍”。五十兆那份稿子里,光一条规则就有八万多个候选,这一层就是几百亿次比较。改完之后,五十兆单份从二百三十三秒降到二十一秒,曲线也回到了“字数翻倍、时间翻倍”的样子。

然后是内存。单份五十兆走 JSON 输出,峰值一点八吉。我先猜是“每处结果都带着两段字符串”,量下来只对了一半,更大的两块是:输出在内存里拼了四遍(序列化一遍、为转义复制一遍、为统一换行再复制一遍、末尾补换行再复制一遍),以及垃圾回收给自己留的余量。

拆开之后,一处在写入时顺带转义,一处改成一份一份处理、写完就丢,一处让结果只记位置、输出时再从原文切。峰值降到三百七十七兆。顺手还发现一个简单的判断:稿子开头四千字里没有繁体写法,就整份跳过繁简转换,简体稿连那本十六兆的词库都不用加载。

这里有个我自己犯的错值得说:我拿命中密度最高的那份稿子,按直线外推算了个“二十五兆目录要三吉内存”,结果被人一句“什么鬼”问住。实测同尺寸的真实文档是八百多兆,我的外推把两个不同的东西乘在了一起。数字能压住直觉,但外推不能代替测量。

量到瓶颈换地方,就该停

最后量的是日常用的那一档:一百 KB 的稿子。单份零点二五秒、七十四兆;一百份一起跑三点八秒,平均一份三十七毫秒。再拆开看,单份那零点二五秒里,大约零点一秒是启动、读规则、把五百多个正则建起来;真正扫四万六千字的部分只有零点一五秒。

也就是说,再优化正文处理已经没有意义了,瓶颈变成了“启动一次要多久”。到这个点就该收手,剩下的收益要用“包体变大”去换,不划算。

几件能带走的

每个结论配一条能重跑的命令。做过什么、期望什么、看到什么,写清楚,别人才能复核,自己也才有底气。

改之前留一份参照输出。对文本类工具,逐字节比对是最便宜的保险。

故意把代码改坏一次,看测试红不红。改一个门限、删一个字段、把退出码改个数字,如果测试还是绿的,那份测试就没有在保护任何东西。

提交要能分开退。引擎、命令行、界面各一笔,出问题只回退一笔,不用整批推倒。

知道什么时候停。量到瓶颈从“处理数据”变成“启动开销”,就该把精力挪走。

这一次到最后,项目从一千零七十八个测试(含四条只在 Windows 上跑的)长到一千二百一十六个,版本号从 3.0.1 挪到 3.1.0,界面版压缩包八点七到十兆、命令行版一点三兆,五十兆的稿子二十秒出结果。数字谈不上惊艳,但每一个都是当场跑出来的,不是估的。

评论