计算机视觉资源网站扩容难？三步实现存储零冗余

　　去年七月，机房空调坏了三台，剩下那台抽风像哮喘病人吐痰——嘶…嘶…嘶…我蹲在U17柜子前面拔SATA线的时候，手心全是汗，不是热的，是隔壁运维老张接电话时说“再拖两天”那声叹气，带出来的冷汗。

　　我说扩容难？难在人以为扩容是加硬盘，其实是给数据做骨科手术。你猜我那天拆开第四个NFS挂载点时，看见什么？同一张ImageNet-1k的JPEG，十六个不同命名变体：train_001.jpg / train_v1_001.jpg / train_v1_cleaned_001.jpg / train_v1_cleaned_fixed_001.jpg / train_v1_cleaned_fixed_no_dup_001.jpg……最后那个文件夹里还藏着一个叫“_no_dup_FINAL_REALLY”的子目录。我点开md5sum比对——全一样。一模一样。连EXIF里的GPS坐标都空着，空得特别诚实。

　　桌上那份外卖盒还开着，麻婆豆腐浮着半凝的油花，筷子斜插在饭里。我用它当尺子比划着NAS节点间的数据流路径图，结果发现有三台机器在同时向同一块SSD做写入——不是轮询，不是分片，是同步双写+本地缓存回刷+又加了个CDN预热触发器。没人关，也没人记得关。我原以为只要删掉重复的软链接就行，结果查到第七层symbolic link嵌套，才发现root权限根本不够——那条链最终指向一个用Go写的metadata中间件，它把硬链接当成新文件处理，还自动打上“v2.3.1-cvpr2024-pretrain”标签。

　　小王坐我左边，一直盯着他屏幕上跳的GPU利用率曲线。突然啪一声合上本子，说：“咱不搞dedupe了，直接上对象存储。”他说话时右手食指在桌面敲了十七下，停顿两秒，又敲了三下。我没接话。窗外雨开始砸玻璃，不是连贯的，是一颗一颗往下掉，打在空调外机壳上，闷响，像有人用橡皮头铅笔戳铁皮。

　　三步？第一步：把所有“cv_dataset_v”前缀的目录名全部grep出来，丢进一个叫“tombstone”的临时队列；第二步：跑一遍realpath + sha256sum，但只对尺寸大于32KB的文件生效——小于这个的，比如label.txt、classes.names这种，我们不管；第三步：留一个“活着的”路径，其余全ln -sf 到它下面，然后把原来那些路径名，连同创建时间、owner、甚至.gitignore里写过但没提交的那行注释，全塞进ES索引里备查。就这么三步。优胜劣汰？对，就是字面意思——活下来的，得能通过三次以上不同的checksum校验路径，得有至少两个独立服务依赖它，还得在最近一百八十小时内被至少一个训练任务open过一次。别的？清出机柜，挪进磁带库冷区，标签上我亲手写的：“疑似训练用，待判，2023年Q4”。

文章配图，仅供参考

　　说到灯……去年五月换的LED板，现在右边第三排不亮，但左数第七颗偶尔会自己亮一下，青绿色，大概每七分钟一次，持续十八秒。没人修，也没人管为什么是七分钟——监控里查不到告警，日志里没有error。就是亮。我们测试组开会时都绕着那块板子投影位置坐。上个月QA总监来巡检，站那儿讲了十一分钟“质量门禁前置”，讲完扭头就走，没抬头。

　　其实最烦的不是重复数据。是有人非要把数据标注格式从COCO JSON转成YOLO TXT再转回COCO XML——只为了凑一个“支持主流格式”的PPT bullet point。转换脚本里有个bug，生成的bboxes会随机偏移0.0001像素，肉眼不可见，但TensorRT量化后会崩。这事儿我复现了四遍，最后一次是在雨最大那会儿，键盘上有水汽，Ctrl+S按了两下才存上。可没人要那个log，他们只要一个结论：“格式兼容性OK”。OK？OK个锤子。那个“OK”是我在jira里随手打的，打完我就点了外卖——麻婆豆腐，少辣，多葱。葱到现在还在盒沿上蔫着。

　　我现在手边还有两个没关的终端窗口：一个是rsync --delete-after 正在往冷备区推数据，进度卡在82.3%；另一个是tail -f /var/log/nfs-kernel-server.log，光标停在某条access=10.128.0.0/16的拒绝记录后面，不动了。我不关它们。等会儿去楼下便利店买瓶冰水，回来再看。要是冰水化了三分之一还没动，我就把那条NFS规则临时放开五分钟——不改文档，不走流程，只开五分钟。至于之后有没有人查日志、抓包、顺藤摸到我工位——我不知道。这事儿我说不准。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!