深度学习工程师闭口不谈的三大追踪盲区

　　跟DL组在机房吵完那天，天花板漏水滴在华为交换机散热格栅上，嗒、嗒、嗒——不是匀的，第三声比前两声慢半拍。我原以为是TraceID没透传到PyTorch DataLoader的worker进程里，结果扒了三天源码才发现：他们用torch.multiprocessing.spawn起的子进程，把os.environ里所有带'OTEL_'的key全filter掉了。就一行代码，`os.environ.clear()`，写在worker_init_fn开头。没人review，没人test，更没人trace。这玩意儿优胜劣汰得真干净——留下的全是敢关掉自动埋点、手动打log的人。

　　对方穿灰卫衣那个女的接电话时把工牌塞进左袖口，露出一截手腕内侧的膏药贴。她说“我们只看GPU利用率”，我说“那你们怎么知道NCCL通信卡在哪个rank？”她笑了一下，手指在键盘上敲出`nvidia-smi -l 1`，屏幕右下角弹出钉钉新消息提示，但她没点。我盯着她右手指甲盖有点发白，是长期按压触控板留的印子。后来查了，他们训练脚本里那个`torch.distributed.init_process_group(backend='nccl')`根本没设`timeout`参数，超时默认30分钟——而实际阻塞八百多次，最长一次等了二十七分钟。可没人抱怨，因为日志里就一行`INFO:root:Starting training...`，后面全是空行。你信不信？真就全是空行。监控里GPU利用率曲线平得像用尺子画的，而背后tracing buffer早就OOM了三次，只是他们把otel-collector日志级别调成了ERROR。

文章配图，仅供参考

　　去年底推一个ResNet50 on ImageNet的benchmark，我蹲在他们集群调度队列旁看实时metrics。雨下得不紧不慢，机房新换的顶灯嗡嗡响，频率大概是每秒17次。有个戴眼镜的男生蹲着调kubectl config，手肘压着一张被咖啡渍晕开的打印纸，上面是`/etc/hosts`的修改记录。他忽然说：“trace span里time cost和nvprof对不上。”我点头。他接着说：“我们改了cudnn.benchmark=True。”我摇头。他顿了三秒，把咖啡杯往左边挪了七厘米，杯子底下压着的便签露出来：『batch=64→128』。我没说话。但他不知道，cuDNN的benchmark模式会在第一次forward里跑几十种kernel变体，那些init阶段的warmup call全被他们的tracer当无效span过滤了——不是丢，是显式过滤。代码里写着`if span.name.startswith('cudnn::') and not span.attributes.get('is_warmup'):`……那个`is_warmup`字段，从来就没被任何人设过值。

　　上周三下午，运维老张来换风扇模块，工具箱搁在我脚边，里面有把黄柄螺丝刀，刃口卷了边。他拧第七颗螺丝时抬头问我：“你们那个trace链路，为啥从Dali pipeline进来就断？”我没答。他拧完拍拍手上的灰，去隔壁机柜了。我盯着他走后留在地上的半块橡皮擦，蓝的，切面不规则。其实断点不在Dali，是在`torch.utils.data.DataLoader`的`__next__()`里那个隐式`torch.cuda.synchronize()`——它根本不发任何event到CUDA runtime API hook里，更不触发otel的cuda插件回调。但DL组文档里写着“已接入全链路追踪”。我翻过他们Wiki，第一页大标题下面括号里写着（含预处理）。括号里的字是灰色的，RGB值是128,128,128。我敢打包票。

　　哦对，他们训练启动前都会执行一段shell校验脚本，里面有一行`grep -q "dmesg" /proc/kmsg 2>/dev/null || true`。我不知道为什么，问过三次，没人记得加这行的原因。最后一次问的是穿红T恤那个实习生，他正在啃一个冷掉的豆沙包，左手小指一直在抖，可能是低血糖。他说：“好像是怕GPU驱动崩？”我没再问。反正这个grep根本不会执行——/proc/kmsg权限是000。但它每次启动都跑一遍，耗时十八秒。十八秒啊。而他们所有模型的loss曲线图里，第一千个step之后才开始下降，前三百七十多个step全是flat line。flat得像手术刀切过一样。

　　上个月底，我和他们技术负责人在楼道抽烟。他吐烟圈时左眼眨得特别快，右耳挂着蓝牙耳机但没声音。我说：“你们那个自研的梯度压缩库，trace里看不到reduce-scatter中间节点。”他说：“压根没中间节点，我们做all-gather+local prune。”我点点头。烟头红光亮了一下。然后他忽然说：“其实我们删了trace instrumentation，因为影响吞吐。”我没说话。他笑了，把烟掐灭在消防栓玻璃罩上，留下一个浅浅的焦痕。那玻璃罩里贴着张泛黄A4纸，印着2019年机房搬迁通知，右下角有钢笔写的“待续”两个字，墨迹已经褪成浅褐色。

　　现在我把采样率调到了0.003——不是千分之三，是三万分之一。够用。至少足够让告警里那个‘NCCL_TIMEOUT’错误带上正确的rank_id和nccl_uid。其它的事……等哪天他们自己把`torch._C._set_worker_signal_handler()`调用链里的`atexit.register()`也给trace了，咱们再聊。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!