大数据架构师必懂的5大实时计算技术要点

　　去年一月份，我在西溪园区B2栋机房里盯着Flink 1.16那个作业的反压线跳成心电图的时候，王工蹲在机柜底下用热风枪焊一个松动的光模块，焊锡丝滋啦一声，我手机震了三下——是李婷发来的钉钉消息：“Kafka集群的ISR缩容阈值是不是调太狠了？”我没回。窗外在下雨，雨刮器卡在四十五度角，一下一下刮着玻璃上那道斜长的水痕，像没对齐的分片。

　　我原以为实时计算的底座问题是延迟，结果跑通全链路才发现，真正要命的是元数据漂移。你记得吧，Kafka Topic描述符在Broker升级后不带Schema Registry版本戳；Flink CDC源端把decimal精度吃掉半位，下游聚合窗口就永远对不上；Pulsar租户配额锁死时，消费者位点会倒退十八秒——这个我敢打包票，当时我拿tcpdump抓包反复核对过三次。可谁在乎呢？业务方只问“为什么凌晨两点的实时看板差三万订单”，没人问你Schema是否在ZooKeeper里存了两个副本还互不同步。

文章配图，仅供参考

　　张总上周在架构会上拍桌子说“我们要统一实时数仓口径”，说完顺手把桌上那盒没拆封的鳗鱼饭推到右下角，酱汁袋子还滴着油。我听着耳机里传来运维小陈的声音：“broker-3磁盘IO打满了，但df -h显示才用了六十二%，可能是ext4 journal写崩了。”我没吭声。他接完电话转身就去泡咖啡，手指头在杯沿上蹭了三下，指甲缝里有点灰白的粉笔末——也不知道是早上画拓扑图蹭的，还是改配置时蹭黑板擦留下的。

　　五点二十三分，我把那个跑了七小时还没checkpoint成功的Flink作业kill了，重启参数加了-yD state.backend.rocksdb.memory.managed=false。重启第三分钟，它吐出一行WARN：RocksDB instance was closed during snapshot —— 我看着屏幕右下角系统时间跳成五点二十六分，突然想起上个月测试Presto on Iceberg的事务隔离，也是在这个点断的。不是BUG，是Iceberg的snapshot_id生成逻辑跟NTP校准差了三百七十二毫秒，导致快照列表里多出一个null commit。我说不准这算不算Presto的问题，但我知道，当Spark和Trino同时读同一个Iceberg表时，它们各自解析manifest文件的方式不一样，就像两个人用不同方言念同一份判决书，意思差不多，执行起来就是有人被判刑、有人当场释放。

　　机房空调嗡嗡响，低频震动一直传到我椅子腿上。昨天刘工说他家猫昨晚跳进服务器机柜散热口里睡了一觉，毛都粘在滤网上了，扫出来一团灰绒绒的，混着点橘猫掉的毛。他说这话时正用U盘拷一份Kudu的JVM dump，U盘插了三次才识别出来，第二次拔得太急，接口边缘有点划痕。这些事和实时计算有什么关系？一点关系没有。但比“保证exactly-once语义”更真实。

　　所以这五大要点根本不是技术清单，是淘汰机制。Flink能扛住反压、Kafka能撑住分区再平衡、Pulsar能稳住租户隔离、Iceberg能扛住并发commit、Trino能吞下乱序snapshot——这五个能力像五道闸门，过不去的架构师，连会议纪要都进不了终版。优胜劣汰不是比喻，是字面意思：上个月杭州那边裁掉三个做实时OLAP的小组，理由就一条，“查不出flinksql里window aggregate状态泄漏的root cause”。他们走那天下午，我路过茶水间听见保洁阿姨在擦微波炉门上的油渍，哼的是《好日子》副歌，节奏特别准。

　　现在我桌上还摆着一张手写的纸条，是前天打印故障时飞出来的——上面写着“broker.log.retention.ms=86400000”，下面潦草地补了句“别动！测过！”字迹是我自己的。我本来想扔掉，但发现背面印着旧版Hudi文档的页眉，模糊得只剩“HoodieTimeline”几个字母。这事儿我其实不想提，但刚才想起来，就写了。至于要不要把这张纸条拍下来发到群里——我暂时还没决定。反正今晚得陪孩子去上跆拳道，教练姓吴，说话喜欢用顿号，比如“发力、收腹、盯目标、喊出来”。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!