站长圈从不公开的网络运维真相
|
凌晨三点零七分,告警声是先从右耳进的——左耳塞着半截没拔出来的AirPods,还连着白天看的K8s排错视频,声音压得特别低,所以右耳听见那个“嘀”一声的时候,我以为是机房新换的冷风机在自检。结果一抬眼,Zabbix页面全红,不是飘红,是烧红,像烤炉里刚扒出来的炭块。 我原以为是BGP邻居又抖了,顺手敲`show ip bgp sum`,等了十八秒才回显——不对劲,延迟高得离谱。切到另一台核心查`show proc cpu | inc five`,CPU五秒均值21%,正常。可路由表里少了一整个/22段,不是no route,是压根没学进来。DBA老陈的微信弹出来:“你们AS号是不是被上游掐了?”我没回。他上个月说Redis主从延迟高是“网卡背板带宽不够”,结果是自己写的脚本每分钟重连八百次。 空调嗡的一声突然变调,低频震得机柜门缝微微发颤。我伸手摸了下6U机柜侧面,凉的,但风扇转速没变。这说明制冷系统在响,但冷媒没循环到位——去年换过两次膨胀阀,第三次换完还是这样。隔壁后端小李蹲在UPS旁啃冷馒头,芝麻酱糊在工牌边缘,盖住了“三级权限”那行字。他抬头问我:“你那台SRX的failover状态……是不是卡在secondary了?”我点头。他嚼了两下,又问:“主设备reboot前,你动过哪条策略?”我说没动,就改了条log level。他嗯了一声,掏出手机点开监控截图,屏幕光打在他右眼下一片青黑上。他手机响了一声没接,锁屏显示“妈”。 站长圈从不公开的网络运维真相?就是它压根不靠“公开”。你见过谁把`show log | last 500 | grep “%FIB-3-NOMEM”`的结果贴到知乎?没有。不是怕泄密,是那玩意儿看了跟没看一样。三百七十二条告警里,真正要命的只有四条:一条是骨干链路误码率跳变,一条是BFD检测超时没触发倒换,一条是某个IDC的ARP表缓存被填满后开始广播风暴,最后一条……是值班表上我的名字被划掉两次,换成了实习生的名字,理由栏写着“临时调整”。我敢打包票:那台出问题的ASR9K,它内存没爆,是某块线卡驱动里的一个未通告的deadlock bug,在第七万三千次TCP session teardown之后必现——这个我敢打包票。但为什么上游运营商说他们线路“全程正常”,这个我说不准。 咖啡洒在工牌上了,深褐色一圈,正好圈住“高级网络工程师”那几个字。我用袖口擦,越擦越晕开,像一幅失败的拓扑图。对面工程师换了双拖鞋,蓝灰相间,左脚那只后跟裂了个口,走路时啪嗒、啪嗒,每两下停一次。我不知道他是不是新来的,也不知道他修过多少台被雷劈过的接入交换机,反正他刚才盯着一台CE12800看了三分钟,什么都没干,最后拧开保温杯喝了口枸杞茶,热气往上冲,模糊了眼镜片。 站长圈夸的“弹性架构”、“高可用设计”、“自动化巡检”……都是故障复盘PPT里最亮的三个词。可那天凌晨四点十八分,我们靠的是老张手写在便利贴上的IP地址段——他退休前三年抄的,笔画抖,但每个/24都对得上。不是他多厉害,是新人入职培训里早删掉了“手工维护路由摘要”这一项。后端说:“现在都是服务发现,谁还记IP?”我说:“那你记一下,XX机房出口网关是172.28.0.1,别再配成172.28.0.2。”他愣了三秒:“哦……之前是0.2?”我没说话。我原以为他装的,结果查变更记录,真是0.2,用了二十六天,直到BFD没起来才发现下一跳根本不可达。 调休申请被驳回了,理由是“重大活动保障期间”。可所谓“重大活动”,是老板朋友圈发的“新品发布会圆满成功”,配图是PPT首页。而那天实际发生的,是CDN节点批量失联,源站返回502超过四万次。我没截图,因为截图上传到运维平台需要二次审批,审批人正在三亚度假。值班表下周开始改双休,但我看到表格最后一行小字:“轮值夜班仍按原周期执行”。旁边还补了一行铅笔字,不知道谁写的:“王工父亲术后复查,已协调替班”——王工是我,我爸上周三刚拆完引流管。
文章配图,仅供参考 优胜劣汰?对。但不是筛技术。是筛谁能一边听着空调嗡鸣一边手抖着输入`commit confirmed 10`,筛谁能在告警声和微信语音同时炸开时,先点开DBA发来的tcpdump文件,而不是回他“稍等”。筛谁记得清2019年那次光模块批次问题导致的误码隐性增长周期——三个月,每天晚上十点自动涨0.003%,直到阈值触碰。这些不写进SOP,不进考试题库,也不算绩效KPI。它就躺在每次交接班的潦草备注里,在一杯洒掉的咖啡渍边缘,在蓝灰拖鞋后跟的裂缝深处,在没人接的那个电话振动里。我现在去泡第二杯咖啡。滤纸要压紧一点,不然容易漏渣。要是再洒,我就直接拿工牌当杯垫——反正照片已经模糊了,权限等级也快过期了。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


后端架构师亲述:12个高可用建站运维真相
外链质量差?站点权重低?搜索排名暴跌的真相揭秘
PHP建站避坑:90%开发者忽视的框架选型真相
营销渠道黑箱?多维建模解构传播真相
