3个月重构服务器架构：内容创业者的生死线

　　凌晨三点零七分，监控平台弹窗叠了三层，第四层卡在“正在加载”——不是接口挂了，是前端页面自己在轮询里死循环。我伸手去够键盘，咖啡杯沿蹭过工牌，一圈褐色的渍从“张伟”俩字上洇开，盖住了“系统维护部”烫金小字。对面DBA老周把拖鞋踢掉一只，脚趾蜷着抠地板缝，另一只还趿拉着，鞋帮塌了一半。

　　我原以为是缓存雪崩。结果ssh进主控节点，top没看两眼就发现nginx进程占着1.8核不放，但qps才四百出头——这不对。查access_log，十六个IP反复刷同一段base64编码的referer，decode出来是“/api/v2/post/372?ts=1696210823”，而这个post_id早在中秋前就404了。谁他妈还在刷？CDN早该回源失败降级，结果它没降，硬扛着把后端打穿。我敢打包票：那个CDN配置里，error_page 404 = @fallback 这行被注释掉了。上周三我改过，但上线单里没写这一句，只有后端说“缓存策略调了”，没说删了兜底。

　　空调嗡的一声，忽然停了三秒。机房冷风贴着后颈往里钻，我缩了下脖子，手没离开键盘。老板微信弹进来：“张伟，用户反馈发不出评论，能不能先切静态页？”我没回。切静态页？那等于把活人推进ICU还拔呼吸机。三百七十二条告警，真正要命的其实就十七条——七条是DB连接池耗尽，五条是redis pipeline timeout超时设成三秒，剩下五条全在负载均衡器健康检查里来回跳变。可你跟老板说“健康检查在跳”，他听成“机器活着就行”。去年中秋，就是那天，他们拿首页AB测试当军令状，结果灰度发错集群，流量切到一台刚重装完没配防火墙的备机上。那台机子连SSH都监听在2222，root密码是默认的。我爬上去的时候，tail -f /var/log/auth.log里已经有十七个IP在爆破。没截图，没留证，我就直接rm -rf /etc/ssh/sshd_config && systemctl restart sshd。这事我说不准后来有没有进审计报告——反正没人问。

文章配图，仅供参考

　　优胜劣汰？对。真淘汰。不是淘汰服务器，是淘汰人。后端那个实习生，八月来的，九月就开始写Prometheus的alert_rules.yml，写得挺全，但每条rule都带一个annotation：description: "触发即熔断"。他不懂什么叫“熔断”是下游的事，上游只要丢包率超过0.3%就得降级。他写了二十一条，有十四条触发阈值低过基础监控毛刺水平。我把那部分标红发给他，他回复“收到，马上优化”，然后三天没动静。第四天，他提了个PR，把所有description改成："触发即联系张工"。我就回了个OK。这事我记不清他是不是真联系我了——可能打了电话，但我那时正蹲在IDC机柜旁换电源模块，手机静音。旁边有人手机响了一声没接，屏幕亮了半秒，是“王总监-紧急”。

　　值班表贴在茶水间门后，上个月我排了四个夜班，调休申请驳回理由写的是“人力缺口”。其实缺的是懂Ansible和熟悉K8s滚动更新之间耦合逻辑的人。我们组现在六个人，两个在跑CI/CD流水线，三个在填上个月漏扫报告里的CVE补丁，剩我，管所有“别的事”。上周四我去财务领加班补贴，窗口大姐问：“你们搞运维的，是不是天天修电脑？”我没答。她背后贴着张A4纸，手写的“9月报销截止日：9月28日”，下面用圆珠笔划掉“28”，改成“25”，又划掉，补了个“26”。墨迹糊了，像没擦净的鼻血。

　　所以说3个月重构是生死线？不，是筛子。筛掉扛不住压的，筛掉不敢动配置的，筛掉觉得“线上稳定就不该碰”的。活下来的人，要么把crontab写成诗，要么在failover切换命令里加sleep 1.3这种反人类延迟来躲脑裂。我上月试过——让etcd集群在分区时故意等1.3秒再选主，居然真绕过了三起数据不一致。这事儿我谁都没说，就记在笔记本第三页背面，压着半片干枯的银杏叶，是去年中秋那天从公司楼下捡的。叶脉都裂了，但没碎。

　　现在我每天晨会前十五分钟，手动检查三件事：redis-cli -h $host info | grep "connected_clients" 的返回值是否连续三天未超阈值；kubelet进程的RSS内存是否比昨天同时间高超过8%；以及——有没有新的咖啡渍覆盖住旧的工牌名字。前两件我做，第三件我随缘。昨天下班前看到老周换了双新拖鞋，蓝的，带白点，像撒了把芝麻。他脱鞋时候手机又响了一声，还是没接。

　　下周一我打算把所有非生产环境的DNS解析全切到dnsmasq本地缓存，不管研发同不同意。这事我还没写方案，就写了两行shell脚本，藏在/home/zhangwei/.local/bin/下的一个叫“fixit.sh”的文件里。里面第二行是“# 勿动，中秋后生效”。要不要执行？我不知道。但今晚我准备先把那十七个刷404的IP加进iptables DROP链，先挡十二小时再说。挡完我得去趟茶水间——工牌上那圈咖啡渍，快漫到照片边缘了。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!