后端架构师亲述：12个高可用建站运维真相

　　凌晨三点零七分，告警声没响，是微信消息震得我枕头嗡嗡抖——DBA老周发来截图：主库连接数99.6%，而监控面板上那根蓝线还懒洋洋趴在82%。我抓起手机划开SSH，输密码时左手小指在屏保上蹭出一道油印，咖啡渍干在工牌右下角，像块陈年茶垢。

文章配图，仅供参考

　　后端小张半夜上线了个灰度开关，说“就改一行JSON”，没走变更单，也没通知DBA。他穿双蓝色洞洞鞋进的运维区，脚后跟还沾着食堂门口的灰。我问他KEY有没有加索引，他摇头说“config表才八百条数据”。八百条，三百七十二个事务挂着SELECT WHERE key=，加不加索引有区别？我说没区别，他说你是不是困糊涂了。我没理他，把pg_terminate_backend()那串命令抄进终端，按了三次回车，手抖删掉一个括号重输——就是这种时候最怕错字，但你不敢粘贴，怕clipboard里混着上一条的sudo rm -rf。

　　老板今早十点要听“高可用升级路径”，我在会议室白板写了“多活”两个字，然后用红笔圈掉。没人问为什么，大家低头刷手机，老周在啃第三块能量棒，铝箔纸折成小船搁在桌沿。我其实想说，2025年11月那次全站雪崩，不是因为跨机房同步断了，是中间件团队把JVM Metaspace阈值调高之后，忘了配Prometheus的OOM告警规则——这个我敢打包票，因为那张配置截图我还存在个人邮箱草稿箱，没删。

　　优胜劣汰？呵。上周五下午四点十七分，CDN回源失败持续四分钟，根源是某云商DNS TTL写死三十秒，他们文档里写着“建议不低于六十秒”，但没标粗，也没打星号。我们这边改了三次SDK版本，最后发现只是某台边缘节点的glibc版本太老，getaddrinfo()会缓存失败结果——这个我说不准，但测试环境复现不出来，生产又不敢杀进程重试，就这么悬着。后来让DBA去机房换硬盘时顺手给那台机器拔了网线重启，好了。他回来时拖鞋带断了一根，走路有点拖沓。

　　值班表下周轮到我，本来该调休两天，但人事驳回了——理由是“重大活动保障期”。我说十一月哪来的重大活动，对方回：“双十二预热算不算？”我没接这话。其实我昨天翻了三年排班表，发现每年十一月都有三个人的调休被卡，全是后端组，全是负责核心链路的。没人投诉，也不好意思投申诉。就像昨天那个告警，微信弹出来的时候，对面工位的女工程师正在用棉签蘸酒精擦机械键盘缝隙，擦到空格键下面时手机响了一声，她没接，屏幕亮着“妈妈”，震动两下就灭了。

　　故障复盘会上有人说“应该上混沌工程”，我盯着投影仪右下角的时间，16:47:22，忽然想起上周四凌晨四点，我手动把某个超时接口的hystrix timeout从2000毫秒改成3500，改完没测，只盯着grafana看TP99曲线软着陆——它真落下去了。可三天后用户投诉“支付页面卡顿”，排查发现是下游MQ消费延迟暴涨，而我们的降级开关根本没触发，因为开关判定逻辑写的还是旧版traceID格式。这个细节谁都没提，包括写开关的人。他当时在工位吃自热米饭，掀盖子时蒸汽扑到眼镜片上，雾了整整三分钟。

　　所以说高可用？就是把能甩的锅甩出去，甩不掉的就变成SOP第3.2条，写进Wiki时还加了绿色对勾图标。我前天翻Wiki，发现“数据库主从切换SOP”底下有人留评：“此流程已废弃，实际执行参照飞书文档#2025-ops-047”。我点进去，文档权限是“仅限总监级以上”，而总监刚休年假。所以现在真正管用的，是老周贴在自己显示器边框上的一张便签，手写：“主库挂了？先curl -I https://status.x.com，再telnet 6379，最后看redis-cli info replication | grep master_link_status”。字迹潦草，ink渗到胶带上去了。

　　还有那个“多活”的念头——算了，等我先把下周的排班冲突申诉表重新填一遍再说。对了，你要是真想验证“优胜劣汰”，下回故障时别盯SLA报表，蹲机房配电柜后面听声音就行：主路断电是“砰”，ATS切换是“咔嗒”，UPS蜂鸣器低频震是“呜…”，而真正出问题的时候，什么声音都没有。只有冷风还在吹，对着你后颈那一小片没盖住的皮肤，嗖嗖地，很匀，很准。

　　我现在就去翻人事系统，看看申诉表能不能撤回重新提交。要是不行，我就把手写便签拍下来，钉在团队共享白板左上角，下面用马克笔写：“应急操作权，自取，勿问来源”。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!