深度学习服务器选型避坑：19年实战调优指南

　　凌晨三点十七分，机柜最上层那台新上的A100服务器突然把告警灯拧成麻花——不是红，是紫红带频闪，像有人拿激光笔在散热格栅后面乱戳。我蹲在冷通道里盯了十八秒，空调嗡的一声压过所有告警音，然后忽然停了半拍。DBA老周手机响了一声没接，屏幕亮着，微信弹出“你先顶会儿”，底下还挂着个未读的钉钉调休申请——他上周三申请调休被驳回，理由是“GPU资源调度关键期”。我原以为是NCCL版本兼容问题，结果ssh进去查nccl_test，第一行就卡住：/dev/dri/renderD128: Permission denied。不是权限，是设备根本没被uvm模块识别。我敢打包票，这个错去年二月份我们在西溪园区三号机房也撞过一回，当时换的是驱动，其实是固件里一个flag没打。

　　优胜劣汰这词现在听得起鸡皮疙瘩。真淘汰？你看看去年二月份采购单上写的“双路Xeon Gold 6348R + 4×A100-80G SXM4 + 2TB Optane PMem”——PMem最后落进库房当镇纸用了，因为PyTorch DataLoader根本不敢开memory mapping，一开就OOM，还是那种不报错、只偷偷把batch全喂进page cache然后让内核OOM killer挑着杀进程的OOM。后端小张昨天还在工位啃包子，一边啃一边念叨：“你们训模型的光顾着卡显存，我们接推理API的连TCP重传都得手动调窗口大小。”他换了一双拖鞋，左脚那只后跟磨秃了，走路时吱呀一声。咖啡洒在工牌上，干了以后像块褐色胎记，擦不掉。

　　别信什么“算力密度”。我拆过三台不同厂商的所谓高密度机——散热器底座螺丝拧紧顺序写在手册第17页附录C里，但没人告诉你第3颗和第5颗必须交替预紧到1.8N·m再同步加到3.2，否则铜基板微翘0.02mm，GPU核心温度飘2℃，训练loss曲线就多了八处非周期性抖动。我试过，手稳的人用扭矩螺丝刀都难控。而另一台机器散热片焊锡虚贴，出厂时热成像看不出来，跑三天满载才开始漏热，漏的位置正好在PCIe插槽金手指下方——不是GPU过热，是switch芯片供电电容鼓包。这个我说不准，反正修它花了四天，中间换过两轮备件，第二轮送来的板子型号后缀多了一个L，厂家说是“revision L，thermal improved”，可测温反而高1.3℃。老板拍桌子那天，我正往散热膏管里灌氮化硼悬浮液，他说“你们硬件组就是太保守”，我没抬头，但把挤胶的拇指多按了半秒。

　　还有那个“智能网卡卸载”——宣传册写“RDMA over Converged Ethernet v2 with SR-IOV and GPUDirect RDMA enabled by default”。默认？默认是开着的，但默认加载的mlx5_core驱动版本压根不认A100的NVLink拓扑，得先down掉所有nv_peer_mem模块，再rmmod mlx5_core，再modprobe -v mlx5_core disable_mpt=1 enable_64b_cqe_eqe=1，再等二十秒，等dmesg刷出“MLX5: EQE/CQE size set to 64B”，才能插GPU卡。插早一秒，整机重启；插晚三秒，nvlink状态永远stay at INIT。这事我敢打包票，2023年Q4我们交付给金融客户的七套集群，六套都因这一步跳过验收测试。剩下那一套能过，是因为运维小李值班时顺手把告警屏蔽了三天，后来他调去深圳支援边缘项目，调休申请又被驳回两次。

　　对了，上周五我路过IDC二楼清洁间，看见清洁阿姨在擦玻璃，她手里的抹布角上沾着一小团灰白色的纤维——像是某种绝缘胶带老化后的碎屑，卷在指缝里。我盯着看了五秒，没说话。后来发现那灰白纤维，和我们第一次量产部署那批A100的PCB背面保护膜残胶颜色一模一样。这种事没法写进选型报告，但你要是真干过十九年，你闭眼就能闻出来：旧机房风道里混着的铁锈味、新机柜刚开封时那种略带甜腥的环氧树脂味、还有凌晨三点值班室泡面桶堆里散发出来的，微微发酸的油脂挥发气——三种味道混在一起，就是你该换服务器了的气味。

文章配图，仅供参考

　　所以现在我的做法是：让采购先寄三台样机，不装系统，只插电、开盖、拍照、测各点阻抗、看焊点反光角度、闻散热硅脂出厂味。合格的，才允许进机房。不合格的？退回时备注写“散热路径光学一致性未达标”，他们比我们还怕这句话。其它事，等GPU跑起来再说。我刚订了盒新拖鞋，准备下周换。左边那只，得挑后跟硬一点的。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!