运维老炮儿绝口不提的服务器调优潜规则
|
我越来越觉得“运维老炮儿绝口不提的服务器调优潜规则”是错的——他们不是绝口不提,是提了三次,每次我都当耳旁风,直到去年五月那台被我亲手干废的 gateway-07。 那天凌晨三点十七分,我蹲在机房里嚼着半块冷掉的葱油饼,盯着 Prometheus 里那条抖成心电图的 5xx 错误率曲线。监控面板右下角还挂着一行小字:CPU idle 92%。我当场冷笑一声,把嘴里的葱渣啐进纸杯,转头对隔壁运维老周说:“看,又一个‘CPU 还有空闲,肯定是代码写得烂’的典型。” 老周正蹲着拧机柜后侧第二排第三个风扇螺丝,手没停,头也没抬:“你上回也是这么说的,结果呢?”他手边搪瓷缸里浮着两片没化开的茶叶梗,缸沿豁了个小缺口,三年前我撞的。 我原以为只要把 nginx worker_processes 调成 auto、把 keepalive_timeout 放宽到 75 秒、再顺手给 upstream 加个 least_conn,就能把那批上游 Java 服务吐出来的超时抖动吃干净。结果上线两小时,下游三个业务方轮番打进电话,最后一个是个穿灰卫衣的后端,声音像砂纸擦玻璃:“你们网关是不是把我们健康检查探针当 DDOS 了?一分钟打三百次,连重试都带 backoff,我们 service mesh 控制面都报警了。” 我翻日志时发现 access_log 里全是 499 —— 客户端主动断开。不是超时,是压根没等完响应就跑了。tcpdump 抓包一看,SYN 包发出去三秒才回 ACK,但中间那台千兆交换机的 port-channel 负载根本没过线。我硬是盯着那个 delay_ack 启用状态盯了四十分钟,直到老周从机柜顶上扯下一根缠了胶带的网线,甩我脸上:“查 kernel backlog?你 backlog 队列塞满的时候,netstat -s 显示的是 ‘listen overflows’ 还是 ‘syncookies sent’?” 我没答上来。那会儿我连 /proc/sys/net/core/somaxconn 和 /proc/sys/net/core/netdev_max_backlog 的区别都靠背诵维基词条记着。我甚至没注意到那台机器的 ethtool 输出里有个 Tx queue length 是 1000,而实际 NIC driver(igb)硬队列只有 8 个,跑的是 IRQ balance,但 IRQ0 已经绑死在 CPU0 上,其余七个中断号全飘在 cpu1–cpu7 的不同核上。这事儿和调优没关系——可就是它让 SYN 接收路径慢了 36ms。
文章配图,仅供参考 后来我们翻出一台三个月前退役的测试机,装了同一版本内核,只改了一行:net.core.somaxconn=8192。没动别的。重启 nginx,再压测。499 消了 97%。老周说“你看,不是参数本身有用,是它碰巧绕开了 driver 的某个队列裁剪逻辑”。我不信,又换回去,改 net.core.netdev_max_backlog=5000,499 又回来。再切回来,没了。反复三次,第四次我手动删了 /lib/modules/$(uname -r)/kernel/drivers/net/ethernet/intel/igb/igb.ko,重新 modprobe —— 499 消了,但系统启动多花了四秒十六毫秒,dmesg 里冒出来八行 warning,其中第三行写着“igb: ring size too large for this adapter”。去年六月我把这事儿讲给阿里云的王工听,他在杭州远程会议室里摘下眼镜擦了三次镜片,然后说:“我们内部确实有文档写了这条,第 3.2.7 条,但底下加粗备注了‘仅限 igb 驱动 + 内核 4.19.91+ + BIOS version A18.20+,缺一不可’。你们用的 BIOS 是 A17.13。” 我查了下生产环境固件版本列表,十七个站,六个还没升。老张去年十一月在河北廊坊升级失败,主板直接变砖,赔了厂商两千七百块现金——这事他从来没在 Slack 里提过,只在我问起时甩过来一张照片:主板上贴着的纸质维修单,编号 ZL-04321,日期是 11 月 3 日,右下角印着一行铅笔字:“别升。” 所谓“潜规则”,其实就是优胜劣汰筛下来的幸存者偏差。老炮儿不提,并不是怕你知道;是怕你知道了之后,在另一台用 r8169 驱动的机器上也照猫画虎,把 synflood 防御给干成 synflood 发射器。他们提过——只是你说你懂,他们就不说了。真说了,你也听不进去,因为你正忙着改 jvm 参数,因为上游说“你们吞得太慢”。 上周我去深圳腾讯总部做一次小范围分享,PPT 第一页写着:“TCP 调优失效的第一现场,永远在 NIC driver 层之下”。台下三十个人里有二十二个当场低头刷手机。剩下八个里,三个在偷偷截屏第一页,四个在记笔记,还有一个——是当年给我修过 gateway-07 硬盘阵列的兄弟,现在在鹅厂做 SRE。散会后他往我手里塞了瓶冰镇红牛,铝罐上全是水珠:“别信文档,信 dmesg。”他说完就走,背后背包带子断了一根,用黑胶布缠着,缠了三圈。 这事我也可能就运气好。比如那天老周正好在拧那颗螺丝;比如王工刚好在群里回我;比如我那天没把那块主板 BIOS 升上去——那台机器今天还在跑,load average 常年 0.12,看起来很美。但没人敢动它,就像没人敢去摸那个贴在 UPS 上的黄色标签:上面印着“禁止开关机,含铅电池寿命剩余 13 个月”,字是手写的,墨迹有点晕开,落款日期是 2021 年 8 月。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


小团队服务器调优的5个反直觉决策
主机运维视角:三难破局的科技增效路径
DBA熬夜改表?这本MySQL实战手册让设计运维一步到位
服务器安全审计:90%漏洞隐身日志盲区
服务器安全审计:90%风险藏在日志盲区
服务器调优选型避坑指南:18年云成本工程师总结的5大隐性陷阱
创业初期服务器架构5大关键跃迁坑

