服务器调优避坑指南：20年踩过的5大隐性陷阱

　　上个月十七号，凌晨两点零七分，老周在监控台前啃最后一口凉掉的韭菜盒子，饼皮碎渣掉进KVM键盘缝隙里——我伸手抠了三回没抠出来，就由它去了。他盯着那个刚升完级的Redis集群延迟毛刺，手在键盘上悬着，没敲下去。我说别调了，他不信。现在他信了。

　　不是说参数不能动，是动之前你得知道谁在替你扛后果。三个月前那波，我们把net.ipv4.tcp_tw_reuse设成1，就为了抗住秒杀流量——结果压测时一切漂亮，上线第三天下午四点十七分，某省所有联通出口到我们主站的长连接开始批量reset。没人报错，日志里全是ESTABLISHED→CLOSE_WAIT→TIME_WAIT的鬼打墙。运维小陈蹲机柜后面拿手机热点连跳板机查conntrack表，发现tw_buckets全满了，但cat /proc/sys/net/ipv4/tcp_max_tw_buckets显示的是六万五，实际生效的却是三万二。他问我为什么。我说这得问内核版本和CONFIG_NF_CONNTRACK_ENABLED有没有在编译时被裁掉……他翻了两分钟文档，转身去泡面，泡面没喝完就接到用户投诉电话：下单按钮点了八次，第七次跳转到404，第八次弹出“订单已创建”，但支付页收不到回调。他挂了电话，把泡面碗推到左边，碗沿沾着半粒葱花，没擦。

　　我原以为是网络层抖动，结果抓包看到SYN重传间隔从一秒跳到三十二秒——这个我敢打包票，tcp_syn_retries=6没错，但云厂商在宿主机打了补丁，把它锁死在4，而文档里写的是“默认兼容上游”。他们不告诉你这事，只在工单回复末尾带一句“建议使用最新版VPC驱动”。我们装了。装完第二天，磁盘I/O延迟从一百一十微秒跳到三百七十二微秒。不是IO调度器问题，是NVMe驱动跟新内核里的blk-mq队列深度计算逻辑打架。这事我说不准——我让老周去翻了四百一十六行dmesg，里头混着三行warn，全在说“queue_depth adjusted for latency fairness”，可公平在哪？谁测的？没写。

　　还有一次，去年双十一前夜，DBA老李非要把pg_stat_statements.track=all打开。我说够了，track=top就够了。他笑：“你怕啥，内存才占不到三百兆。”我随他去了。结果凌晨一点零三分，PostgreSQL进程RSS涨到十九个G，不是缓存，是pg_stat_statements自己堆出来的哈希桶，因为有个SQL模板里带UUID，每次拼接都算新语句，桶数指数增长。最绝的是他改完配置后顺手清空了pg_stat_statements视图——这操作本身触发了一次全量哈希重建，CPU冲到97%，持续十八秒。机房顶灯当时忽闪了一下，不是跳闸，是隔壁空调外机共振震松了配电柜螺丝，后来电工来拧的时候，手抖洒了点润滑油在UPS面板上，黑渍到现在还在。

文章配图，仅供参考

　　你以为这是配置失误？不是。是每轮调优都在拿生产环境当灰度沙盒，而沙盒根本没沙——只有血肉模糊的业务日志。我们信文档，文档信发行版，发行版信社区补丁，社区信某个博士生凌晨三点提交的commit message，里面写着“fix corner case in timeout calc”，底下没test case。去年Q3，一个Java服务加了-XX:+UseZGC，GC停顿确实压到三十毫秒以下了，可某天早上九点二十分，线程池全部卡死，jstack看全是BLOCKED在Unsafe.park，查到最后是ZGC的并发标记阶段和Spring AOP代理生成冲突，JDK Jira上那个issue编号我记不住，但记得提bug的人ID叫“zgc_newb_2021”，签名档写“已退坑，用Shenandoah了”。我们没退，还在用。

　　对了，前天财务部发邮件问，为什么上季度服务器折旧计提比预算高百分之七？我没回。因为没法回。调优之后跑得快了，但电费单上的峰值功率反而涨了；延迟降了，可硬盘年故障率从千分之三点二升到千分之四点八；P99好了，但P99.99崩了——没人测P99.99，除非你老板的微信付款失败了三次。上周五，小陈把/etc/sysctl.conf里vm.swappiness从10改成1，理由是“SSD不怕swap”。我拦都没拦。改完半小时，系统在半夜自动生成coredump，大小二十一个G，挤爆了根分区。他重启机器时，顺手把/var/log/journal删了两百兆，说“journalctl --vacuum-size=500M太慢”。结果第二天早会，监控平台报警：systemd-journald CPU usage 98%。他盯着屏幕看了七秒，然后端起咖啡杯，杯底磕在桌角，“咔”一声。咖啡溅出来，滴在笔记本键盘上，是左下角Ctrl键的位置。没擦。我就看着它慢慢渗进去。

　　所以你说调优避坑？坑不在参数里，在所有人默认“这次肯定没问题”的那一秒呼吸之间。坑在你关掉告警页面前多眨的那一下眼。坑在老周咽下最后一口韭菜盒子时，喉咙滚了两下，没说话。坑在我们全都忘了——服务器不是乐高，拼错了能拆，它是活体器官，调一刀，没死，只是还没开始坏。

　　现在我改配置前，先去楼下抽根烟。不为思考，就为数楼下车库门自动感应开合的次数。今天数到第七次，烟烧到滤嘴，没掐。再等等。等听见雨声。今早又下雨了，雨刷器声音特别钝，像在刮铁皮。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!