游客发表
凌晨两点十七分,虚惊手机在床头柜上震了一下。事件我摸过来看,记录是虚惊机房监控的告警推送:核心交换机CPU利用率突破95%,持续三分钟。事件瞌睡瞬间没了。记录这台交换机上跑着整个园区的虚惊门禁、监控和办公网,事件它要是记录趴了,明天几百号人得在门口干瞪眼。虚惊
我套上外套就往公司赶,事件路上给值班的记录小周打电话。他声音发飘,虚惊说也刚收到告警,事件远程连上去看了,记录流量图正常,没发现异常会话。我说你别动,等我到了再说。四十分钟后我刷开机房的门,冷气扑面而来,风扇声比平时响得多。小周已经蹲在机柜前,笔记本屏幕上开着SSH会话,手指悬在键盘上没敢敲。
我凑过去看。CPU利用率曲线像心电图一样剧烈抖动,但流量确实平稳。这就怪了。我让他调出进程级监控,发现一个叫“snmpd”的进程吃掉了将近四成的CPU。这个进程平时连1%都不到。小周说会不会是有人扫SNMP端口?我摇头,扫端口不会持续这么久。我让他抓包,过滤UDP 161端口,发现每秒钟有上百个SNMP请求发过来,源IP是园区里的一个接入交换机管理地址。
那个地址我认得,是C栋三楼弱电间里的接入交换机。上个月刚换过一批老设备,这批新机器有个毛病,SNMP轮询间隔默认设得太短,而且会向所有上联设备广播请求。平时流量小看不出来,今晚刚好赶上核心交换机做日志归档,CPU本来就吃紧,再加上这些密集轮询,直接顶到了阈值。说白了,就是个配置参数没调对,赶上了一个时间窗口,闹出这么大动静。
我把那个接入交换机的SNMP轮询间隔从30秒改成300秒,又限了它的广播范围。核心交换机的CPU曲线肉眼可见地往下掉,两分钟后回到12%。小周长出一口气,说吓死了,以为被攻击了。我说攻击哪有这么规矩的,每秒正好一百来个包,连个波动都没有。他嘿嘿笑,说也是。
回去的路上我一直在想,这种虚惊最磨人。真出事反而干脆,拉闸、切流量、换设备,一套流程走完就完了。怕的就是这种,所有指标都报警,但根因藏在一个你根本想不到的角落里。上个月还有一次,存储阵列的延迟突然飙升,查了两个小时,最后发现是保洁阿姨把拖把桶放在了机柜旁边的地板上,水汽渗进了一根光纤跳线的接头。你说这上哪说理去。
第二天我把这事记在了运维日志里,顺手给那批新交换机写了个配置模板,把SNMP参数统一改掉。小周问我要不要发个故障通报,我说不用,没影响业务,通报了反而让业务部门觉得我们一惊一乍。他点点头,说那倒是。我补了一句,但监控阈值得调,CPU连续五分钟超90%再告警,三分钟太敏感了,半夜净折腾人。
这事就这么过去了。机房还是那个机房,风扇还是嗡嗡响。只是后来每次路过C栋三楼,我都会下意识看一眼那个弱电间的门。门关着,里面那台交换机安安静静,像个知道自己闯了祸但已经改了的小孩。
友情链接