苏州 [切换城市]

苏州站

国内高防服务器 安全稳定 不限制内容服务器

更新时间:2020/7/10 11:49:55信息编号:2056-1118841
所属分类:
商务服务 网站建设推广 
所在区域:
苏州 园区
详细地址:
福建福州
联 系 人:
145119449
电  话:
18559161223
联系QQ:
联系QQ 1451169449
收录查询: 百度 搜狗 360   分享更易传播
小生活网提醒您:1、在办理服务前请确认对方资质, 夸大的宣传和承诺不要轻信!2.任何要求预付定金、汇款至个人银行账户等方式均存在风险,谨防上当受骗!
详细介绍

独立经营福州,福州,福州,电信高防机房

高防服务器咨询QQ:1451169449   TEL:18559161223


服务器“异常”的几个可能性预警请重视!

提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知x_b_a_i_x_i_n_g_c_o_m。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。

想要获知服务器宕机怎么办?可以通过服务器宕机实时检测:

1)发现宕机

2)提前告警。

3)告知宕机的详细原因,如硬件故障,内核bug,网络异常等等。

4)自动报修生成工单。

我们知道,进行全网物理机宕机准确探测与实时发现,可以给宕机分析提供第一现场,获取第一现场的日志。也可以尽早将宕机数据推送给业务或运营感知并处理,如自动报修,业务迁移等,从而尽可能将业务影响降到最低。

更重要的是,准确的宕机发现数据可以为宕机预测提供准确的标注数据,为后期宕机预测提供数据基础,并且这些数据提供给运营部门进行整体分析,提升处理效率小_百_姓_网

那么,如何可以准确发现宕机,减少误报呢?我们可以有以下操作,比如:

心跳源检测异常

顾名思义,通过心跳源,初步发现异常。通常心跳变化会有三类消息,update消息,delete消息和insert消息。心跳逻辑在于,正常情况下SA服务端与NC建立长连接,每数秒缓存一次心跳,每几分钟打包上报一次,但当NC异常时,长连接感知后,立即上报异常,并修改路由表。所以心跳异常做到秒级感知。

update消息,在有心跳发生变化情况下都会有,心跳异常和心跳恢复正常时都会发起,是主要的心跳来源。

delete消息,在心跳异常,并且SA判断ping不通,且ssh不通情况下发起,删除该条消息,避免延迟太长。

insert消息,在新增加机器, 或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用MUT

心跳源检测任务逻辑,主要是监听并缓存uptime消息,同时避免时间窗内多次消息冲突,导致信息被覆盖。

异常排除

排除非物理机器,将系统中暂时不关注的VM等产生的异常信息排除掉。

排除非业务状态的机器,如装机状态中的,包括生产中,维修中,迁移中,重装中,销毁中,重启中,无管控状态,只监控正常状态的机器。

排除非正在工作的机器,如非working状态机器。

网络干扰排除

宕机分析中,较多误报是由于网络问题干扰,无法准确判断出物理机是否宕机,有可能是网络问题。

排除上联网络设备异常导致的误报,包括机房断网演练,小面积网络故障,上联网络故障,如通过探测丢包情况,使用一些逻辑初步判断网络问题。

服务器本身未丢包的误报,除了需要过滤出网络问题,还要通过丢包数据分析,过滤掉SA误报问题, SA异常会上报心跳异常,被误理解为宕机来自www.xbaixing.com

 icmp及tcp丢包分析,icmp采集频率为固定数秒,tcp采集频率固定数秒,包括多个不同大小包(16,32,64,128,256等)的丢包情况,根据分析时间窗内两项数据的丢包情况

特殊情况干扰排除

个别机房有时候会出现大面积风暴式的无故心跳异常,同时网络ping包异常,但上联网络设备ping包正常,这种误报,一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率,排除干扰。

进一步识别误报

至此,大部分干扰已经过滤掉,但仍有一部分误报隐藏其中。比如心跳异常,ping异常,都合乎宕机判断的逻辑,会导致误判成宕机,如导致网卡被打爆,或者重试率高,这种是业务原因导致网络异常,但业务认为不是异常,需要排除掉。再例如服务器并没有挂掉,但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查。

宕机时间点探测uptime确定是否发生重启原文www.xbaixing.com

进一步通过分析日志是否连续,判断是否发生重启。

日志重启特征值匹配,确认是否发生重启。

如果还不能确定,使用uptime的时间窗技术进行重启。

仍不能确定的待处理,进入长尾处理名单。

长尾再次处理

未确认的待处理的,会加入到长尾列表中,像这种分钟级的心跳异常,ping异常,但串口日志一直正常输出的情况,一般就是某种死机,死到连网络都不通的场景。会观察一段时间,一个固定时间窗内仍未恢复或重启的话,就暂时报宕机。后期会把这种死机单独找划分归类POEX


温馨提示:国内高防服务器 安全稳定 不限制内容服务器 ”由用户自行发布,信息内容的真实性、准确性和合法性由发布人负责。虽然部分网友认证了账号,但是并不代表没有风险。小生活网不提供任何保证不参与交易,亦不承担任何法律责任。
苏州网站建设推广全部地区
园区网站建设推广新区网站建设推广平江网站建设推广沧浪网站建设推广金阊网站建设推广相城网站建设推广吴中网站建设推广昆山网站建设推广太仓网站建设推广常熟网站建设推广张家港网站建设推广吴江网站建设推广
苏州网站建设推广热门城市
北京网站建设推广上海网站建设推广深圳网站建设推广广州网站建设推广成都网站建设推广天津网站建设推广苏州网站建设推广杭州网站建设推广武汉网站建设推广郑州网站建设推广南京网站建设推广济南网站建设推广青岛网站建设推广重庆网站建设推广西安网站建设推广宁波网站建设推广石家庄网站建设推广沈阳网站建设推广厦门网站建设推广长沙网站建设推广
苏州网站建设推广周边城市
南京网站建设推广苏州网站建设推广无锡网站建设推广徐州网站建设推广常州网站建设推广南通网站建设推广连云港网站建设推广淮安网站建设推广盐城网站建设推广扬州网站建设推广镇江网站建设推广泰州网站建设推广宿迁网站建设推广常熟网站建设推广
苏州网站建设推广周边服务
苏州签证苏州咨询苏州快递苏州法律咨询苏州贷款担保苏州办公设备维修苏州会计审计苏州设计策划苏州建材苏州翻译服务苏州喷绘招牌苏州保险苏州租赁苏州产品供应加工苏州印刷包装苏州投资理财苏州工商注册苏州代理记账苏州注册公司苏州礼品苏州网络维护/布线苏州其他商务服务苏州网站建设推广苏州商标专利苏州展览展会苏州起名风水苏州物流苏州抵押贷款苏州小额贷款苏州网上贷款苏州信用贷款苏州无抵押贷款
全国网站建设推广最新信息
网络新闻发布、主流新闻媒体发稿、河南电视台网络新闻报道常熟市专业通下水道马桶山东华为交换机产品报价山东华为零售网络解决方案山东华为交换机评测山东华为交换机星级认证代理SmartLi智能锂电解决方案 网站建设、小程序开发、APP开发、办公系统开发、定制开发-源码交付 宝鸡app软件开发 小程序软件开发APP小程序开发H5游戏网站开发微商城