服务器之家:专注于服务器技术及软件下载分享
分类导航

服务器资讯|IT/互联网|云计算|区块链|软件资讯|操作系统|手机数码|百科知识|免费资源|头条新闻|

服务器“异常”的几个可能性预警请重视!

2019-07-13 10:35AlibabaInfrastructure 服务器资讯

提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。

提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。

想要获知服务器宕机怎么办?可以通过服务器宕机实时检测:

1)发现宕机。

2)提前告警。

3)告知宕机的详细原因,如硬件故障,内核bug,网络异常等等。

4)自动报修生成工单。

我们知道,进行全网物理机宕机准确探测与实时发现,可以给宕机分析提供第一现场,获取第一现场的日志。也可以尽早将宕机数据推送给业务或运营感知并处理,如自动报修,业务迁移等,从而尽可能将业务影响降到最低。

更重要的是,准确的宕机发现数据可以为宕机预测提供准确的标注数据,为后期宕机预测提供数据基础,并且这些数据提供给运营部门进行整体分析,提升处理效率。

服务器“异常”的几个可能性预警请重视!

那么,如何可以准确发现宕机,减少误报呢?我们可以有以下操作,比如:

心跳源检测异常

顾名思义,通过心跳源,初步发现异常。通常心跳变化会有三类消息,update消息,delete消息和insert消息。心跳逻辑在于,正常情况下SA服务端与NC建立长连接,每数秒缓存一次心跳,每几分钟打包上报一次,但当NC异常时,长连接感知后,立即上报异常,并修改路由表。所以心跳异常做到秒级感知。

update消息,在有心跳发生变化情况下都会有,心跳异常和心跳恢复正常时都会发起,是主要的心跳来源。

delete消息,在心跳异常,并且SA判断ping不通,且ssh不通情况下发起,删除该条消息,避免延迟太长。

insert消息,在新增加机器, 或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用。

心跳源检测任务逻辑,主要是监听并缓存uptime消息,同时避免时间窗内多次消息冲突,导致信息被覆盖。

异常排除

排除非物理机器,将系统中暂时不关注的VM等产生的异常信息排除掉。

排除非业务状态的机器,如装机状态中的,包括生产中,维修中,迁移中,重装中,销毁中,重启中,无管控状态,只监控正常状态的机器。

排除非正在工作的机器,如非working状态机器。

网络干扰排除

宕机分析中,较多误报是由于网络问题干扰,无法准确判断出物理机是否宕机,有可能是网络问题。

排除上联网络设备异常导致的误报,包括机房断网演练,小面积网络故障,上联网络故障,如通过探测丢包情况,使用一些逻辑初步判断网络问题。

服务器本身未丢包的误报,除了需要过滤出网络问题,还要通过丢包数据分析,过滤掉SA误报问题, SA异常会上报心跳异常,被误理解为宕机。

icmp及tcp丢包分析,icmp采集频率为固定数秒,tcp采集频率固定数秒,包括多个不同大小包(16,32,64,128,256等)的丢包情况,根据分析时间窗内两项数据的丢包情况

特殊情况干扰排除

个别机房有时候会出现大面积风暴式的无故心跳异常,同时网络ping包异常,但上联网络设备ping包正常,这种误报,一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率,排除干扰。

进一步识别误报

至此,大部分干扰已经过滤掉,但仍有一部分误报隐藏其中。比如心跳异常,ping异常,都合乎宕机判断的逻辑,会导致误判成宕机,如导致网卡被打爆,或者重试率高,这种是业务原因导致网络异常,但业务认为不是异常,需要排除掉。再例如服务器并没有挂掉,但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况,增加uptime判断以及带外日志分析排查。

宕机时间点探测uptime确定是否发生重启。

进一步通过分析日志是否连续,判断是否发生重启。

日志重启特征值匹配,确认是否发生重启。

如果还不能确定,使用uptime的时间窗技术进行重启。

仍不能确定的待处理,进入长尾处理名单。

长尾再次处理

未确认的待处理的,会加入到长尾列表中,像这种分钟级的心跳异常,ping异常,但串口日志一直正常输出的情况,一般就是某种死机,死到连网络都不通的场景。会观察一段时间,一个固定时间窗内仍未恢复或重启的话,就暂时报宕机。后期会把这种死机单独找划分归类。

讲了这么多,到底效果怎么样?

我们从准确率和覆盖率来看:

准确率:目前发现的宕机中有很高准确度,可以区分出真正宕机或者未宕机。而判断为宕机的数据中,也存在少量的,由于缺少相关信息导致误报,该部分将进一步优化,逐渐降低误报,在新的措施之后,该比例会接近0。

覆盖率:当前统计的覆盖率已经能很好的支撑日常宕机处理,该数据在有足够的特征后,会进一步提升。

目前,宕机感知是宕机分析的基础,通过服务器宕机实时检测,会把相应的宕机原因分布整理出来,明确具体的原因,达成服务器极致可靠性。

延伸 · 阅读

精彩推荐
  • 服务器资讯IDC服务器托管是什么?为什么要托管?

    IDC服务器托管是什么?为什么要托管?

    现在服务器可以说是每个企业都不能离开的一台设备,随着网络的发展, 服务器托管 行业现在也是一个比较热门的行业。但是对于很多刚开始接触服务器的人来说,不太知道 IDC 服务器托管是什么意思?为什么要托管呢? 不可以放在...

    服务器之家2282019-06-26
  • 服务器资讯服务器“异常”的几个可能性预警请重视!

    服务器“异常”的几个可能性预警请重视!

    提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。...

    AlibabaInfrastructure3562019-07-13
  • 服务器资讯如何看待UCloud这朵不和用户竞争的云?

    如何看待UCloud这朵不和用户竞争的云?

    2019年5月28日,是一个天蓝云白的日子,UCloud选择在这一天举行用户大会,正式宣布进军产业互联网战略。要知道,在中国云计算市场,大大小小的云已超过上百家,UCloud如何走出差异化特色? 一朵不和用户竞争的云,这可能是UCl...

    IT1684172019-06-01
  • 服务器资讯华为拟在新加坡设云计算与智能创新实验室

    华为拟在新加坡设云计算与智能创新实验室

    华为 集团日前在新加坡举行的2019年华为云新加坡峰会上宣布,将在新加坡设立 云计算 与人工智能创新实验室,并表示未来几年将在新加坡和亚太市场投资数亿元人民币资金,以拓展业务。 华为集团拟以该云计算与人工智能创新...

    经济日报1892019-05-22
  • 服务器资讯易捷行云EasyStack发布可进化的新一代私有云ECS

    易捷行云EasyStack发布可进化的新一代私有云ECS

    2019年5月24日,开源云计算企业易捷行云EasyStack发布新一代私有云ECS。它是按照新一代私有云理念和特性交付的云平台,是EasyStack研发人员历时18个月的研发结晶,同时开启了ECS Stack超融合、EC...

    IT1683312019-05-30
  • 服务器资讯阿里巴巴2019年报:营收增长51%,云计算亮眼,优酷继续烧钱

    阿里巴巴2019年报:营收增长51%,云计算亮眼,优酷继续烧钱

    雷锋网消息,5 月 15 日,阿里巴巴发布了截止 2019 年 3 月 31 日的 2019 财年第四季度财报,以及 2019 财年的全年业绩。 数据显示: 2019 年财年,阿里巴巴集团收入达 3768.44 亿元,同比增长 51%; 2019 年 Q4,阿里巴巴收入到达 934.98 亿,...

    雷锋网1712019-05-16
  • 服务器资讯服务器是干什么用的?服务器的作用是什么?

    服务器是干什么用的?服务器的作用是什么?

    对于很多刚接触IDC和服务器的企业和网民而言,面对服务器是干什么用的?这样的问题会显得无从作答。其实服务器也没有大家想象的那么复杂,一个数据中心足以让其正常的运作。下面亿恩科技就给大家讲解一下 服务器到底是干...

    亿恩科技3402019-06-22
  • 服务器资讯易到用车服务器遭到连续攻击,攻击者索要巨额比特币

    易到用车服务器遭到连续攻击,攻击者索要巨额比特币

    新浪财经讯5月26日消息,据易到用车官微消息,2019年5月26日凌晨,易到用车服务器遭到连续攻击,因此给用户使用带来严重的影响。 据悉,攻击者索要巨额的比特币相要挟,攻击导致易到核心数据被加密,服务器宕机。我们的相...

    新浪科技1402019-05-26