月度归档:2015年11月

使用Nagios监控Redis

近期新上项目之后出现了后台服务的一些诡异的问题,追查之后发现居然有个Redis的实例把分配的几十G内存给用满了……

终于意识到之前“土法炼钢”的不科学的地方,惭愧之余迅速的想要给Redis加上基本的监控。

最初的想法是直接自己写脚本轮询各个实例的info信息,然后自行parse,当前运行Redis的实例不多,感觉工作量并不大,然而这时候想起组内之前的监控是在用Nagios,觉得为什么不让更专业的软件来完成这项工作呢?于是决定通过Nagios来完成监控。

以下会使用/nip指代Nagios的安装路径,以实际安装路径为准。

Nagios配置

Nagios分为Server和Client,通过各个插件完成对Client的监控,并且在Server中收集展现。

既然运用了Nagios,自然就要按照它的设计思路来进行使用,其实也就是使用合适的插件,同时也不想再造轮子,Google之后确定使用这一项目中的check_redis.pl插件(然而这一文件自2013年7月之后没有过更新了……),这一插件从功能上基本上满足了我对使用内存连接数key个数特定队列长度的监控需求。

这一插件基本上是帮助完成了从redis-cli -h host -p port infoNagios的收集展现过程,所以本身只要在Server上安装即可。

安装插件

安装插件本身并不复杂,只需要download & copy即可,即copy到/nip/libexec目录,并chmod +x赋予可执行权限即可。

然而,真正头疼的是这个插件的依赖安装,由于在服务器上初始化cpan的工作始终无法完成,无奈之下只好通过手工安装依赖。

这一插件的依赖分别是:

  • ExtUtils-MakeMaker
  • IO-Socket-Timeout
  • Try-Tiny
  • Redis

可以在cpan的网站上搜索下载tar.gz文件,解压后基本都通过:

这一过程完成依赖的安装过程。

配置Nagios

想要让监控正常的run起来,配置也是很关键的一个因素,个人认为,配置主要针对监控对象以及监控动作。

监控对象

对于监控对象来说,其实就是标明哪台Server上有着对应的服务,同时还可以对他们进行分组。

监控对象的声明,可以在/nip/etc/conf/hosts.cfg中的对应Server配置中增加一个别名,如:

声明的别名会在报警邮件中得以展现。

同时,需要在/nip/etc/conf/hostgroups.cfg中,为这一批机器分组,以便对一组实例完成监控。

监控动作

对Redis监控,首先要保证Redis实例可访问,不过这一点不用特别配置Nagios,我们需要做的只是针对我们关心数值,进行声明以及配置报警阈值即可。

首先需要在/nip/objects/commands.cfg中配置一个检查指令:

以上参数的含义可以通过/nip/libexec/check_redis.pl --help查看详情:

上述command的含义为针对主机$HOSTADDRESS$的指定端口$ARG1$,检查参数为$ARG2$(可以对照redis-cli info),在$ARG3$设定WARNING级别告警的数值,在$ARG4$设定CRITICAL级别告警的数值,同时生成数据(-f)。

在配置完监控指令之后,还需要针对之前的已经声明的主机组配置使用监控指令进行监控,在/nip/etc/conf/services.cfg增加一项配置:

此处根据个人的实际业务情况,当使用的内存超过28G(30064771072 = 40 * 0.7 * 1024 * 1024 * 1024,以下类比)或者key个数超过30w个时会发出WARNING信息,而在当使用36G内存或者key个数超过40w个时,发出CRITICAL警报。

Nagioscheck_command在参数前使用!,之后的数值针对每一个监控属性,~表示不关注,而对应位置的数值则标称各自的报警阈值。

最后

修改了配置之后,Nagios需要重启才能开始执行监控,那么为了防止因为修改配置而出错,需要通过Nagios先行检测配置文件的正确性:

Nagios的报错信息非常详细,基本可以直接定位到出错的行数。

检查正确之后自然就是重启,等待数据的到来。