OpenFalcon是由小米的运维团队开源一款企业级、高可用、可扩展的开源监控解决方案,,在众多开源爱好者的支持下,功能越来越丰富,文档更加的完善,OpenFalcon 已经成为国内最流行的监控系统之一。小米、美团、金山云、快网、宜信、七牛、又拍云、赶集、滴滴、金山办公、爱奇艺、一点资讯、快牙、开心网、借贷宝、百度、迅雷等公司使用,如果关注招聘网站的话会发现非常多的岗位要求熟悉openfalcon,这也意味着OpenFalcon的使用非常广泛。还是非常值得花费一些精力去研究一下Openfalcon的架构以及使用等知识。

官网:http://www.open-falcon.org/

GitHub 地址:https://github.com/open-falcon

文档地址:https://book.open-falcon.org/zh_0_2/

API文档:http://open-falcon.org/falcon-plus/

Openfalcon是采取了前后端分离的架构,后端用Go语言开发,前端用Python开发。编译后的后端程序运行时,不再需要Go语言环境,直接将可执行文件拷贝到某台机器上面运行就可以了,而前端是需要python环境。当机器数量比较大的时候,一般会预先将Agent安装到机器上(物理机标准化装机时安装,虚拟机可以封装到镜像中,私有云或者公有云都支持主要都是网络问题)。当Agent运行时就会上报数据。

Openfalcon架构:

image.png

整个后端采用模块化设计,包含agent、aggregator、alarm、api、gateway、graph、hbs、judge、nodata、transfer等模块。接下来再介绍一下每个模块的功能和特点。

(1) agent: 用于采集机器负载监控指标,比如cpu.idle、load.1min、disk.io.util等等,每隔60秒push给Transfer。agent与Transfer建立了长连接,数据发送速度比较快,agent提供了一个http接口/v1/push用于接收用户手工push的一些数据,然后通过长连接迅速转发给Transfer。agent是需要部署到所有要被监控的机器上,比如公司有10万台机器,那就要部署10万个agent。agent本身资源消耗很少,不用担心。小米开源的Agent只包含Linux,汽车之家等公司相继开源了Windows的Agent。

   被监控机Agent提供一个默认监听的1988端口的HTTP服务,提供了一个UI设计不错的Web界面,在该页面上能够展示内核、运行时间、主机名、负载情况、内存使用,磁盘使用等基础监控数据。此外还提供了一些接口,通过这些接口获取一些基础监控数据。

image.png

(2)aggregator 集群聚合模块。聚合某集群下的所有机器的某个指标的值,提供一种集群视角的监控体验。这种视角下能更好的体现整个集群的某个监控指标,但是该模块目前不是非常完善,我们在生产环境中没并没有使用该模块。

(3)alarm 是处理报警event的,judge产生的报警event写入redis,alarm从redis读取处理,报警event的处理逻辑并非仅仅是发邮件、发短信这么简单。为了能够自动化对event做处理,alarm需要支持在产生event的时候回调用户提供的接口;有的时候报警短信、邮件太多,对于优先级比较低的报警,希望做报警合并,这些逻辑都是在alarm中做的。

  在配置报警策略的时候配置了报警级别,比如P0/P1/P2等等,每个及别的报警都会对应不同的redis队列 alarm去读取这个数据的时候希望先读取P0的数据,再读取P1的数据,最后读取P5的数据,因为希望先处理优先级高的。于是:用了redis的brpop指令。

 注意事项:alarm是个单点。对于未恢复的告警是放到alarm的内存中的,alarm还需要做报警合并,故而alarm只能部署一个实例。后期需要想办法改进。

报警合并:如果某个核心服务挂了,可能会造成大面积报警,为了减少报警短信数量,我们做了报警合并功能。把报警信息写入links模块,然后links返回一个url地址给alarm,alarm将这个url链接发给用户,这样用户只要收到一条短信(里边是个url地址),点击url进去就是多条报警内容。

highQueues中配置的几个event队列中的事件是不会做报警合并的,因为那些是高优先级的报警,报警合并只是针对lowQueues中的事件。如果所有的事件都不想做报警合并,就把所有的event队列都配置到highQueues中即可

(4)api组件,提供统一的restAPI操作接口。比如:api组件接收查询请求,根据一致性哈希算法去相应的graph实例查询不同metric的数据,然后汇总拿到的数据,最后统一返回给用户。具体的可以参考http://api.open-falcon.org 的接口文档,注意有模板用户、管理等接口,支持post、get等方法。

(5)gateway 模块主要是为了解决机房分区,试用与异地多活、混合云、多云环境的解决方案。Falcon多数据中心时,提供数据路由功能。多IDC时,可能面对 "分区到中心的专线网络质量较差&公网ACL不通" 等问题。这时,可以在分区内部署一套数据路由服务,接收本分区内的所有流量(包括所有的agent流量),然后通过公网(开通ACL),将数据push给中心的Transfer。如下图, 

image.png

   从client端的角度来看,gateway和transfer提供了完全一致的功能和接口。只有遇到网络分区的情况时,才有必要使用gateway组件。服务启动后,可以通过日志查看服务的运行状态,日志文件地址为./var/app.log。可以通过调试脚本./test/debug查看服务器的内部状态数据,如 运行 bash ./test/debug 可以得到服务器内部状态的统计信息。

gateway组件,部署于分区中。单个gateway实例的转发能力,为 {1核, 500MB内存, Qps不小于1W/s};官方建议,一个分区至少部署两个gateway实例,来实现高可用。在我们内部新加坡、雅加达、华盛顿、深圳、广州、北京等公有云区域。每个区域部署一个gateway(2C4G),然后分别通过跨区域带宽将数据回传到我们上海、杭州IDC内。

(6)graph 是存储绘图数据、历史数据的组件。graph组件 接收transfer组件推送上来的监控数据,同时处理query组件的查询请求、返回绘图数据。

(7)hbs(Heartbeat Server) 心跳服务器,公司所有agent都会连到HBS,每分钟发一次心跳请求。

  Portal的数据库中有一个host表,维护了公司所有机器的信息,比如hostname、ip等等。这个表中的数据通常是从公司CMDB中同步过来的。但是有些规模小一些的公司是没有CMDB的,那此时就需要手工往host表中录入数据,这很麻烦。于是我们赋予了HBS第一个功能:agent发送心跳信息给HBS的时候,会把hostname、ip、agent version、plugin version等信息告诉HBS,HBS负责更新host表。

    falcon-agent有一个很大的特点,就是自发现,不用配置它应该采集什么数据,就自动去采集了。比如cpu、内存、磁盘、网卡流量等等都会自动采集。我们除了要采集这些基础信息之外,还需要做端口存活监控和进程数监控。那我们是否也要自动采集监听的端口和各个进程数目呢?我们没有这么做,因为这个数据量比较大,汇报上去之后用户大部分都是不关心的,太浪费。于是我们换了一个方式,只采集用户配置的。比如用户配置了对某个机器80端口的监控,我们才会去采集这个机器80端口的存活性。那agent如何知道自己应该采集哪些端口和进程呢?向HBS要,HBS去读取Portal的数据库,返回给agent。

之后我们会介绍一个用于判断报警的组件:Judge,Judge需要获取所有的报警策略,让Judge去读取Portal的DB么?不太好。因为Judge的实例数目比较多,如果公司有几十万机器,Judge实例数目可能会是几百个,几百个Judge实例去访问Portal数据库,也是一个比较大的压力。既然HBS无论如何都要访问Portal的数据库了,那就让HBS去获取所有的报警策略缓存在内存里,然后Judge去向HBS请求。这样一来,对Portal DB的压力就会大大减小

hbs是可以水平扩展的,至少部署两个实例以保证可用性。一般一个实例可以搞定5000台机器,所以说,如果公司有10万台机器,可以部署20个hbs实例,前面架设lvs,agent中就配置上lvs vip即可。

(8)judge Judge用于告警判断,agent将数据push给Transfer,Transfer不但会转发给Graph组件来绘图,还会转发给Judge用于判断是否触发告警。

   因为监控系统数据量比较大,一台机器显然是搞不定的,所以必须要有个数据分片方案。Transfer通过一致性哈希来分片,每个Judge就只需要处理一小部分数据就可以了。所以判断告警的功能不能放在直接的数据接收端:Transfer,而应该放到Transfer后面的组件里。

Judge监听了一个http端口,提供了一个http接口:/count,访问之,可以得悉当前Judge实例处理了多少数据量。推荐的做法是一个Judge实例处理50万~100万数据,用个5G~10G内存,如果所用物理机内存比较大,比如有128G,可以在一个物理机上部署多个Judge实例。

(9)nodata  用于检测监控数据的上报异常。nodata和实时报警judge模块协同工作,过程为: 配置了nodata的采集项超时未上报数据,nodata生成一条默认的模拟数据;用户配置相应的报警策略,收到mock数据就产生报警。采集项上报异常检测,作为judge模块的一个必要补充,能够使judge的实时报警功能更加可靠、完善。

    此功能还是可能会出现较多的误报现象,例如网络异常,导致数据无法上传,这时候就会检测到数据异常。 

(10)transfer transfer是数据转发服务。它接收agent上报的数据,然后按照哈希规则进行数据分片、并将分片后的数据分别push给graph&judge等组件。

以上内容是falcon后端程序中比较核心的模块,同时也可以根据自己的需求去定制一些模块。