NoSQL 是否可以用来做日志中心 ?

咨询区

  • ikrain

请问大家在分布式程序中用 nosql 来做日志中心的经验?我做了一些研究,发现用 Mongodb 做日志中心是一个非常好的选择,而且我发现 log4net 对它也是直接集成的,比如: log4mongo-net

不知道大家可推荐这种方式?或者有其他一些类似的方式吗?

回答区

  • yamen

其实在可扩展程序中用 mongodb 做日志中心不是一个推荐的做法,严格来说日志中心整体解决方案中,它只是解决了存储这个单一case的问题。

一个强大的日志中心需要解决如下几个问题:

  1. 数据采集

  2. 数据转运

  3. 数据清洗

  4. 数据存储

  5. 数据查询

  6. 数据可视化

再回头看看mongodb只解决了第4点,针对这六点,我推荐的相关落地产品为:

  1. Filebeat

它解决了对数据源的采集和转运,如日志文件。

  1. Logstash

它解决了数据清洗,你可以用正则表达式。

  1. ElasticSearch

它解决了数据的存储和查询。

  1. Kibana

它解决了数据的可视化问题

值得一提的是,ElasticSearch 为了记录日志底层就用了当前最流行的nosql方式,这整体就是 Elastic 家族给出的解决方案。

  • Kazuki Ohta

我见过很多公司都用 Mongodb 来记录应用程序的日志,毕竟它的 无模式 真的是太吸引人了,而且 mongodb 还提供了 Capped Collection 特性,它的固定大小模式可以周期性的用新数据替换老数据。

为了能够对日志进行精细化分析,一般大家都会采用 Grouping 和 MapReduce,但它不是很快,尤其是 js 的单线程引擎决定了 MapReduce 只能跑在单线程上,所以这种开销是巨大的。

当用 mongodb 记录日志时,还有一个不可避免的问题就是 锁竞争,毕竟日志场景是海量写,即使 mongodb 是一种 fire-and-forget (发送即丢弃) 的模式,也会造成大量的写锁竞争,从而影响应用程序的性能并在一定程序上影响 aggregate 和 filter 这些查询操作。

一个通用做法是采用 日志采集组件,比如:Fluentd,Logstash,Flume,这些组件需要部署在每一个应用程序节点,并从摄取应用程序产生的日志,参考如下图:

30002590436bc31dfe929352a1ad0ef9.png

这些框架会缓冲日志并将日志批量写入到比如 Mongodb,PostgreSQL 等数据库中,这种做法相比直写的方式要高效的多。

Mongodb 还有一个问题在于当数据卷达到内存上限时,它的性能会急剧下降,可替换方案就是 Apache HadoopCassandra

点评区

其实在 mongodb 盛行的 14,15 年,曾经确实把 mongodb 当作缓存用,造成的后果就是特别吃内存,那时候还是 mongodb 3.0 之前的内存映射模式,后来被迫写了一个自动释放内存的服务。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/297567.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

effective C++ 条款 3:尽可能使用const

const 修饰指针&#xff1a;如果关键字const出现在星号*左边&#xff0c;表示被指物是常量&#xff0c;如果const出现在*右边表示指针自身是常量&#xff0c; 如果出现在两边表示被指物和指针都是常量&#xff1b; const std::vector<int>::iterator iter vec.begin(); …

为团委出书写:《打造社团品牌:请给我一个理由,让我记住你!》

前些日子&#xff0c;大学母校的棋社社长欢欢给我打电话&#xff0c;说团委要出一本论述社团发展的书&#xff0c;希望我这个老社长代表翰轩棋社写一篇文字&#xff0c;说最好要5000字&#xff0c;我当时觉得压力巨大&#xff0c;现在经过几个日夜终于写出来了&#xff0c;没想…

长能耐了?想造反了?你老婆没了.......

1 提出问题的人一律直接解决掉▼2 今年的心理阴影是金字塔和钢琴键带来的▼3 广州考如何催收房租&#xff1f;▼4 想起了大雄的衣柜......▼5 这简直一毛一样▼6 我今天非要跳上去不可&#xff01;突然想到我还有点急事&#xff0c;告辞……▼7 据说&#xff0c;有不少男…

php 无限查找下级业绩_PHP 面试踩过的坑

因为最近需要面试&#xff0c;所以特意整理了一下面试所经历的一些面试题。分享一下&#xff0c;希望对自己有用&#xff0c;也对其他人有用。尚未有答案的&#xff0c;后面会陆续更新&#xff0c;如果有补充答案的&#xff0c;也十分感激。1.get,post 的区别**显示有区别 **ge…

蓝牙Bluetooth技术手册规范下载【转】

蓝牙Bluetooth技术手册规范下载 http://www.crifan.com/summary_bluetooth_specification_download/ 【背景】 之前就已经整理和转帖了和蓝牙技术相关的一些内容&#xff1a; 【资源下载】bluetooth 协议 spec specification 蓝牙1.1、蓝牙1.2、蓝牙2.0&#xff08;蓝牙2.0EDR&…

微型计算机原理中LEA,微型计算机系统原理及应用(第2版)第2章

第二章微型计算机指令系统题2-1 试分别说明以下各指令的源操作数属于何种寻址方式。答&#xff1a;1、MOV AX ,[SP] ——寄存器间接寻址2、MOV DS ,AX ——寄存器寻址3、MOV DI ,0FF00H ——立即数寻址4、MOV BX ,[2100H] ——直接寻址5、MOV CX ,[SI5] ——变址寻址6、MOV AX …

python获取历史双色球数据_你的梦想,我来买单!Python分析双色球中奖号码竟成功获取特等奖

关于双色球的话题估计大家都听的很多&#xff0c;毕竟成本很低&#xff0c;但是收获很高。毕竟当利润达到100&#xff05;时,就有人敢于铤而走险。当利润达到200&#xff05;时,他们就敢于冒上断头台的危险。 而当利润达到300%他们就会践踏人间的一切法律。更何况是n倍的利润刺…

[恢]hdu 2147

2011-12-20 15:42:45 地址&#xff1a;http://acm.hdu.edu.cn/showproblem.php?pid2147 题意&#xff1a;n*m的棋盘&#xff0c;一开始在右上角。每次只能走到左、下 或者左下。判胜败。 mark&#xff1a;简单博弈。n、m同时为奇数则败。 代码&#xff1a; # include <stdi…

分布式、微服务必须配个日志管理系统才优秀,Exceptionless走起~~~

前言在真实的项目中&#xff0c;不管是功能日志、错误日志还是异常日志&#xff0c;已经是项目的重要组成部分。在原始的单体架构&#xff0c;通常看日志的方式简单粗暴&#xff0c;直接登录到服务器&#xff0c;把日志文件拷贝下来进行分析&#xff1b;而如今分布式、微服务架…

Hotspot hotswap, who and who are best freinds

Hotspot&hotswap,whoandwhoarebestfreinds(点击这里查看ppt)java动态替换的ppt。hotspot&hotswapwhoandwhoarebestfriendsxuanxitaobao.comwhyweneedhotswap&#xff1f;主管:你在偷懒&#xff1f;汇编开发人员&#xff1a;我在编译。C开发人员:我在编译打包部署。java…

《TCP/IP详解卷1:协议》第6章 ICMP:Internet控制报文协议-读书笔记

章节回顾&#xff1a; 《TCP/IP详解卷1&#xff1a;协议》第1章 概述-读书笔记 《TCP/IP详解卷1&#xff1a;协议》第2章 链路层-读书笔记 《TCP/IP详解卷1&#xff1a;协议》第3章 IP&#xff1a;网际协议&#xff08;1&#xff09;-读书笔记 《TCP/IP详解卷1&#xff1a;协议…

10以内的分解与组成怎么教_狗狗酷炫的飞盘游戏怎么玩?分解步骤教你快速学会...

现在的铲屎官都喜欢训练自己的狗狗&#xff0c;训练狗狗不仅可以增加狗狗与主人的感情&#xff0c;还能增强狗狗的协调性&#xff0c;开发狗狗的智力&#xff0c;可谓一举两得。其中飞盘是大家都比较爱的活动&#xff0c;经常看看狗狗以华丽的身姿一跃接起主人扔的飞盘&#xf…

计算机组成与系统 报告,计算机组成与系统结构实验报告2

计算机组成与系统结构实验报告,西北工业大学评语: 课中检查完成的题号及题数&#xff1a; 成绩:自评成绩:95课后完成的题号与题数&#xff1a;实验报告实验名称&#xff1a; 班级&#xff1a;1.4 CPU 与简单模型机设计实验 日期&#xff1a; 2015.11.16 杨添文10011303 学号&am…

c++ 异步下获取线程执行结果_前端异步编程的那些事

啊一、异步编程的运行机制我们学习Javascript语言的时候就知道它的执行环境是”单线程“的。所谓”单线程“&#xff0c;就是指一次只能处理一个任务。如果有多个任务&#xff0c;就必须排队&#xff0c;前面一个任务完成&#xff0c;再执行后面一个任务。常见的浏览器无响应(假…

自动驾驶规划算法

本文将讲解BFS&#xff0c;Dijstra&#xff0c;A*&#xff0c;动态规划的算法原理&#xff0c;不正之处望读者指正&#xff0c;希望有兴趣的读者能在评论区提出一些这些算法的面试考点&#xff0c;共同学习&#xff0c;一起进步 0 图论基础 图有三种&#xff1a;无向图、有向…

印度网民集体删除中国APP,网友评论亮了

全世界只有3.14 % 的人关注了爆炸吧知识最近&#xff0c;国外有一款Remove China Apps火了。这款APP只有一个功能&#xff1a;可以一键扫描用户手机里的应用&#xff0c;识别出自中国公司的应用&#xff0c;并进行一键删除的骚操作。应用的主图标、界面&#xff0c;甚至特意使用…

SQL Server 负载均衡集群(转)

SQL Server 负载均衡集群一个应用系统随着业务量的提高,以及访问量和数据流量的快速增长&#xff0c;各个核 心部分的处理性能和计算强度也相应增大&#xff0c;使得单一设备根本无法承担。在此情况下&#xff0c;如果扔掉现有设备去做大量的硬件升级&#xff0c;必将造成现有资…

大前端快闪二:react开发模式 一键启动多个服务

最近全权负责了一个前后端分离的web项目&#xff0c;前端使用create-react-app[1], 后端使用golang做的api服务。npx create-react-app my-app cd my-app npm start歘歘歘&#xff0c;就搭建了一个react前端项目。前端老鸟都知道npm start或yarn start以开发模式启动react App&…

数据库比较工具SQL Delta

SQL Delta 版本4只支持SQL Server数据库 版本5支持Oracle 但是数据库中不可以有英文 否则连接时会报 ORA-12737: Instant Client Light: unsupported server character set ZHS16GBK的错误 配置如下所示&#xff1a; 转载于:https://blog.51cto.com/shuimomo/461266

爬虫侵入计算机系统,【探讨】利用“爬虫技术”获取数据行为的刑事考量 ——以一起非法获取计算机信息系统数据案为例...

在本案中最为主要的争议焦点是“公开的信息”是否属于非法获取计算机信息系统数据中的犯罪对象。非法获取计算机信息系统数据罪的保护法益是计算机信息系统安全和数据安全。那么信息是否等同于数据&#xff1f;公开信息是否等同于公开数据&#xff1f;这实质上涉及信息与数据含…