Storm性能简单测试

看了很多关于Storm性能的文章,说法不一,自己根据实际业务测一下是否能满足自身要求(只做了简单集群和代码调优)

  • 场景:kafka消费数据标准化后存储到Hbase中 
  • 服务器资源:

      两台32G内存做Supervisor

  • 使用资源

平均处理数据速度  13000 条/秒,可以满足业务需求,ok

 

  • Storm参数 
        conf.setNumWorkers(10);  conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1024);conf.put(Config.TOPOLOGY_EXECUTOR_RECEIVE_BUFFER_SIZE,16384);conf.put(Config.TOPOLOGY_EXECUTOR_SEND_BUFFER_SIZE,16384);conf.put(Config.TOPOLOGY_TRANSFER_BUFFER_SIZE,32);conf.put(Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS, 300);

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510173.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++之带有默认参数值的构造函数

在一个类中 ,如果程序员没有写,任何一个构造函数,则编译器将为该类提供一个默认的构造函数,如果程序员对类的构造函数进行了重载,则编译器将不提供默构造函数,这里需要手动书写一个无参的构造函数&#xff…

Hbase Shell 介绍

目录 Scan 创建表 Count 清空表数据 删除数据 删除表 删除列簇 判断表是否为‘enable’ 插入 Region管理 Scan 查询某个表某个列的数据: scan tableName,{COLUMN>列族:列,LIMIT>需要查看条数} 指定开始Rowkey查询 scan tableName,{STARTRO…

拓扑排序 详解 + 并查集 详解 + 最小生成树详解

若您发现本文有什么错误,请联系我,我会及时改正的,谢谢您的合作! 本文为原创文章,转载请注明出处 本文链接 : http://www.cnblogs.com/Yan-C/p/3943940.html 。 哎呀,好久了啊,想…

Hbase 2.0 RegionObserver使用

参考:http://hbase.apache.org/2.0/book.html#cp Hbase2.0 不支持 1.x版本的RegionObserver ,查看hbase官网更新说明,自己做了测试并通过 Hbase RegionObserver import java.io.IOException; import java.util.List; import java.util.Opti…

ubuntu 16.0安装ros-kinetic

1.设置sources.list sudo sh -c echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list best: sudo sh -c . /etc/lsb-release && echo "deb http://mirrors.tuna.tsinghua.edu.cn/…

Impala Shell 简单命令

目录 1.更新元数据 2.对查询结果去格式化 3.查询结果存储到文件 4.去格式化后指定分隔符 5.-p或者--show-profiles:显示查询的执行计划(与EXPLAIN语句输出相同)和每个查询语句底层的执行步骤的详细信息. 6.指定主机名连接 (-i) 7.执行查询语句 8.指定脚本文件执行SQL …

gtest测试用例

google tf测试框架代码 https://github.com/google/googletest/tree/2fe3bd994b3189899d93f1d5a881e725e046fdc2 跑单个测试例 ./test --gtest_filterAllTest.t1 跑这个模块的所有测试例 ./test --gtest_filterAllTest*

__stdcall

__stdcall是函数调用约定的一种,函数调用约定主要约束了两件事:1.参数传递顺序2.调用堆栈由谁(调用函数或被调用函数)清理常见的函数调用约定:stdcall cdecl fastcall thiscall naked call__stdcall表示1.参数从右向左…

CDH邮件预警

转载自:http://blog.51cto.com/feature09/2055835 在CDH的7180页面找到Cloudera Managerment Service 如图所示: 在Configuration中,搜索alert 设置接收信息的邮箱。 设置内容都在图片上: 添加邮件页眉说明,第一行显…

结构光双目视觉测距原理

结构光视觉技术是一种主动投影式的三维测量技术,通过使用投影仪和相机组成的系统来对物体进行三维测量 系统结构: 硬件系统: 常见编码方法: 结构光图案编码 常用的是格雷码和传统的二进制码相比,格雷码的编码数中任意…

c++静态成员函数为什么不能为虚函数?

知乎用户 three passions govern my life2 人赞同可以把静态成员函数看作是“命名空间受限的普通函数”,所以它不能有运行时多态发布于 2015-06-23 添加评论 感谢 分享收藏 • 没有帮助 • 举报 • 作者保留权利Elvis Wang C程序员转型Java中6 人赞同其实我觉得这个…

Hive Shell

目录 hive是否执行mr 创建数据库指定目录 删除数据库 显示表信息/表结构 查看表示内部表还是外部表 拷贝一张已经存在的表的表模式(而无需拷贝数据) 复制一张表(包括数据) hive-cli 显示当前所在数据库 执行命令不进入hiv…

c++11/14新特性学习

1.__func__ 预定义表示符 返回所在函数的名字 #include<string> #include<iostream> using namespace std; const char* hello(){return __func__}int main() {cout<<hello()<<endl; } 打印结果&#xff1a; hello 2.__VA__ARGC__ 可以在宏定义的…

Linux chattr 与 lsattr命令

PS&#xff1a;有时候你发现用root权限都不能修改某个文件&#xff0c;大部分原因是曾经用chattr命令锁定该文件了。chattr命令的作用很大&#xff0c;其中一些功能是由Linux内核版本来支持的&#xff0c;不过现在生产绝大部分跑的linux系统都是2.6以上内核了。通过chattr命令修…

在C++中用虚函数的作用是什么?为什么要用到虚函数

简单地说&#xff0c;那些被virtual关键字修饰的成员函数&#xff0c;就是虚函数。虚函数的作用&#xff0c;用专业术语来解释就是实现多态性&#xff08;Polymorphism&#xff09;&#xff0c;多态性是将接口与实现进行分离&#xff1b;用形象的语言来解释就是实现以共同的方法…

如何成为一个优秀的高级C++程序员

C这门语言从诞生到今天已经经历了将近30个年头。不可否认&#xff0c;它的学习难度都比其它 语言较高。而它的学习难度&#xff0c;主要来自于它的复杂性。现在C的使用范围比以前已经少了很多&#xff0c;java、C#、python等语言在很多方面已经可以代替 C。但是也有很多地方是其…

cuda学习资源

https://bbs.gpuworld.cn/ https://developer.nvidia.com/cuda-zone http://docs.nvidia.com/cuda/index.html# https://www.cnblogs.com/1024incn/category/695134.html

c++标准库 及 命名空间std

1、命名空间std   C标准中引入命名空间的概念&#xff0c;是为了解决不同模块或者函数库中相同标识符冲突的问题。有了命名空间的概念&#xff0c;标识符就被限制在特定的范围(函数)内&#xff0c;不会引起命名冲突。最典型的例子就是std命名空间&#xff0c;C标准库中所有标…

Cloudera-Manager 与 原生集群 免密登录问题

原生集群启动方式&#xff1a; 在Hadoop启动以后&#xff0c;namenode是通过SSH来启动和停止各个节点上的各种守护进程的&#xff0c;这就需要在节点之间执行指令的时候是不需要输入密码的方式&#xff0c;故我们需要配置SSH使用无密码公钥认证的方式。 Cloudera-Manager启动方…