Storm精华问答 | Kafka在Storm中的角色是什么？

戳蓝字“CSDN云计算”关注我们哦！

Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统等，大数据实时处理解决方案的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。

Q：Storm是什么？

A：在Storm之前，进行实时处理是非常痛苦的事情: 需要维护一堆消息队列和消费者，他们构成了非常复杂的图结构。消费者进程从队列里取消息，处理完成后，去更新数据库，或者给其他队列发新消息。

这样进行实时处理是非常痛苦的。我们主要的时间都花在关注往哪里发消息，从哪里接收消息，消息如何序列化，真正的业务逻辑只占了源代码的一小部分。一个应用程序的逻辑运行在很多worker上，但这些worker需要各自单独部署，还需要部署消息队列。最大问题是系统很脆弱，而且不是容错的：需要自己保证消息队列和worker进程工作正常。

Storm完整地解决了这些问题。它是为分布式场景而生的，抽象了消息传递，会自动地在集群机器上并发地处理流式计算，让你专注于实时处理的业务逻辑。

Q：Storm有哪些特点？

A：

编程简单：开发人员只需要关注应用逻辑，而且跟Hadoop类似，Storm提供的编程原语也很简单

高性能，低延迟：可以应用于广告搜索引擎这种要求对广告主的操作进行实时响应的场景。

分布式：可以轻松应对数据量大，单机搞不定的场景

可扩展：随着业务发展，数据量和计算量越来越大，系统可水平扩展

容错：单个节点挂了不影响应用

消息不丢失：保证消息处理

Q：对于传统使用数据库的报表，数据有上亿条。用户针对这些数据查询，查询条件包含时间段、区域等等十几个，总之查询条件是多维度的，使用存储过程实现，需要多次group by，耗时近十分钟。请问这种场景下想要实时查询，秒级返回结果，Storm可适用？

A：不是很合适，要么放HDFS中通过Impla,Spark SQL,Kylin等交互式查询，要么通过传统的数据仓库来做，流式计算主要处理实时产生的增量数据。

Q：Storm的应用有哪些？

A：跟Hadoop不一样，Storm是没有包括任何存储概念的计算系统。这就让Storm可以用在多种不同的场景下：非传统场景下数据动态到达或者数据存储在数据库这样的存储系统里（或数据是被实时操控其他设备的控制器(如交易系统)所消费）

例如Nathan Marz提供的例子，产生Twitter的趋势信息。Twitter从海量推文中抽取趋势信息，并在本地区域和国家层级进行维护。这意味者一旦一个案例开始出现，Twitter的话题趋势算法就能实时的鉴别出这个话题。这个实时的算法就是通过在Storm上连续分析Twitter数据来实现的。

Q：Kafka在Storm中的角色是什么呢？是作为分流的解决方案,还是作为通信的工具？Kafka的前置机是什么？数据量大的时候Kafka会不会崩掉？

A：Kafka在Storm之前扮演一个缓冲的消息队列；Kafka最开始的前置一般有Flume等，其他消息也可以直接往Kafka写，Storm的中间过程也可以存到Kafka中，当做一个消息队列来用；双十一的时候，分区设置小，Kafka满了，来不及处理崩过，写Kafka的时候；如果客户端直接写Kafka，也要注意，并发量大会把Kafka搞挂。采用异步写+本地缓存写Kafka，比如log4j写Kafka，基本的异步和本地缓存等已经做了，数据量再大的时候，加一层Flume等。

640?wx_fmt=png