十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
本篇内容主要讲解“Storm原理和架构是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Storm原理和架构是什么”吧!
让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:空间域名、雅安服务器托管、营销软件、网站建设、通海网站维护、网站推广。
案例
统计用户ip所在地域的统计值
典型应用场景
请求应答(同步)
流式处理 (异步)
-逐条处理
数据之间无关系:如实时日志格式标准化入库。
-分析处理
数据之间有关系(聚合等):如日志pv/uv统计、访问热点统计
DGA计算模型
tuple:数据处理单元
stream:持续的tuple流
spout:从外部获取数据,输出原始tuple
bolt:接收spout/bolt输出的tuple,处理、输出新tuple
grouping:tuple从上游到某个下游多个并发task的分组方式
--shuffleGrouping:随机发给某个下游task
--fieldsGrouping:按照某几个字段做hash取模,发给对应task
--allGrouping:发给下游全部task
Topology:一个应用的spout,bolt,grouping组合
Storm原理和架构
nimbus:集群的master,负责管理supervisor、调度topology
supervisor:负责运行topology的worker
worker:负责实际的计算和网络通信
zookeeper:负责存储以上模块的状态,做到高可用。
work是进程,是分配资源的单位,一个worker可以有多个executor,executor是线程,是处理的单位
executor执行spout.nextTuple()或bolt.execute(),调用emit生成新的tuple,放到executor的transfer queue
executor transfer thread 把自己transfer queue里面的tuple放到worker transfer queue
worker transfer thread 把transer queue里面的tuple发送到远程的worker
worker receive thread 分别从网络收数据,把tuple放到对应executor的receive queue
executor receive thread 从自己的reveive queue取出tuple,调用bolt.execute()
storm实战
启动drpc: bin/storm drpc
启动logviewr: bin/storm viewer
JavaAPI
-spout
nextTuple() 回调函数,循环触发
ack(id) 回调函数,消息成功处理时触发
fail(id) 回调函数,消息超时时触发
-bolt
execute(Tuple input) 回调函数,数据触发
collector.emit(tuple):通过collector向下游发送tuple
collector.ack(tuple):通过collector确认已经成功处理输入tuple
不一定要用java,有shellBolt
DAG图:无回路有向图(Directed Acyclic Graph)
到此,相信大家对“Storm原理和架构是什么”有了更深的了解,不妨来实际操作一番吧!这里是创新互联网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!