使用FlumeNG实现数据采集平台-创新互联
为什么用Flume NG？#
对Flume NG不了解的朋友可以阅读一下这篇文章Flume NG入门详解 。开源的日志采集方案很多：
Scribe : 是Facebook开发的数据收集系统,项目不怎么维护。
Logstash: 是著名的开源数据栈ELK中的那个L。Logstash使用JRuby开发，运行时依赖JVM。 有比较强大的字段解析和过滤功能，但需要配置grok表达式，对实现数据传输有一定局限性，觉得不方便二次开发。
Flume NG: 是Cloudera主导开发，是新一代的数据采集传输工具，构架简单，使用灵活，是hadoop生态中的一部分，核心代码量不大，方便二次开发。
选择什么方案主要根据团队积累和习惯，能解决数据采集问题就好。本文主要讲解使用Flume NG搭建数据采集平台。
数据采集平台需求#
数据采集是大数据平台的重要一环，一边需要对接各种数据源，另一边要考虑离线数据对接和实时流式计算需求。总结一下主要需求点：
支持文件日志数据采集，保证文件记录不丢失
考虑应用升级成本，低成本实现日志数据对接
考虑流式计算需求，建立高速数据通路
能够有一定的扩展性，应对数据量的增长
具有一定容灾考虑，保证数据完整性
能够监控数据的采集，传输过程
Flume NG数据采集平台方案#
使用 Flume NG ＋ Kafka，基本能够实现上述平台需求：
Flume 已经实现了各种source，基本能够保证灵活实现各种数据源的对接
Flume 可配置成将数据复制成两个数据流，一条直接写入HDFS，一条写入Kafka
通过Kafka对接流式计算和其它数据消费者，从而完成数据源和消费者的解耦
Flume支持loadbalance和failover,能够实现水平扩展，保证数据传输完整性
Flume 支持http方式获取内部监控指标数据
我们看看使用Flume NG构建数据采集平台的整体架构：
整个方案通过avro rpc做数据的汇集。为什么中间多了 data collection 这层？增加这层起到数据汇集的作用，datasource节点会很多，如果这些点都直接对接持久化层，那配置是比较多的，而且需要做调整时，涉及的机器和权限太多。多加一层可以使前后耦合降低，中间层机器数量不多，对数据写入，文件数量都有一定优化作用。而且需要增加新的数据持久只需修改几个节点配置。
实际使用中有几个点需要注意和优化：
channel的选择，考虑性能和稳定性，可以考虑使用SpillableMemoryChannel，兼顾memory channel和file channel的实现，代码量不大，可以验证使用。如果你保守一点就是用file channel。
file channel使用磁盘分区最好和应用数据输出分区分开，file channel，进度和数据目录也尽量分开。
配置loadbalance和failover时候，sink不能复用。
如果有能力尽量重新定制hdfs 写入过程，使用约定来减少通用代码逻辑。现有的hdfs sink，考虑到通用性使用了正则等，没有考虑你的数据特点，有一定优化的空间。
增加各个环节 channel,source,sink 的监控,了解整体数据流向和压力，适时考虑扩容等问题。
最好自己能够开发flume ng source 和sink，这样可以根据自己业务数据的特点，做适当的优化。
总结#
Flume NG 是一个很好的数据收集和传输工具，适合二次开发。后面一些实践配置继续给出。
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
分享标题：使用FlumeNG实现数据采集平台-创新互联
当前地址：http://6mz.cn/article/descgj.html