大数据需要掌握的知识点（新手）-创新互联
一、学习大数据需要的基础
java SE，EE(SSM)
90%的大数据框架都是java写的
MySQL
SQL on Hadoop
Linux
大数据的框架安装在Linux操作系统上
二、需要学什么
第一方面：大数据离线分析
一般处理T+1数据
Hadoop 2.X：（common、HDFS、MapReduce、YARN）
环境搭建，处理数据的思想
Hive:
大数据数据仓库
通过写SQL对数据进行操作，类似于mysql数据库中的sql
HBase
基于HDFS的NOSQL数据库
面向列的存储
协作框架：
sqoop（桥梁：HDFS 《==》RDBMS）
flume:收集日志文件中信息
调度框架anzkaban,了解：crotab（Linux自带）、zeus(Alibaba)、Oozie(cloudera)
扩展前沿框架：
kylin、impala、ElasticSearch（ES）
注意：关于第一方面的内容我的另一篇博客有详细的总结（是我搜索大量网上资料所得，可以帮你省下不少时间）
第二方面：大数据实时分析
以spark框架为主
Scala：OOP + FP
sparkCore:类比MapReduce
sparkSQL:类比hive
sparkStreaming：实时数据处理
kafka:消息队列
前沿框架扩展：flink
阿里巴巴 blink
第三方面：大数据机器学习（扩展）
spark MLlib:机器学习库
pyspark编程：Python和spark的结合
推荐系统
python数据分析
Python机器学习
大数据框架安装功能来划分
海量数据存储：
HDFS、Hive（本质存储数据还是hdfs）、HBASE、ES
海量数据分析：
MapReduce、Spark、SQL
最原始的Hadoop框架
数据存储：HDFS（Hadoop Distributed File System）
数据分析：MapReduce
Hadoop的起源
Google的三篇论文
虽然Google没有公布这三个产品的源码，
但是他发布了这三个产品的详细设计论文，
奠定了风靡全球的大数据算法的基础！
Google FS HDFS
MapReduce MapReduce
BigTable HBase
将任务分解然后在多台处理能力较弱的计算节点中同时处理，然后将结果合并从而完成大数据处理。
google:android,搜索，大数据框架，人工智能框架
pagerank
Hadoop介绍
大数据绝大多数框架，都属于Apache顶级项目
http://apache.org/
hadoop官网：
http://hadoop.apache.org/
分布式
相对于【集中式】
需要多台机器，进行协助完成。
元数据：记录数据的数据
架构：
主节点Master 老大，管理者
管理
从节点Slave 从属，奴隶，被管理者
干活
Hadoop也是分布式架构
common
HDFS:
主节点：NameNode
决定着数据存储到那个DataNode上
从节点：DataNode
存储数据
MapReduce:
分而治之思想
将海量的数据划分为多个部分，每部分数据进行单独的处理，最后将所有结果进行合并
map task
单独处理每一部分的数据、
reduce task
合并map task的输出
YARN:
分布式集群资源管理框架，管理者集群的资源（Memory,cpu core）
合理调度分配给各个程序（MapReduce）使用
主节点：resourceManager
掌管集群中的资源
从节点：nodeManager
管理每台集群资源
总结：Hadoop的安装部署
都属于java进程，就是启动了JVM进程，运行服务。
HDFS：存储数据，提供分析的数据
NameNode/DataNode
YARN:提供程序运行的资源
ResourceManager/NodeManager
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
网站标题：大数据需要掌握的知识点（新手）-创新互联
分享路径：http://6mz.cn/article/dhdojg.html