十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
一.大数据方向工作介绍
二.大数据工程师的技能要求
三.大数据学习路径
四.学习资源推荐(书籍、博客、网站)
创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于网站设计、成都网站设计、萧县网络推广、微信平台小程序开发、萧县网络营销、萧县企业策划、萧县品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联建站为所有大学生创业者提供萧县建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com
一.大数据方向工作介绍
大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)
二.大数据工程师的技能要求
附上二份比较权威的大数据工程师技能图(图侵删)
<img data-rawheight="1058" src="/upload/otherpic72/v2-2712bddb7af89f1955333486b828271e_hd.jpg" data-rawwidth="720" class="origin_image zh-lightbox-thumb" width="720" data-original="/upload/otherpic72/v2-2712bddb7af89f1955333486b828271e_r.jpg"/>
<img data-rawheight="1058" src="/upload/otherpic72/50/v2-4ab509dd652081d2963cf9cf2a571665_hd.jpg" data-rawwidth="720" class="origin_image zh-lightbox-thumb" width="720" data-original="/upload/otherpic72/v2-4ab509dd652081d2963cf9cf2a571665_r.jpg"/>
总结如下:
必须技能10条:
01.Java高级(虚拟机、并发)
02.Linux 基本操作
03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
04.HBase(JavaAPI操作+Phoenix )
05.Hive(Hql基本操作和原理理解)
06.Kafka
07.Storm
08.Scala需要
09.Python
10.Spark (Core+sparksql+Spark streaming )
11.一些小工具(Sqoop等)
高阶技能6条:
11.机器学习算法以及mahout库加MLlib
12.R语言
13.Lambda 架构
14.Kappa架构
15.Kylin
16.Aluxio
三.学习路径
由于本人是从Java开发通过大概3个月的自学转到大数据开发的。所以我主要分享一下自己的学习路劲。
第一阶段:
01.Linux学习(跟鸟哥学就ok了)
02.Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)
第二阶段:
03.Hadoop (董西成的书)
04.HBase(《HBase权威指南》)
05.Hive(《Hive开发指南》)
06.Scala(《快学Scala》)
07.Spark (《Spark 快速大数据分析》)
08.Python (跟着廖雪峰的博客学习就ok了)
第三阶段:
对应技能需求,到网上多搜集一些资料就ok了,我把最重要的事情(要学什么告诉你了),
剩下的就是你去搜集对应的资料学习就ok了
当然如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程走也OK 。这个完全根据自己情况决定。如果看书效率不高就很网课,相反的话就自己看书。
四.学习资源推荐:
01.Apache 官网
02.Stackoverflow
04.github
03.Cloudra官网
04.Databrick官网
05.大数据学习1 (微信公众号)
06.CSDN,51CTO
07.至于书籍当当一搜会有很多,其实内容都差不多。
最后但却很重要一点:要多关注技术动向,持续学习。