Hadoop学习系列(2.Hadoop框架介绍与搜索技术体系介绍)-创新互联

第一天

创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：网站设计、网站制作、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的开阳网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

2.Hadoop框架介绍与搜索技术体系介绍

1.	大数据典型特性与分布式开发难点
2.	Hadoop框架介绍与搜索技术体系介绍
3.	Hadoop版本与特性介绍
4.	Hadoop核心模块之HDFS分布式文件系统架构介绍
5.	Hadoop核心模块之Yarn操作系统架构介绍
6.	Linux安全禁用设置与JDK安装讲解
7.	Hadoop伪分布式环境部署HDFS部分
8.	Hadoop伪分布式环境部署Yarn和MR部分
9.	Hadoop环境使用常见的错误集合
10.	Hadoop环境常规设置与辅助功能讲解（-）

11.	Hadoop环境常规设置与辅助功能讲解（二）
12.	Windows环境下部署Eclipse插件注意事项

2.Hadoop框架介绍与搜索技术体系介绍

1.hadoop介绍

    -》官网：http://hadoop.apache.org

  -》hadoop商业三大发行版

   -》Apache     -》apache

   -》cloudera    -》CDH

   -》hostonwork  -》HDP

  -》分布式

    -》爬虫

    -》存储（加硬盘，但是单台机器是有限的）&处理分析

    -》快速查询

    -》分开计算，结果合并

    -》google-》Mapreduce论文

            -》map

            -》reduce

    -》HDFS  文件系统和数据库是不一样的

    -》HBase

  -》搜索引擎的技术体系

     -》数据获取

      -》（外网，互联网抓取数据）

      -》数据库

     -》数据存储-》HDFS&Hbase

        -》yarn操作系统

     -》数据计算

        -》sql实时查询（消息队列，监控系统）

        -》辅助型框架，比如zookeeper

     -》生成索引，搜索的索引（商品推荐和自己平时搜索的信息有关）

     -》返回个前端用户

  -》离线系统-》hadoop生态圈

     -》数据获取

     -》（外网，互联网抓取数据）

     -》云存储

       -》全量或者增量导入(同步到hbase当中，sql语句当中)

     -》复杂离线处理的过程(job运行，业务的逻辑，表的join,字段的合并)

       -》mapreduce（实现全量或者增量数据的更新）

       -》其他的框架实现实时数据的更新

      这样我整个的数据变化就可以实现秒级的速度  更新到搜索引擎

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网页题目：Hadoop学习系列(2.Hadoop框架介绍与搜索技术体系介绍)-创新互联
文章转载：http://6mz.cn/article/csjceh.html