hadoop和nosql,hadoop的意义

一、NoSQL数据库简介

Web1.0的时代，数据访问量很有限，用一夫当关的高性能的单点服务器可以解决大部分问题。

成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都做网站、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的磴口网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

随着Web2.0的时代的到来，用户访问量大幅度提升，同时产生了大量的用户数据。加上后来的智能移动设备的普及，所有的互联网平台都面临了巨大的性能挑战。

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

Memcache Memcache Redis Redis MongoDB MongoDB 列式数据库 列式数据库 Hbase Hbase

HBase是Hadoop项目中的数据库。它用于需要对大量的数据进行随机、实时的读写操作的场景中。

HBase的目标就是处理数据量非常庞大的表，可以用普通的计算机处理超过10亿行数据，还可处理有数百万列元素的数据表。

Cassandra Cassandra

Apache Cassandra是一款免费的开源NoSQL数据库，其设计目的在于管理由大量商用服务器构建起来的庞大集群上的海量数据集(数据量通常达到PB级别)。在众多显著特性当中，Cassandra最为卓越的长处是对写入及读取操作进行规模调整，而且其不强调主集群的设计思路能够以相对直观的方式简化各集群的创建与扩展流程。

主要应用：社会关系，公共交通网络，地图及网络拓谱(n*(n-1)/2)

Hadoop常见问题解答

Hadoop常见问题解答

（1）Hadoop适不适用于电子政务？为什么？

电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求，而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足，就需要借助海量数据处理平台，例如Hadoop技术，因此可以利用Hadoop技术来构建电子政务云平台。

总结一下，任何系统没有绝对的适合和不适合，只有当需求出现时才可以决定，在一个非常小的电子政务系统上如果没有打数据处理以及计算分析需求时就不需要hadoop这样的技术，而实际上，商用的电子政务平台往往涉及到大规模的数据和大量的计算分析处理需求，因此就需要Hadoop这样的技术来解决。（2）hadoop对于实时在线处理有优势吗？

直接使用hadoop进行实时处理时没有优势的，因为Hadoop主要解决的是海量批处理作业计算问题，但是可以使用基于Hadoop的分布式NOSQL系统HBase系统以及相关实时处理系统：

1. 基于Hadoop的HBase可以做到实时处理以及相关需求的实时计算，主要解决海量key,value相关查询计算等需求。

2. 可以考虑Spark计算，Spark是基于共现内存RDD的系统，比Hadoop更快，时候迭代式计算，例如数据挖掘，机器学习算法等。

3. 还有Storm，Storm是一个免费开源、分布式、高容错的实时计算系统，Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。

4. 考虑S4， S4是Yahoo!在2010年10月开源的一套通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据（continuous unbounded streams of data）的应用。

你可以依据实际的需求来选择合适的系统。

（3）Hadoop存储海量数据没有问题，但是如何能够做到海量数据的实时检索？

1,可以结合开源的搜索引擎Apache Lucene，Solr 或ElasticSearch

2,海量数据的实时检索可以考虑HBase，建议可以使用hadoop将数据构建成以查询key为键的数据集，然后将key, value集合写入Hbase表中，Hbase会自动以key为键进行索引，在数十亿甚至以上的级别下，查询key的value响应时间也估计再10毫秒内。

如果检索条件是多个组合的情况下，可以适当的设计多个hbase表格，这样的检索也是很快的，同时Hbase也是支持二级索引。在符合条件下查询，Hbase也是支持MapReduce的，如果对响应时间要求不高的情况下，可以考虑将hive和Hbase系统结合来使用。

如果数据量不是很大的情况下也可以考虑支持类似SQL的NOSLQ系统。

（4）能不能给点hadoop的学习方法以及学习规划，hadoop系统有点庞大，感觉无从学起?

首先搞清楚什么是hadoop以及hadoop可以用来做什么？

然后，可以从最经典的词频统计程序开始，初步了解MapReduce的基本思路和处理数据的方式。

接着，就可以正式学习hadoop的基本原理，包括HDFS和MapReduce，先从整体，宏观核心原理看，先别看源码级别。

进一步，就可以深入HDFS和MapReduce和模块细节，这个时候可以结合源码深入理解，以及实现机制。

最后就是需要实战了，可以结合自己的项目或者相关需求来完成一些hadoop相关应用。

（5） 大的文件拆分成很多小的文件后，怎样用Hadoop进行高效的处理这些小文件？以及怎样让各个节点尽可能的负载均衡？

1. 怎样用Hadoop进行高效的处理这些小文件？

你这个问题提的很好，hadoop在处理大规模数据时是很高效的，但是处理大量的小文件时就会因为系统资源开销过大而导致效率较低，针对这样的问题，可以将小文件打包为大文件，例如使用SequcenFile文件格式，例如以文件签名为key，文件内容本身为value写成SequcenFile文件的一条记录，这样多个小文件就可以通过SequcenFile文件格式变为一个大文件，之前的每个小文件都会映射为SequcenFile文件的一条记录。

2. 怎样让各个节点尽可能的负载均衡？

在hadoop集群中负载均衡是非常关键的，这种情况的导致往往是因为用户的数据分布的并不均衡，而计算资源槽位数确实均衡分布在每个节点，这样在作业运行时非本地任务会有大量的数据传输，从而导致集群负载不均衡，因此解决不均衡的要点就是将用户的数据分布均衡，可以使用hadoop内置的balancer脚本命令。

对于因为资源调度导致的不均衡则需要考虑具体的调度算法和作业分配机制。

(6)c/c++ 程序员如何入门Hadoop到深入了解，并在Linux服务器上布置运用，有没有方向性的指导?

针对C/C++用户，Hadoop提供了hadoop streaming接口和pipes接口，hadoop streaming接口以标准输入和标准输出作为用户程序和hadoop框架交互的中间件，pipes这是专门针对C/C++语言的接口，以socket作为同学中介。

从使用上建议从streaming入手，pipes相比streaming问题比较多，而且pipes调试不容易。

(7)现在企业中使用Hadoop版本主要是1.x还是2.x？

目前百度，腾讯，阿里为主的互联网公司都是以hadoop 1.X为基准版本的，当然每个公司都会进行自定义的二次开发以满足不同的集群需求。

2.X在百度内部还没有正式使用，还是以1.X为主，不过百度针对1.X的问题开发了HCE系统（Hadoop C++ Expand系统）

补充，Hadoop2.x在其他公司应用的很多，比如京东

(8)以后想从事大数据方面工作，算法要掌握到什么程度，算法占主要部分吗?

首先，如果要从事大数据相关领域的话，hadoop是作为工具来使用的，首先需要掌握使用方法。可以不用深入到hadoop源码级别细节。

然后就是对算法的理解，往往需要设计到数据挖掘算法的分布式实现，而算法本身你还是需要理解的，例如常用的k-means聚类等。

(9)现在spark，storm越来越火，谷歌也发布了Cloud Dataflow，是不是Hadoop以后主要应该学习hdfs和yarn，而且以后Hadoop程序员的主要做的就是把这些东西打包，只提供接口让普通的程序员也能使用，就像Cloudera和Google一样?

这位同学，你多虑了，hadoop和spark, strom是解决不同的问题，不存在哪个好那个坏，要学习Hadoop还是以主流的hadoop-1.X为版本，2.X最主要的就是多了yarn框架，很好理解的。

如果你是hadoop本身研发建议都看，如果你是hadoop应用相关研发，看主流的1.X就行，我的书《Hadoop核心技术》是以主流的1.X为版本讲解的，有兴趣可以看看。

(10)小白问一句，大数据处理都是服务器上安装相关软件吗，对程序有什么影响呢，集群、大数据是属于运维的工作内容还是攻城狮的呢?

传统的程序只能运行在单机上，而大数据处理这往往使用分布式编程框架编写，例如hadoop mapreduce，只能运行在hadoop集群平台上。

运维的责任：保证集群，机器的稳定性和可靠性

hadoop系统本身研发：提高Hadoop集群的性能，增加新功能。

大数据应用：把hadoop作为工具，去实现海量数据处理或者相关需求。

(11)学习hadoop该怎么入手呢？应该做一些什么样的项目呢？

可以参考我上面的几个回答，可以从最简单词频统计程序入手，然后学习理解HDFS和MapReduce的基本原理和核心机制，如果仅仅把Hadoop作为一个工具来使用的话这样就可以了，最重要的就是实战了，可以尝试使用Hadoop处理一些数据，例如做日志分析，数据统计，排序，倒排索引等典型应用。

(12)100个以上hadoop节点，一般怎么开发，运维？任务很多的情况下任务资源怎么分配，任务执行顺序是定时脚本还是别的什么方式控制?

1. 首先大数据的应用开发和hadoop集群的规模是没有关系，你指的是集群的搭建和运维吗，对于商用的hadoop系统来说涉及到很多东西，建议参考《hadoop核心技术》实战篇 “第10章　Hadoop集群搭建 ” 章节。

2. 任务的分配是有hadoop的调度器的调度策略决定的，默认为FIFO调度，商业集群一般使用多队列多用户调度器，可以参考参考《hadoop核心技术》高级篇 “第9章　Hadoop作业调度系统” 章节。

3. 任务的执行顺序是有用户控制的，你自然可以定时启动，也可以手动启动。

(13)基于Hadoop做开发，是否必须会使用Java，使用其他开发语言是否无法更好的融入整个Hadoop的开发体系?

基于Hadoop做开发可以使用任何语言，因为hadoop提高了streaming编程框架和pipes编程接口，streaming框架下用户可以使用任何可以操作标准输入输出的计算机语言来开发hadoop应用。

(14)在reduce阶段老是卡在最后阶段很长时间，在网上查的说是有可能是数据倾斜，我想问这个有啥解决方法吗?

1,你这个就是数据倾斜啊 好多数据都集中在一个reduce里 其他reduce里分配的数据比较少 默认情况下决定哪些数据分配到哪个reduce是由reduce个数和partiiton分区决定的 默认是对key进行hash运算 一般情况下用mapreuce倾斜很少 除非你用的HIVE

2,reduce分为3个子阶段：shuffle、sort和reduce，如果reduce整个过程耗时较长，建议先看一下监控界面是卡在哪个阶段，如果是卡在shuffle阶段往往是网络阻塞问题，还有就是某reduce数据量太大，也就是你所说的数据倾斜问题，这种问题往往因为某个key的value太多，解决方法是：第一，默认的partiiton可能不适合你的需求，你可以自定义partiiton；第二就是在map端截断，尽量让达到每个reduce端的数据分布均匀。

(15)非大数据的项目能否用hadoop?

非大数据项目是否可以用Hadoop的关键问题在于是否有海量数据的存储，计算，以及分析挖掘等需求，如果现有系统已经很好满足当前需求那么就没有必要使用Hadoop，没有必要使用并不意味这不能使用Hadoop，很多传统系统能做的Hadoop也是可以做的，例如使用HDFS来代替LINUX NFS，使用MapReduce来代替单服务器的统计分析相关任务，使用Hbase代替Mysql等关系数据库等，在数据量不大的情况下通常Hadoop集群肯定比传统系统消耗更多的资源。

(16)hadoop mapreduce 和第三方资源管理调度系统如何集成？

Hadoop的调度器设计的一个原则就是可插拔式调度器框架，因此是很容易和第三方调度器集成的，例如公平调度器FairScheduler和容量调度器CapacityScheduler，并配置mapred-site.xml的mapreduce.jobtracker.taskscheduler以及调度器本身的配置参数，例如公平调度器控制参数则需要编辑fair- scheduler.xml进行配置，具体可以参考我的新书《Hadoop核心技术》实战篇第十章节10.11的集群搭建实例中的10.10.9 配置第三方调度器，同时可以进一步深入学习第9章 Hadoop作业调度系统，在这一章中会详细介绍各种第三方调度器以及使用配置方法。

目前哪些NoSQL数据库应用广泛，各有什么特点

特点：

它们可以处理超大量的数据。

它们运行在便宜的PC服务器集群上。

PC集群扩充起来非常方便并且成本很低，避免了“sharding”操作的复杂性和成本。

它们击碎了性能瓶颈。

NoSQL的支持者称，通过NoSQL架构可以省去将Web或Java应用和数据转换成SQL友好格式的时间，执行速度变得更快。

“SQL并非适用于所有的程序代码，” 对于那些繁重的重复操作的数据，SQL值得花钱。但是当数据库结构非常简单时，SQL可能没有太大用处。

没有过多的操作。

虽然NoSQL的支持者也承认关系数据库提供了无可比拟的功能集合，而且在数据完整性上也发挥绝对稳定，他们同时也表示，企业的具体需求可能没有那么多。

Bootstrap支持

因为NoSQL项目都是开源的，因此它们缺乏供应商提供的正式支持。这一点它们与大多数开源项目一样，不得不从社区中寻求支持。

优点：

易扩展

NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

大数据量，高性能

NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的 Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

灵活的数据模型

NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。

高可用

NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。

主要应用：

Apache HBase

这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。

Apache Storm

用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能，同时还增加了低延迟的仪表板、安全警报，改进了原有的操作方式，帮助企业更有效率地捕获商业机会、发展新业务。

Apache Spark

该技术采用内存计算，从多迭代批量处理出发，允许将数据载入内存做反复查询，此外还融合数据仓库、流处理和图计算等多种计算范式，Spark用Scala语言实现，构建在HDFS上，能与Hadoop很好的结合，而且运行速度比MapReduce快100倍。

Apache Hadoop

该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时，对于复杂的分布式应用，Hadoop体现出了非常好的性能，平台的灵活性使它可以运行在商用硬件系统，它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

Apache Drill

你有多大的数据集？其实无论你有多大的数据集，Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平台，允许大规模数据吞吐，而且能很快得出结果。

Apache Sqoop

也许你的数据现在还被锁定于旧系统中，Sqoop可以帮你解决这个问题。这一平台采用并发连接，可以将数据从关系数据库系统方便地转移到Hadoop中，可以自定义数据类型以及元数据传播的映射。事实上，你还可以将数据（如新的数据）导入到HDFS、Hive和Hbase中。

Apache Giraph

这是功能强大的图形处理平台，具有很好可扩展性和可用性。该技术已经被Facebook采用，Giraph可以运行在Hadoop环境中，可以将它直接部署到现有的Hadoop系统中。通过这种方式，你可以得到强大的分布式作图能力，同时还能利用上现有的大数据处理引擎。

Cloudera Impala

Impala模型也可以部署在你现有的Hadoop群集上，监视所有的查询。该技术和MapReduce一样，具有强大的批处理能力，而且Impala对于实时的SQL查询也有很好的效果，通过高效的SQL查询，你可以很快的了解到大数据平台上的数据。

Gephi

它可以用来对信息进行关联和量化处理，通过为数据创建功能强大的可视化效果，你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型，而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区，Gephi还提供了大量的插件，可以和现有系统完美的集成到一起，它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。

MongoDB

这个坚实的平台一直被很多组织推崇，它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建，现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库，可以用于在JSON这样的平台上存储和处理数据。目前，纽约时报、Craigslist以及众多企业都采用了MongoDB，帮助他们管理大型数据集。（Couchbase服务器也作为一个参考）。

十大顶尖公司：

Amazon Web Services

Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR（Elastic Map Reduce），AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上。

Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务，有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持，包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。

Cloudera

Cloudera有开源Hadoop的发行版，这个发行版采用了Apache Hadoop开源项目的很多技术，不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能，包括Cloudera管理器，用于管理和监控，以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop，但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时，Cloudera的工程师们就会实现这些功能，或者找一个拥有这项技术的合作伙伴。Forrester表示：“Cloudera的创新方法忠于核心Hadoop，但因为其可实现快速创新并积极满足客户需求，这一点使它不同于其他那些供应商。”目前，Cloudera的平台已经拥有200多个付费客户，一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。

Hortonworks

和Cloudera一样，Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是，Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区，推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密，公司管理人员表示这会给用户带来好处，因为它可以防止被供应商套牢（如果Hortonworks的客户想要离开这个平台，他们可以轻松转向其他开源平台）。这并不是说Hortonworks完全依赖开源Hadoop技术，而是因为该公司将其所有开发的成果回报给了开源社区，比如Ambari，这个工具就是由Hortonworks开发而成，用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。

IBM

当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”

Intel

和AWS类似，英特尔不断改进和优化Hadoop使其运行在自己的硬件上，具体来说，就是让Hadoop运行在其至强芯片上，帮助用户打破Hadoop系统的一些限制，使软件和硬件结合的更好，英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品，所以公司在未来还有很多改进的可能，英特尔和微软都被认为是Hadoop市场上的潜力股。

MapR Technologies

MapR的Hadoop发行版目前为止也许是最好的了，不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示，MapR的评级最高，其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统（NFS）、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。

Microsoft

微软在开源软件问题上一直很低调，但在大数据形势下，它不得不考虑让Windows也兼容Hadoop，它还积极投入到开源项目中，以更广泛地推动Hadoop生态圈的发展。我们可以在微软的公共云Windows Azure HDInsight产品中看到其成果。微软的Hadoop服务基于Hortonworks的发行版，而且是为Azure量身定制的。

微软也有一些其他的项目，包括名为Polybase的项目，让Hadoop查询实现了SQLServer查询的一些功能。Forrester说：“微软在数据库、数据仓库、云、OLAP、BI、电子表格（包括PowerPivot）、协作和开发工具市场上有很大优势，而且微软拥有庞大的用户群，但要在Hadoop这个领域成为行业领导者还有很远的路要走。”

Pivotal Software

EMC和Vmware部分大数据业务分拆组合产生了Pivotal。Pivotal一直努力构建一个性能优越的Hadoop发行版，为此，Pivotal在开源Hadoop的基础上又添加了一些新的工具，包括一个名为HAWQ的SQL引擎以及一个专门解决大数据问题的Hadoop应用。Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术，Pivotal的真正优势实际上等于EMC和Vmware两大公司为其撑腰。到目前为止，Pivotal的用户还不到100个，而且大多是中小型客户。

Teradata

对于Teradata来说，Hadoop既是一种威胁也是一种机遇。数据管理，特别是关于SQL和关系数据库这一领域是Teradata的专长。所以像Hadoop这样的NoSQL平台崛起可能会威胁到Teradata。相反，Teradata接受了Hadoop，通过与Hortonworks合作，Teradata在Hadoop平台集成了SQL技术，这使Teradata的客户可以在Hadoop平台上方便地使用存储在Teradata数据仓库中的数据。

AMPLab

通过将数据转变为信息，我们才可以理解世界，而这也正是AMPLab所做的。AMPLab致力于机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域，努力改进对信息包括不透明数据集内信息的甄别技术。除了Spark，开源分布式SQL查询引擎Shark也源于AMPLab，Shark具有极高的查询效率，具有良好的兼容性和可扩展性。近几年的发展使计算机科学进入到全新的时代，而AMPLab为我们设想一个运用大数据、云计算、通信等各种资源和技术灵活解决难题的方案，以应对越来越复杂的各种难题。

大数据价值挖掘的三要素

大数据价值挖掘的三要素

如何充分利用大数据，挖掘大数据的商业价值，从而提升企业的竞争力，已经成为企业关注的一个焦点。

全面解决方案才能奏效

当前，越来越多企业将大数据的分析结果作为其判断未来发展的依据。同时，传统的商业预测逻辑正日益被新的大数据预测所取代。但是，我们要谨慎管理大家对大数据的期望值，因为海量数据只有在得到有效治理的前提下才能进一步发展其业务价值。

最广为人知的大数据定义是Gartner给出的大数据的3V特性：巨大的数据量（Volume）、数据的快速处理（Velocity）、多变的数据结构和类型（Variety）。根据这一定义，大家首先想到的是IT系统中一直难以处理却又不容忽视的非结构化数据。也就是说，大数据不仅要处理好交易型数据的分析，还把社交媒体、电子商务、决策支持等信息都融入进来。现在，分布式处理技术Hadoop和NoSQL已经能对非结构化数据进行存储、处理、分析和挖掘，但未能为满足客户的大数据需求提供一个全面的解决方案。

事实上，普遍意义上的大数据范围更加广泛，任何涉及海量数据及多数据源的复杂计算，均属大数据范畴，而不仅局限于非结构化数据。因此，诸如电信运营商所拥有的巨量用户的各类详细数据、手机开关机信息、手机在网注册信息、手机通话计费信息、手机上网详细日志信息、用户漫游信息、用户订阅服务信息和用户基础服务信息等，均可划归为大数据。

与几年前兴起的云计算相比，大数据实现其业务价值所要走的路或许更为长远。但是企业用户已经迫不及待，越来越多企业高层倾向于将大数据分析结果作为其商业决策的重要依据。在这种背景下，我们必须找到一种全面的大数据解决方案，不仅要解决非结构化数据的处理问题，还要将功能扩展到海量数据的存储、大数据的分布式采集和交换、海量数据的实时快速访问、统计分析与挖掘和商务智能分析等。

典型的大数据解决方案应该是具有多种能力的平台化解决方案，这些能力包括结构化数据的存储、计算、分析和挖掘，多结构化数据的存储、加工和处理，以及大数据的商务智能分析。这种解决方案在技术应具有以下四个特性：软硬集成化的大数据处理、全结构化数据处理的能力、大规模内存计算的能力、超高网络速度的访问。

软硬件集成是必然选择

我们认为，大数据解决方案的关键在于如何处理好大规模数据计算。过去，传统的前端数据库服务器、后端大存储的架构难以有效存储大规模数据并保持高性能数据处理。这时候，我们让软件和硬件更有效地集成起来进行更紧密的协作。也就是说，我们需要软硬一体化的专门设备来应对大数据的挑战。

一直以来，甲骨文公司在传统的关系型数据库领域占有绝对优势，但并未因此固步自封。面对大数据热潮，甲骨文公司根据用户的需求不断推陈出新，将在数据领域的优势从传统的关系型数据库扩展到全面的大数据解决方案，成为业界首个通过全面的、软硬件集成的产品来满足企业关键大数据需求的公司。

甲骨文公司以软硬件集成的方式提供大数据的捕获、组织、分析和决策的所有能力，为企业提供完整的集成化大数据解决方案，其中的核心产品包括Oracle大数据机、Exalytics商务智能云服务器和OracleExadata数据库云服务器。

Oracle大数据机用于多结构化大数据处理，旨在简化大数据项目的实施与管理，其数据加工结果可以通过超高带宽的InfiniBand网络连接到OracleExadata数据库云服务器中。OracleExadata可提供高效数据存储和计算能力，配备超大容量的内存和快速闪存，配合特有的软硬件优化技术，可对大数据进行高效的加工、分析和挖掘。同时，甲骨文公司在OracleExadata以及数据库软件层面提供了非常高效和便捷的高级数据分析软件，使数据能够更快、更高效地得到分析、挖掘和处理。

通过Oracle大数据机快速获得、组织大数据之后，企业还要根据对大数据全面、实时的分析结果做出科学的业务决策。OracleExalytics商务智能云服务器能以前所未有的速度运行数据分析应用，为客户提供实时、快速的可视分析。同样，它通过InfiniBand网络连接到OracleExadata上进行数据加载和读取，让大数据直接在内存中快速计算，满足大数据时代对数据分析展现的快速响应需求。OracleExalytics实现了新型分析应用，可用于异构IT环境，能存取和分析来自任何Oracle或非Oracle的关系型数据、OLAP或非结构化数据源的数据。

Oracle大数据机、OracleExalytics商务智能云服务器和OracleExadata数据库云服务器一起，组成了甲骨文最广泛、高度集成化系统产品组合，为企业提供了一个端到端的大数据解决方案，满足企业对大数据治理的所有需求。

坚持开放的战略

从当前的情况来看，在大数据应用领域，仅靠一家厂商的产品难以解决所有问题。因此对于大数据解决方案供应商来说，采用开放的策略是必然选择。甲骨文公司坚持全面、开放、集成的产品策略。这一策略在大数据领域同样适用。

这首先体现在大数据战略在技术上支持Hadoop和开源软件。除了集成化产品，甲骨文公司还拥有一系列领先技术，以帮助用户全面应对大数据应用的挑战，其中包括OracleNoSQL数据库，以及针对Hadoop架构的系列产品。

OracleNoSQL数据库专门为管理海量数据而设计，可以帮助企业存取非结构化数据，并可横向扩展至数百个高可用性节点。同时，该产品能够提供可预测的吞吐量和延迟时间，而且更加容易安装、配置和管理，支持广泛的工作负载。

而专门针对Hadoop架构的产品，能够帮助企业应对在组织和提取大数据方面所面临的挑战，包括Oracle数据集成Hadoop应用适配器、OracleHadoop装载器以及OracleSQL Connector等。

此外，OracleR Enterprise实现了R开源统计环境与Oracle数据库11g的集成，为进行更进一步的数据分析提供了一个企业就绪的、深度集成的环境。

值得一提的是，除对产品和解决方案不断投入，甲骨文公司还致力于和合作伙伴合作开发大数据解决方案。目前，几乎所有的甲骨文合作伙伴都在关注和测试大数据解决方案。甲骨文公司正积极寻找更多本地合作伙伴，为客户提供更加定制化的产品和解决方案。

总而言之，大数据已经和云计算、社交化、移动化一起，成为现阶段驱动企业IT模式变革的重要因素。Oracle大数据解决方案可以横跨IT架构的所有层面，与其他产品进行创新集成，并凭借卓越的可靠性、可扩展性和可管理性，为企业的IT发展，甚至业务发展提供理想的IT基础支持。

网站标题：hadoop和nosql,hadoop的意义
文章出自：http://6mz.cn/article/dsdhooh.html