十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
这篇文章主要介绍Ubuntu中如何安装hive1.1 + MySQL,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
成都创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站设计、成都做网站、思明网络推广、小程序设计、思明网络营销、思明企业策划、思明品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;成都创新互联为所有大学生创业者提供思明建站搭建服务,24小时服务热线:13518219792,官方网址:www.cdcxhl.com
一,下载
1, apache-hive-1.1.0-bin.tar.gz下载
下载地址:http://apache.dataguru.cn/hive/hive-1.1.0/apache-hive-1.1.0-bin.tar.gz
2,mysql-connector-java-5.0.8.tar.gz下载
二,安装
1,mysql 安装:
sudo apt-get install mysql-server
中间让设root密码,请认真添写,并劳记
启动MySQL:
创建hive连接的用户,和hive存放元数据的数据库,如下:
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive' ;
Query OK, 0 rows affected (0.09 sec)
mysql> create database hive default character set latin1; //字符集必须是latian1,如果是utf8则很多 hive元数据表无法创建。
Query OK, 1 row affected (0.01 sec)
具体的启动命令:
启动metastore:(远程mysql需要启动)
hive --service metastore -hiveconf hbase.zookeeper.quorum=db96,db98,db99 -hiveconf hbase.zookeeper.property.clientPort=2181
启动hiveservice:
hive --service hiveserver -hiveconf hbase.zookeeper.quorum=db96,db98,db99
-hiveconf hbase.zookeeper.property.clientPort=2181 //(启动服务,这样jdbc:hive就能连上,默认10000端口,后面的部分一定要带上,否则用eclipse连接不上的)
2,hive安装:进入hive下载目录解压apache-hive-1.1.0-bin.tar.gz到/usr/local目录
sudo tar -zxvf apache-hive-1.1.0-bin.tar.gz -C /usr/local
mv apche-hive-1.1.0-bin hive
sudo chown -R hadoop:hadoop hive
三,环境配置
1,/etc/profile:
exprot HIVE_HOME=/usr/local/hive
export PATH=$HIVE_HOME/bin:$PATH
2,cp hive-default.xml.template hive-site.xml 并配置hive.site.xml
(这里就与前面的hdfs dfs -mkdir -p /usr/hive/warehouse相对应)
其中node0指的是笔者的NameNode的hostname;
//这个没有变化与derby配置时相同
-------------------------------------
javax.jdo.option.ConnectionURL
这个参数使用来设置元数据连接字串
-------------------------------------
javax.jdo.option.ConnectionDriverName
关于在hive中用java来开发与mysql进行交互时,
需要用到一个关于mysql的connector,
这个可以将java语言描述的对database进行的操作,
转化为mysql可以理解的语句。
connector是一个用java语言描述的jar文件。
而这个connector可在官方网站上下载得到。
经证实即便connector与mysql的版本号不一致,
也可以实现相应的功能。
connector是要copy到/usr/hive/lib目录下面的。
cp mysql-connector-java-5.1.1.18-bin /usr/hive/lib
-------------------------------------
这个javax.jdo.option.ConnectionUserName
是用来设置hive存放的元数据的数据库(这里是mysql数据库)的用户名称的。
而这个‘hive‘可以根据用户自己的需要来自行设置
--------------------------------------
这个javax.jdo.option.ConnetionPassword是用来设置,
用户登录数据库的时候需要输入的密码的。
而这个‘hive’同样可以根据用户自己的需要来进行设置。
上面的配置中用到的jar包均在hbase/lib下,
[root@db96 lib]# pwd //发现hive的lib目录下没有该文件。去hbase的lib下找到下面4个文件拷贝
//到hive的lib目录下。
/usr/local/hive/lib
[root@db96 lib]# ll protobuf-java-2.5.0.jar hbase-client-0.96.2-hadoop2.jar hbase-common-0.96.2-hadoop2.jar guava-12.0.1.jar
ls: 无法访问protobuf-java-2.5.0.jar: 没有那个文件或目录
ls: 无法访问hbase-client-0.96.2-hadoop2.jar: 没有那个文件或目录
ls: 无法访问hbase-common-0.96.2-hadoop2.jar: 没有那个文件或目录
ls: 无法访问guava-12.0.1.jar: 没有那个文件或目录
[root@db96 lib]# pwd
/usr/local/hbase/lib
[root@db96 lib]# ll protobuf-java-2.5.0.jar hbase-client-0.96.2-hadoop2.jar hbase-common-0.96.2-hadoop2.jar guava-12.0.1.jar
-rw-r--r-- 1 root root 1795932 12月 11 2013 guava-12.0.1.jar
-rw-r--r-- 1 root root 826678 3月 25 07:03 hbase-client-0.96.2-hadoop2.jar
-rw-r--r-- 1 root root 371546 3月 25 07:03 hbase-common-0.96.2-hadoop2.jar
-rw-r--r-- 1 root root 533455 12月 11 2013 protobuf-java-2.5.0.jar
[root@db96 lib]# cp protobuf-java-2.5.0.jar hbase-client-0.96.2-hadoop2.jar hbase-common-0.96.2-hadoop2.jar guava-12.0.1.jar /usr/local/hive/lib
3,cp hive-log4j.properties.template hive-log4j.proprties
vi hive-log4j.properties
hive.log.dir=
这个是当hive运行时,相应的日志文档存储到什么地方
(mine:hive.log.dir=/usr/hive/log/${user.name})
hive.log.file=hive.log
这个是hive日志文件的名字是什么
默认的就可以,只要您能认出是日志就好,
只有一个比较重要的需要修改一下,否则会报错。
log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter
如果没有修改的话会出现:
WARNING: org.apache.hadoop.metrics.EventCounter is deprecated.
please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
(只要按照警告提示修改即可)。
4,最后在hive/lib目录下会有一个jline-2.12.jar要拷备到 hadoop/share/hadoop/yarn/lib下替换掉jline-0.19.jar
以上是“Ubuntu中如何安装hive1.1 + mysql”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!