十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商,新人活动买多久送多久,划算不套路!
在濂溪等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站设计、成都做网站 网站设计制作按需求定制设计,公司网站建设,企业网站建设,品牌网站制作,成都全网营销,外贸网站建设,濂溪网站建设费用合理。这篇文章将为大家详细讲解有关python 如何连接hive,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
python连接hive的几种方式
·基于pyhive连接hive。
·基于impyla连接hive。
方法一:使用PyHive库
安装依赖包:其中sasl安装可能会报错,可以去https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载对应版本安装。
pip install sasl pip install thrift pip install thrift-sasl pip install PyHive
Python脚本代码操作:
from pyhive import hive # or import hive conn = hive.Connection(host='****', port=****, username='****', database='****') cursor.execute(''SELECT * FROM my_awesome_data LIMIT 10'') for i in range(****): sql = "INSERT INTO **** VALUES ({},'username{}')".format(value, str(username)) cursor.execute(sql) # 下面是官网代码: from pyhive import presto # or import hive cursor = presto.connect('localhost').cursor() cursor.execute('SELECT * FROM my_awesome_data LIMIT 10') print(cursor.fetchone()) print(cursor.fetchall())
方法二:使用impyla库
impyla依赖包:
pip install six pip install bit-array pip install thriftpy
为了支持Hive还需要以下两个包:
pip install sasl pip install thrift-sasl
可在Python PyPI中下载impyla及其依赖包的源码
Python脚本代码:
from impala.dbapi import connect conn = connect(host ='****',port = ****) cursor = conn.cursor() cursor.execute('SELECT * FROM mytable LIMIT 100') print cursor.description # 打印结果集的schema results = cursor.fetchall()
关于python 如何连接hive就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。