快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线:028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决

python怎么转移数据库里的数据

这篇文章主要介绍了python怎么转移数据库里的数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

成都创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都网站制作、网站建设、外贸网站建设、四川网络推广、微信小程序开发、四川网络营销、四川企业策划、四川品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;成都创新互联为所有大学生创业者提供四川建站搭建服务,24小时服务热线:13518219792,官方网址:www.cdcxhl.com

python的数据类型有哪些?

python的数据类型:1. 数字类型,包括int(整型)、long(长整型)和float(浮点型)。2.字符串,分别是str类型和unicode类型。3.布尔型,Python布尔类型也是用于逻辑运算,有两个值:True(真)和False(假)。4.列表,列表是Python中使用最频繁的数据类型,集合中可以放任何数据类型。5. 元组,元组用”()”标识,内部元素用逗号隔开。6. 字典,字典是一种键值对的集合。7. 集合,集合是一个无序的、不重复的数据组合。

1、常见数据库

(1)Scikit-learn:需要复盖特征工程、模型训练和模型测试所有功能的程序库,Scikit-learn是最好的选择。这个优秀的免费软件可以提供机器学习和数据挖掘所需的所有工具,现在是python机器学习的标准库,建议使用成熟的机器学习算法。

(2)NLTK:虽然不是机器学习的程序库,但它是自然语言处理所必需的库。除了文本处理功能之外,它还包括聚类、分词、词干提取、标记、分析等大量数据集和其他关于词法的资源。

2、转移数据

基于Python2.7的版本环境,Python实现了数据库的跨服务器迁移,每次提交查询都要5000条,代码中每个查询提交的数量可以自己改变。

# -*- coding: utf-8 -*-
 
import MySQLdb
import time
import warnings
 
warnings.filterwarnings("ignore")
 
 
class ConnectMysql(object):
    def __init__(self):
#         这里设置分页查询, 每页查询多少数据
        self.page_size = 5000
 
    def getTable(self):
        conn = MySQLdb.connect(
            host="***.***.**.**",
            user="****",
            passwd="*************",
            db='****',
            charset='utf8'
        )
        conn_local = MySQLdb.connect(
            host="********************************",
            user="**********",
            passwd="********",
            db='*******',
            charset='utf8'
        )
        cur = conn.cursor()
        cur_local = conn_local.cursor()
        cur.execute('show tables')
        tables = cur.fetchall()
        for table in tables:
            print str(table[0]).lower()
            # 需要迁移的数据库查询表的列数
            cur.execute("SELECT COUNT(*) FROM information_schema.COLUMNS WHERE table_schema='china' AND table_name='" + table[0] + "'")
            table_col_count = cur.fetchone()
            # print table_col_count[0]
            # 需要迁移的数据库查询表的结构
            cur.execute('show create table ' + table[0])
            result = cur.fetchall()
            create_sql = result[0][1]
            # 查询需要迁移的数据库表的数据条数
            cur.execute('select count(*) from ' + table[0])
            total = cur.fetchone()
            page = total[0] / self.page_size
            page1 = total[0] % self.page_size
            if page1 != 0:
                page = page + 1
 
            # 阿里云数据库创建表
            cur_local.execute("SELECT table_name FROM information_schema.`TABLES` WHERE table_schema='user' AND table_name='" + str(table[0]).lower() + "'")
            table_name = cur_local.fetchone()
            if table_name is None:
                cur_local.execute(create_sql)
            for p in range(0, page):
                while True:
                    try:
                        print '开始', table[0], '的第', p + 1, '页查询'
                        if p == 0:
                            limit_param = ' limit ' + str(p * self.page_size) + ',' + str(self.page_size)
                        else:
                            limit_param = ' limit ' + str(p * self.page_size + 1) + ',' + str(self.page_size)
                        cur.execute('select * from ' + table[0] + limit_param)
                        inserts = cur.fetchall()
                        print '查询成功'
                        param = ''
                        for i in range(0, table_col_count[0]):
                            param = param + '%s,'
                        print '开始插入'
                        cur_local.executemany('replace into ' + table[0] + ' values (' + param[0:-1] + ')', inserts)
                        print table[0], '的第', p + 1, '页, 插入完成, 还有', page - p - 1, '页, 任重而道远'
                        conn_local.commit()
                        break
                    except Exception as e:
                        print e
                        time.sleep(60)
                        cur = conn.cursor()
                        cur_local = conn_local.cursor()
                print table[0], ' 插入完成'
                print '\n \n ======================================================================== \n\n'
        cur_local.close()
        conn_local.close()
        cur.close()
        conn.close()
 
 
if __name__ == '__main__':
    conn_mysql = ConnectMysql()
    conn_mysql.getTable()

感谢你能够认真阅读完这篇文章,希望小编分享的“python怎么转移数据库里的数据”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!


文章名称:python怎么转移数据库里的数据
网站网址:http://6mz.cn/article/jeocgg.html

其他资讯