快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线:028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决

关于sqlpython函数的信息

python sql 定义函数,调用后出错 def outlook(outlook1): s=cur.execute("select * from Pl

看样子是mysql把值当成列名了,它们的区别就在于是否有单引号,所以改成这个试试

成都创新互联公司是一家集网站建设,安宁企业网站建设,安宁品牌网站建设,网站定制,安宁网站建设报价,网络营销,网络优化,安宁网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

= '%s'

构建AI前的数据准备,SQL要比Python强

作为一名 Web 开发人员,我第一次与数据库和 SQL 产生交集是使用对象关系映射(ORM)。我使用的是 Django 查询集 API,这个界面用户体验很好。之后,我转向数据工程方向,更多地利用数据集来构建 AI。我的职责是从用户应用程序中获取数据,并将其转换为数据科学家可利用的内容,这一过程通常称为 ETL(extract, transform and load)。

随着产业发展,生产系统中的数据非常混乱,需要进行大量转换才能用于构建 AI。有些 JSON 列每行模式都不相同,有些列包含混合数据类型,有些行有错误值。此外,还需要计算「用户成为访问者的时间」以及「他们在两次访问间的等待时间」等特征。当我着手清理、聚合和管理数据特征时,我想确定哪种语言最适合该任务。在之前的工作中我每天都使用 Python,我知道它可以完成工作。但是,这次经历使我了解到,Python 可以完成一项任务并不意味着这个任务就应该使用 Python 来做。

我对 SQL 的第一个误解是:SQL 无法进行复杂的转换

我们正在处理一个时间序列数据集,我们希望能够跟踪特定用户。隐私法规不允许获取用户访问的具体日期,因此我们决定将记录日期归一化为用户首次访问的日期(如首次访问后 5 天等)。对于我们的分析,重要的是要知道离上次访问过去了多久以及离首次访问过去了多久。A 有两个样本数据集,一个有大约 750 万行,大小为 6.5 GB,另一个有 55 万行,大小为 900MB。

我使用下面的 Python 和 SQL 代码先在较小的数据集上测试转换。Python 和 SQL 分别花费 591 秒和 40.9 秒完成了任务。这意味着 SQL 的速度是 Python 的大约 14.5 倍!

SQL 转换不仅速度更快,而且代码也更易读,更易于维护。在这里,我使用 lag 和 first_value 函数来查找用户 历史 记录中的特定记录(即分区)。然后使用 age 函数来确定两次访问间的时间差。

更有趣的是,当这些转换脚本应用于 6.5 GB 的数据集时,Python 完全失败。在 3 次尝试中,Python 崩溃了 2 次,第三次我的计算机完全崩溃...... 而 SQL 只耗时 226 秒。

更多信息参见:

我对 SQL 的第一个误解是:SQL 无法扁平化不规则的 json

对我来说,另一个改变是我意识到 Postgres 可以很好地处理 json。我最初认为用 Postgres 扁平化或解析 json 是不可能的...... 我不敢相信自己竟然如此愚蠢。如果你想关联 json 并且它的模式在行间是一致的,那么最好的选择可能就是使用 Postgres 内置功能来解析 json。

另一方面,我的样本数据集中一半 json 不是有效的,因此存储为文本。在这种情况下,我要么重新编码数据使其有效,或者删除无效的行。为此,我创建了一个名为 is_json 的新 SQL 函数,然后使用该函数来验证 WHERE 子句中的 json 是否有效。

不幸的是,我发现 user_json 具有不同的模式,具体取决于用户所使用的 app 版本。虽然从应用程序开发的角度来看这是有道理的,但是有条件地解析每行的每种可能性代价是很高昂的。难道我的最终归宿还是 Python?不不不!我在 Stack Overflow 上找到了一个由 Postgres 大神编写的 klin 函数()。

这个函数能够成功地扁平化 json,轻松解决我的噩梦。

结语

有一种说法叫「Python 是做任何事情的第二好语言」。我相信这是真的,并且在某些情况下 Python 和「最好」语言之间的性能差异可以忽略不计。但是在本文介绍的情况下,Python 无法与 SQL 比肩。这些发现完全改变了我做 ETL 的方法。我现在的工作模式是「不要将数据移动到代码中,而是将代码移动到数据中」。Python 将数据移动到代码中,而 SQL 执行后者。更重要的是,我知道我只是触及了 SQL 和 postgres 的皮毛。我期待能发掘出更多出色的功能,使用分析库实现加速。

原文链接:

python sql 定义函数,调用后出错

要看你的数据库里存的是什么格式的,如果是unicode的话:

sql="select * from t.branch where name='河南'".decode('utf8')

如果是gb系列编码的话:

sql="select * from t.branch where name='河南'".decode('utf8').encode('gb18030')

python 有没有把sql结果,直接写入文件的方法

python把数据库查询结果写入文件的例子如下:

//以只读方式打开nodeset.txt

file_nodeset=open("nodeset.txt","r")

file_relationship=open("follower_followee.txt","a")

t=file_nodeset.readline()

while(''!=t):

cur=conn.cursor()

cur.execute("select * from follower_followee where followee_id=%s",t)

rows=cur.fetchall()//从数据库取出查询结果的一行

for row in rows: //开始循环处理

if (row[0] in nodeSet):

print('haha')

file_relationship.write('%s %s\n' % (row[0],row[1])) //写入文件

cur.close()

t=file_nodeset.readline()

file_nodeset.close()

file_relationship.close()

数据处理简单对比:Excel,SQL,Python

无论是什么工具,做数据分析的时候一定会涉及到两类工作:

这篇文章简单对比一下Excel、SQL和Python在这两类任务上的实现过程,从而对比其异同。

如图所示,所涉及的共有三个表:

可以看到,score表通过sno和student表连接、通过cno和course表连接。

另外,这张截图截自Excel,主要是为了方便后面Excel部分的讨论。

现在,我想要合并三张表,得到新表merge_table,表包含的列一次为:sno,cno,degree,sname,cname。

即,新表中包含score表的所有列,student表的sname列,以及course表的cname列。

为了讨论方便,先上结果:

首先,在 A17:E17 单元格创建所需列名,然后通过简单复制粘贴得到 A18:C28 这三列的数据。

D、E列的数据可以通过以下两种方法实现:

两种方法实现逻辑和结果都一样,但前者调用的时候比后者稍复杂。为了说明,D列数据的提取我使用了方法1,E列数据的提取我使用了方法2。

D列:

首先在 D18 单元格输入以下函数(函数中的单元格所对应的数据请看图01)

接着下拉函数至 D28 。

E列:

在 E18 单元格输入以下函数(函数中的单元格所对应的数据请看图01)

接着下拉函数至 E28 。

注意,如果要提取某个表中的多个列的数据,比如除了sname,我还想得到ssex、sbirthday和class的数据,由于这些列是一同储存在student表中的,用 VLOOPKUP() 显然更高效。

如果想要加快效率,还可以在原student表上新增一行,用数字x来表示第x列,然后在调用 VLOOPKUP() 时,直接把第三个参数指向这一行。

在合并关联表上,SQL非常便捷。实现的语句有两个(先创建或者导入原数据表):

两种方法返回的结果相同,结果如下:

我用的MySQL,不知道为什么合并后行的顺序变了=。=

在Python中,首先导入 numpy 和 pandas 模块:

接着导入数据表。

之后通过以下语句实现merge_table表的建立:

结果如下:

现在假设score表多了一行数据:

如图所示,蓝色部分为多出的数据,且课程6-106在course表中不存在。请无视逻辑问题,主要是为了方便讨论:)

遇到这种情况,上述的实现方法会出现一个问题:

因为课程号6-106在course表里并不存在,所以函数在返回值的时候出错了。

解决的办法有一个,就是在原函数上嵌套 IF() 函数。比如我把 E29 的函数更改为:

如果函数计算结果错误,则返回0。

在SQL中,如果出现此类情况, LEFT JOIN 会返回NULL值:

如果想把NULL值替换为0,查询合并表的时候可以加上 isnull() 函数(MySQL中此函数写作 ifnull() ):

如果函数计算结果错误,则返回0

返回结果和Excel的差不多,就不上图了。

Python中情况类似:

如果想把NaN值替换为0,只需要在创建merge_table表之后,添加一行语句:

返回结果也不上图了,和Excel的一样。

面对合并表中数据不匹配,SQL和Python中都可以在合并表的时候把多出项忽略不计,只要把 LEFT JOIN 换成 INNER JOIN 就行了。但Excel不能自动删除多出项所在行。

为了方便,现在做一个透视表,该表返回 选了课的同学的学号和其平均课程成绩 。

三个软件对于透视表的实现都很友好,并且效率相近。

Excel在数据透视表工具下把列各种拖拽就行了。

另外,Excel的数据透视表可以选择返回合计(Grand Total)或者不返回。

语句:

结果:

语句:

结果:

一般做透视表的最终目的是作图,毕竟一图胜千语。

从这个目的出发,Python比SQL、Excel更实用,一来Python比Excel作图高效很多,二来SQL不能作图。

通过上述对比可以发现,Excel合并关联表比SQL、Python要低效得多,而且在“数据不匹配”问题上解决得不好;而在另一方面,三者在创建透视表上表现相似,就看你习惯用哪个了:)

如何用python写sql

python可以利用pymysql模块操作数据库。

什么是 PyMySQL?

PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2中则使用mysqldb。

PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-Python MySQL 客户端库。

PyMySQL 安装

在使用 PyMySQL 之前,我们需要确保 PyMySQL 已安装。

PyMySQL 下载地址:。

如果还未安装,我们可以使用以下命令安装最新版的 PyMySQL:

$ pip3 install PyMySQL

如果你的系统不支持 pip 命令,可以使用以下方式安装:

1、使用 git 命令下载安装包安装(你也可以手动下载):

$ git clone cd PyMySQL/$ python3 setup.py install

2、如果需要制定版本号,可以使用 curl 命令来安装:

$ # X.X 为 PyMySQL 的版本号$ curl -L | tar xz$ cd PyMySQL*$ python3 setup.py install

$ # 现在你可以删除 PyMySQL* 目录

注意:请确保您有root权限来安装上述模块。

安装的过程中可能会出现"ImportError: No module named setuptools"的错误提示,意思是你没有安装setuptools,你可以访问 找到各个系统的安装方法。

Linux 系统安装实例:

$ wget python3 ez_setup.py

数据库连接

连接数据库前,请先确认以下事项:

您已经创建了数据库 TESTDB.

在TESTDB数据库中您已经创建了表 EMPLOYEE

EMPLOYEE表字段为 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。

连接数据库TESTDB使用的用户名为 "testuser" ,密码为 "test123",你可以可以自己设定或者直接使用root用户名及其密码,Mysql数据库用户授权请使用Grant命令。

在你的机子上已经安装了 Python MySQLdb 模块。

如果您对sql语句不熟悉,可以访问我们的 SQL基础教程

实例:

以下实例链接 Mysql 的 TESTDB 数据库:

实例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()

# 使用 execute()  方法执行 SQL 查询 cursor.execute("SELECT VERSION()")

# 使用 fetchone() 方法获取单条数据.data = cursor.fetchone()

print ("Database version : %s " % data)

# 关闭数据库连接db.close()

执行以上脚本输出结果如下:

Database version : 5.5.20-log

创建数据库表

如果数据库连接存在我们可以使用execute()方法来为数据库创建表,如下所示创建表EMPLOYEE:

实例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()

# 使用 execute() 方法执行 SQL,如果表存在则删除cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")

# 使用预处理语句创建表sql = """CREATE TABLE EMPLOYEE (

    FIRST_NAME  CHAR(20) NOT NULL,

    LAST_NAME  CHAR(20),

    AGE INT,  

    SEX CHAR(1),

    INCOME FLOAT )"""

cursor.execute(sql)

# 关闭数据库连接db.close()

数据库插入操作

以下实例使用执行 SQL INSERT 语句向表 EMPLOYEE 插入记录:

实例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 cursor = db.cursor()

# SQL 插入语句sql = """INSERT INTO EMPLOYEE(FIRST_NAME,

    LAST_NAME, AGE, SEX, INCOME)

    VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""try:   # 执行sql语句

cursor.execute(sql)

# 提交到数据库执行

db.commit()except:   # 如果发生错误则回滚

db.rollback()

# 关闭数据库连接db.close()

以上例子也可以写成如下形式:

实例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 cursor = db.cursor()

# SQL 插入语句sql = "INSERT INTO EMPLOYEE(FIRST_NAME, \

  LAST_NAME, AGE, SEX, INCOME) \

  VALUES ('%s', '%s',  %s,  '%s',  %s)" % \       ('Mac', 'Mohan', 20, 'M', 2000)try:   # 执行sql语句

cursor.execute(sql)

# 执行sql语句

db.commit()except:   # 发生错误时回滚

db.rollback()

# 关闭数据库连接db.close()

以下代码使用变量向SQL语句中传递参数:

..................................user_id = "test123"password = "password"con.execute('insert into Login values( %s,  %s)' % \             (user_id, password))..................................

数据库查询操作

Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。

fetchone(): 该方法获取下一个查询结果集。结果集是一个对象

fetchall(): 接收全部的返回结果行.

rowcount: 这是一个只读属性,并返回执行execute()方法后影响的行数。

实例:

查询EMPLOYEE表中salary(工资)字段大于1000的所有数据:

实例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 cursor = db.cursor()

# SQL 查询语句sql = "SELECT * FROM EMPLOYEE \

  WHERE INCOME %s" % (1000)try:   # 执行SQL语句

cursor.execute(sql)

# 获取所有记录列表

results = cursor.fetchall()

for row in results:      fname = row[0]

 lname = row[1]

 age = row[2]

 sex = row[3]

 income = row[4]

  # 打印结果

 print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % \             (fname, lname, age, sex, income ))except:   print ("Error: unable to fetch data")

# 关闭数据库连接db.close()

以上脚本执行结果如下:

fname=Mac, lname=Mohan, age=20, sex=M, income=2000

数据库更新操作

更新操作用于更新数据表的的数据,以下实例将 TESTDB 表中 SEX 为 'M' 的 AGE 字段递增 1:

实例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 cursor = db.cursor()

# SQL 更新语句sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')try:   # 执行SQL语句

cursor.execute(sql)

# 提交到数据库执行

db.commit()except:   # 发生错误时回滚

db.rollback()

# 关闭数据库连接db.close()

删除操作

删除操作用于删除数据表中的数据,以下实例演示了删除数据表 EMPLOYEE 中 AGE 大于 20 的所有数据:

实例(Python 3.0+)

#!/usr/bin/python3

import pymysql

# 打开数据库连接db = pymysql.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 cursor = db.cursor()

# SQL 删除语句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try:   # 执行SQL语句

cursor.execute(sql)

# 提交修改

db.commit()except:   # 发生错误时回滚

db.rollback()

# 关闭连接db.close()

执行事务

事务机制可以确保数据一致性。

事务应该具有4个属性:原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。

原子性(atomicity)。一个事务是一个不可分割的工作单位,事务中包括的诸操作要么都做,要么都不做。

一致性(consistency)。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。

隔离性(isolation)。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的,并发执行的各个事务之间不能互相干扰。

持久性(durability)。持续性也称永久性(permanence),指一个事务一旦提交,它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。

Python DB API 2.0 的事务提供了两个方法 commit 或 rollback。

实例

实例(Python 3.0+)

# SQL删除记录语句sql = "DELETE FROM EMPLOYEE WHERE AGE %s" % (20)try:   # 执行SQL语句

cursor.execute(sql)

# 向数据库提交

db.commit()except:   # 发生错误时回滚

db.rollback()

对于支持事务的数据库, 在Python数据库编程中,当游标建立之时,就自动开始了一个隐形的数据库事务。

commit()方法游标的所有更新操作,rollback()方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。

错误处理

DB API中定义了一些数据库操作的错误及异常,下表列出了这些错误和异常:

异常

描述

Warning    当有严重警告时触发,例如插入数据是被截断等等。必须是 StandardError 的子类。  

Error    警告以外所有其他错误类。必须是 StandardError 的子类。  

InterfaceError    当有数据库接口模块本身的错误(而不是数据库的错误)发生时触发。 必须是Error的子类。  

DatabaseError    和数据库有关的错误发生时触发。 必须是Error的子类。  

DataError    当有数据处理时的错误发生时触发,例如:除零错误,数据超范围等等。 必须是DatabaseError的子类。  

OperationalError    指非用户控制的,而是操作数据库时发生的错误。例如:连接意外断开、 数据库名未找到、事务处理失败、内存分配错误等等操作数据库是发生的错误。 必须是DatabaseError的子类。  

IntegrityError    完整性相关的错误,例如外键检查失败等。必须是DatabaseError子类。  

InternalError    数据库的内部错误,例如游标(cursor)失效了、事务同步失败等等。 必须是DatabaseError子类。  

ProgrammingError    程序错误,例如数据表(table)没找到或已存在、SQL语句语法错误、 参数数量错误等等。必须是DatabaseError的子类。  

NotSupportedError    不支持错误,指使用了数据库不支持的函数或API等。例如在连接对象上 使用.rollback()函数,然而数据库并不支持事务或者事务已关闭。 必须是DatabaseError的子类。  


分享标题:关于sqlpython函数的信息
分享网址:http://6mz.cn/article/dodcoci.html

其他资讯