前言
上次通过学习，懂得了如何通过不同的对象来定位页面的元素（id,class_name,tag_name,xpath,css等），可以实现模拟点击的功能。当然，这只是初期的web自动化的一点小成绩。当你觉得这些都应用的差不多的情况下，你就会不自觉地想，如何通过连接数据库，来对比页面数据与数据库中的是否一致呢？下面就一块学习下pyhon如何连接SQL数据库，并对查询出的数据进行操作，以获得你最终想要的数据的。
一、安装
PyMySQL是python中操作MySQL的模块（库），本文的python版本：3.6 PyMySQL版本：0.8.0
在命令行输入：pip install PyMySQL
二、使用操作
1、执行SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/usr/bin/env pytho
# -*- coding:utf-8 -*-
import pymysql
# 创建连接
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1', charset='utf8')
# 创建游标
cursor= conn.cursor()
# 执行SQL，并返回收影响行数
effect_row= cursor.execute("select * from tb7")
# 执行SQL，并返回受影响行数
#effect_row = cursor.execute("update tb7 set pass = '123' where nid = %s", (11,))
# 执行SQL，并返回受影响行数,执行多次
#effect_row = cursor.executemany("insert into tb7(user,pass,licnese)values(%s,%s,%s)", [("u1","u1pass","11111"),("u2","u2pass","22222")])
# 提交，不然无法保存新建或者修改的数据
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()
注意：存在中文的时候，连接需要添加charset='utf8'，否则中文显示乱码。
2、获取查询数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
cursor.execute("select * from tb7")
# 获取剩余结果的第一行数据
row_1= cursor.fetchone()
print row_1
# 获取剩余结果前n行数据
# row_2 = cursor.fetchmany(3)
# 获取剩余结果所有数据
# row_3 = cursor.fetchall()
conn.commit()
cursor.close()
conn.close()
3、获取新创建数据自增ID
可以获取到最新自增的ID，也就是最后插入的一条数据ID
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
effect_row= cursor.executemany("insert into tb7(user,pass,licnese)values(%s,%s,%s)", [("u3","u3pass","11113"),("u4","u4pass","22224")])
conn.commit()
cursor.close()
conn.close()
#获取自增id
new_id= cursor.lastrowid
print new_id
4、移动游标
操作都是靠游标，那对游标的控制也是必须的
1
2
3
4
注：在fetch数据时按照顺序进行，可以使用cursor.scroll(num,mode)来移动游标位置，如：
cursor.scroll(1,mode='relative')# 相对当前位置移动
cursor.scroll(2,mode='absolute')# 相对绝对位置移动
5、fetch数据类型
关于默认获取的数据是元祖类型，如果想要或者字典类型的数据，即：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
#游标设置为字典类型
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
cursor.execute("select * from tb7")
row_1= cursor.fetchone()
print row_1#{u'licnese': 213, u'user': '123', u'nid': 10, u'pass': '213'}
conn.commit()
cursor.close()
conn.close()
6、调用存储过程
a、调用无参存储过程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
#游标设置为字典类型
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
#无参数存储过程
cursor.callproc('p2')#等价于cursor.execute("call p2()")
row_1= cursor.fetchone()
print row_1
conn.commit()
cursor.close()
conn.close()
b、调用有参存储过程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
cursor.callproc('p1', args=(1,22,3,4))
#获取执行完存储的参数,参数@开头
cursor.execute("select @p1,@_p1_1,@_p1_2,@_p1_3")#{u'@_p1_1': 22, u'@p1': None, u'@_p1_2': 103, u'@_p1_3': 24}
row_1= cursor.fetchone()
print row_1
conn.commit()
cursor.close()
conn.close()
三、关于pymysql防注入
1、字符串拼接查询，造成注入
正常查询语句：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1"
passwd="u1pass"
#正常构造语句的情况
sql="select user,pass from tb7 where user='%s' and pass='%s'" % (user,passwd)
#sql=select user,pass from tb7 where user='u1' and pass='u1pass'
row_count=cursor.execute(sql) row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
构造注入语句：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1' or '1'-- "
passwd="u1pass"
sql="select user,pass from tb7 where user='%s' and pass='%s'" % (user,passwd)
#拼接语句被构造成下面这样，永真条件，此时就注入成功了。因此要避免这种情况需使用pymysql提供的参数化查询。
#select user,pass from tb7 where user='u1' or '1'-- ' and pass='u1pass'
row_count=cursor.execute(sql)
row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
2、避免注入，使用pymysql提供的参数化语句
正常参数化查询
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1"
passwd="u1pass"
#执行参数化查询
row_count=cursor.execute("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))
row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
构造注入，参数化查询注入失败。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1' or '1'-- "
passwd="u1pass"
#执行参数化查询
row_count=cursor.execute("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))
#内部执行参数化生成的SQL语句，对特殊字符进行了加\转义，避免注入语句生成。
# sql=cursor.mogrify("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))
# print sql
#select user,pass from tb7 where user='u1\' or \'1\'-- ' and pass='u1pass'被转义的语句。
row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
结论：excute执行SQL语句的时候，必须使用参数化的方式，否则必然产生SQL注入漏洞。
3、使用存mysql储过程动态执行SQL防注入
使用MYSQL存储过程自动提供防注入，动态传入SQL到存储过程执行语句。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
delimiter \\
DROP PROCEDURE IF EXISTS proc_sql \\
CREATE PROCEDURE proc_sql (
in nid1INT,
in nid2INT,
in callsql VARCHAR(255)
)
BEGIN
set @nid1= nid1;
set @nid2= nid2;
set @callsql= callsql;
PREPARE myprod FROM @callsql;
-- PREPARE prod FROM'select * from tb2 where nid>? and nid<?'; 传入的值为字符串，？为占位符
-- 用@p1，和@p2填充占位符
EXECUTE myprod USING @nid1,@nid2;
DEALLOCATE prepare myprod;
END\\
delimiter ;
1
2
3
4
set @nid1=12;
set @nid2=15;
set @callsql= 'select * from tb7 where nid>? and nid<?';
CALL proc_sql(@nid1,@nid2,@callsql)
pymsql中调用
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
mysql="select * from tb7 where nid>? and nid<?"
cursor.callproc('proc_sql', args=(11,15, mysql))
rows= cursor.fetchall()
print rows#((12, 'u1', 'u1pass', 11111), (13, 'u2', 'u2pass', 22222), (14, 'u3', 'u3pass', 11113))
conn.commit()
cursor.close()
conn.close()
四、使用with简化连接过程
每次都连接关闭很麻烦，使用上下文管理，简化连接过程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
import contextlib
#定义上下文管理器，连接后自动关闭连接
@contextlib.contextmanager
def mysql(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1',charset='utf8'):
conn= pymysql.connect(host=host, port=port, user=user, passwd=passwd, db=db, charset=charset)
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
try:
yield cursor
finally:
conn.commit()
cursor.close()
conn.close()
# 执行sql
with mysql() as cursor:
print(cursor)
row_count= cursor.execute("select * from tb7")
row_1= cursor.fetchone()
print row_count, row_1
: Table 'mysql.servers' doesn't exist)
)
