29 python快速上手

Python操作MySQL和实战

    • 1. 事务
      • 1.1 MySQL客户端
      • 1.2 Python代码
    • 2. 锁
      • 2.1 排它锁
      • 2.2 共享锁
    • 3. 数据库连接池
    • 4. SQL工具类
      • 4.1 单例和方法
      • 4.2 上下文管理
    • 5.其他
    • 总结

在这里插入图片描述
目标：掌握事务和锁以及Python操作MySQL的各种开发必备知识。

概要：

  • 事务
  • 锁
  • 数据库连接池
  • SQL工具类
  • 其他

1. 事务

innodb引擎中支持事务，myisam不支持。

CREATE TABLE `users` (`id` int(11) NOT NULL AUTO_INCREMENT PRIMARY KEY,`name` varchar(32) DEFAULT NULL,`amount` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

在这里插入图片描述

例如：李杰 给 武沛齐 转账 100，那就会涉及2个步骤。

  • 李杰账户 减100
  • 武沛齐账户 加 100

这两个步骤必须同时完成才算完成，并且如果第一个完成、第二步失败，还是回滚到初始状态。

事务，就是来解决这种情况的。 大白话：要成功都成功；要失败都失败。

事务的具有四大特性（ACID）：

  • 原子性（Atomicity）

    原子性是指事务包含的所有操作不可分割，要么全部成功，要么全部失败回滚。

  • 一致性（Consistency）

    执行的前后数据的完整性保持一致。

  • 隔离性（Isolation）

    一个事务执行的过程中,不应该受到其他事务的干扰。

  • 持久性（Durability）

    事务一旦结束,数据就持久到数据库

1.1 MySQL客户端

mysql> select * from users;
+----+---------+---------+
| id | name    | amount  |
+----+---------+---------+
|  1 | wupeiqi |    5    |
|  2 |  alex   |    6    |
+----+---------+---------+
3 rows in set (0.00 sec)mysql> begin;  -- 开启事务 start transaction;
Query OK, 0 rows affected (0.00 sec)mysql> update users set amount=amount-2 where id=1;   -- 执行操作
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0mysql> update users set amount=amount+2 where id=2;   -- 执行操作
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0mysql> commit;  -- 提交事务  rollback;
Query OK, 0 rows affected (0.00 sec)mysql> select * from users;
+----+---------+---------+
| id | name    | amount  |
+----+---------+---------+
|  1 | wupeiqi |    3    |
|  2 |  ale x  |    8    |
+----+---------+---------+
3 rows in set (0.00 sec)

mysql> select * from users;
+----+---------+---------+
| id | name    | amount  |
+----+---------+---------+
|  1 | wupeiqi |    3    |
|  2 |  ale x  |    8    |
+----+---------+---------+
3 rows in set (0.00 sec)mysql> begin; -- 开启事务
Query OK, 0 rows affected (0.00 sec)mysql> update users set amount=amount-2 where id=1; -- 执行操作（此时数据库中的值已修改）
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0mysql> rollback; -- 事务回滚（回到原来的状态）
Query OK, 0 rows affected (0.00 sec)mysql> select * from users;
+----+---------+---------+
| id | name    | amount  |
+----+---------+---------+
|  1 | wupeiqi |    3    |
|  2 |  ale x  |    8    |
+----+---------+---------+
3 rows in set (0.00 sec)

1.2 Python代码

import pymysqlconn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root123', charset="utf8", db='userdb')
cursor = conn.cursor()# 开启事务
conn.begin()try:cursor.execute("update users set amount=1 where id=1")int('asdf')cursor.execute("update tran set amount=2 where id=2")
except Exception as e:# 回滚print("回滚")conn.rollback()
else:# 提交print("提交")conn.commit()cursor.close()
conn.close()

2. 锁

在用MySQL时，不知你是否会疑问：同时有很多做更新、插入、删除动作，MySQL如何保证数据不出错呢？

MySQL中自带了锁的功能，可以帮助我们实现开发过程中遇到的同时处理数据的情况。对于数据库中的锁，从锁的范围来讲有：

  • 表级锁，即A操作表时，其他人对整个表都不能操作，等待A操作完之后，才能继续。
  • 行级锁，即A操作表时，其他人对指定的行数据不能操作，其他行可以操作，等待A操作完之后，才能继续。
MYISAM支持表锁，不支持行锁；
InnoDB引擎支持行锁和表锁。即：在MYISAM下如果要加锁，无论怎么加都会是表锁。在InnoDB引擎支持下如果是基于索引查询的数据则是行级锁，否则就是表锁。

所以，一般情况下我们会选择使用innodb引擎，并且在 搜索 时也会使用索引（命中索引）。

接下来的操作就基于innodb引擎来操作：

CREATE TABLE `L1` (`id` int(11) NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`count` int(11) DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8;

在这里插入图片描述

在innodb引擎中，update、insert、delete的行为内部都会先申请锁（排它锁），申请到之后才执行相关操作，最后再释放锁。

所以，当多个人同时像数据库执行：insert、update、delete等操作时，内部加锁后会排队逐一执行。

而select则默认不会申请锁。

select * from xxx;

如果，你想要让select去申请锁，则需要配合 事务 + 特殊语法来实现。

  • for update，排它锁，加锁之后，其他不可以读写。

    begin; select * from L1 where name="武沛齐" for update;    -- name列不是索引（表锁）
commit;

    begin; -- 或者 start transaction;select * from L1 where id=1 for update;			  -- id列是索引（行锁）
commit;

  • lock in share mode ，共享锁，加锁之后，其他可读但不可写。

    begin; select * from L1 where name="武沛齐" lock in share mode;    -- 假设name列不是索引（表锁）
commit;

    begin; -- 或者 start transaction;select * from L1 where id=1 lock in share mode;           -- id列是索引（行锁）
commit;

2.1 排它锁

排它锁（ for update），加锁之后，其他事务不可以读写。

应用场景：总共100件商品，每次购买一件需要让商品个数减1 。

A: 访问页面查看商品剩余 100
B: 访问页面查看商品剩余 100此时 A、B 同时下单，那么他们同时执行SQL：update goods set count=count-1 where id=3
由于Innodb引擎内部会加锁，所以他们两个即使同一时刻执行，内部也会排序逐步执行。但是，当商品剩余 1个时，就需要注意了。
A: 访问页面查看商品剩余 1
B: 访问页面查看商品剩余 1此时 A、B 同时下单，那么他们同时执行SQL：update goods set count=count-1 where id=3
这样剩余数量就会出现 -1，很显然这是不正确的，所以应该怎么办呢？这种情况下，可以利用 排它锁，在更新之前先查询剩余数量，只有数量 >0 才可以购买，所以，下单时应该执行：begin; -- start transaction;select count from goods where id=3 for update;-- 获取个数进行判断if 个数>0:update goods set count=count-1 where id=3;else:-- 已售罄commit;

基于Python代码示例：

import pymysql
import threadingdef task():conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root123', charset="utf8", db='userdb')cursor = conn.cursor(pymysql.cursors.DictCursor)# cursor = conn.cursor()# 开启事务conn.begin()cursor.execute("select id,age from tran where id=2 for update")# fetchall      ( {"id":1,"age":10},{"id":2,"age":10}, )   ((1,10),(2,10))# {"id":1,"age":10}   (1,10)result = cursor.fetchone()current_age = result['age']if current_age > 0:cursor.execute("update tran set age=age-1 where id=2")else:print("已售罄")conn.commit()cursor.close()conn.close()def run():for i in range(5):t = threading.Thread(target=task)t.start()if __name__ == '__main__':run()

2.2 共享锁

共享锁（ lock in share mode），可以读，但不允许写。

加锁之后，后续其他事物可以可以进行读，但不允许写（update、delete、insert），因为写的默认也会加锁。

Locking Read Examples

Suppose that you want to insert a new row into a table child, and make sure that the child row has a parent row in table parent. Your application code can ensure referential integrity throughout this sequence of operations.

First, use a consistent read to query the table PARENT and verify that the parent row exists. Can you safely insert the child row to table CHILD? No, because some other session could delete the parent row in the moment between your SELECT and your INSERT, without you being aware of it.

To avoid this potential issue, perform the SELECT using LOCK IN SHARE MODE:

SELECT * FROM parent WHERE NAME = 'Jones' LOCK IN SHARE MODE;

After the LOCK IN SHARE MODE query returns the parent 'Jones', you can safely add the child record to the CHILD table and commit the transaction. Any transaction that tries to acquire an exclusive lock in the applicable row in the PARENT table waits until you are finished, that is, until the data in all tables is in a consistent state.

3. 数据库连接池

在这里插入图片描述

在操作数据库时需要使用数据库连接池。

pip3.9 install pymysql
pip3.9 install dbutils

import threading
import pymysql
from dbutils.pooled_db import PooledDBMYSQL_DB_POOL = PooledDB(creator=pymysql,  # 使用链接数据库的模块maxconnections=5,  # 连接池允许的最大连接数，0和None表示不限制连接数mincached=2,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建maxcached=3,  # 链接池中最多闲置的链接，0和None不限制blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错setsession=[],  # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]ping=0,# ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, # 2 = when a cursor is created, 4 = when a query is executed, 7 = alwayshost='127.0.0.1',port=3306,user='root',password='root123',database='userdb',charset='utf8'
)def task():# 去连接池获取一个连接conn = MYSQL_DB_POOL.connection()cursor = conn.cursor(pymysql.cursors.DictCursor)cursor.execute('select sleep(2)')result = cursor.fetchall()print(result)cursor.close()# 将连接交换给连接池conn.close()def run():for i in range(10):t = threading.Thread(target=task)t.start()if __name__ == '__main__':run()

4. SQL工具类

基于数据库连接池开发一个公共的SQL操作类，方便以后操作数据库。

4.1 单例和方法

# db.py
import pymysql
from dbutils.pooled_db import PooledDBclass DBHelper(object):def __init__(self):# TODO 此处配置，可以去配置文件中读取。self.pool = PooledDB(creator=pymysql,  # 使用链接数据库的模块maxconnections=5,  # 连接池允许的最大连接数，0和None表示不限制连接数mincached=2,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建maxcached=3,  # 链接池中最多闲置的链接，0和None不限制blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错setsession=[],  # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]ping=0,# ping MySQL服务端，检查是否服务可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = alwayshost='127.0.0.1',port=3306,user='root',password='root123',database='userdb',charset='utf8')def get_conn_cursor(self):conn = self.pool.connection()cursor = conn.cursor(pymysql.cursors.DictCursor)return conn, cursordef close_conn_cursor(self, *args):for item in args:item.close()def exec(self, sql, **kwargs):conn, cursor = self.get_conn_cursor()cursor.execute(sql, kwargs)conn.commit()self.close_conn_cursor(conn, cursor)def fetch_one(self, sql, **kwargs):conn, cursor = self.get_conn_cursor()cursor.execute(sql, kwargs)result = cursor.fetchone()self.close_conn_cursor(conn, cursor)return resultdef fetch_all(self, sql, **kwargs):conn, cursor = self.get_conn_cursor()cursor.execute(sql, kwargs)result = cursor.fetchall()self.close_conn_cursor(conn, cursor)return resultdb = DBHelper()
from db import dbdb.exec("insert into d1(name) values(%(name)s)", name="武沛齐666")ret = db.fetch_one("select * from d1")
print(ret)ret = db.fetch_one("select * from d1 where id=%(nid)s", nid=3)
print(ret)ret = db.fetch_all("select * from d1")
print(ret)ret = db.fetch_all("select * from d1 where id>%(nid)s", nid=2)
print(ret)

4.2 上下文管理

如果你想要让他也支持 with 上下文管理。

with 获取连接：执行SQL（执行完毕后，自动将连接交还给连接池）
# db_context.py
import threading
import pymysql
from dbutils.pooled_db import PooledDBPOOL = PooledDB(creator=pymysql,  # 使用链接数据库的模块maxconnections=5,  # 连接池允许的最大连接数，0和None表示不限制连接数mincached=2,  # 初始化时，链接池中至少创建的空闲的链接，0表示不创建maxcached=3,  # 链接池中最多闲置的链接，0和None不限制blocking=True,  # 连接池中如果没有可用连接后，是否阻塞等待。True，等待；False，不等待然后报错setsession=[],  # 开始会话前执行的命令列表。如：["set datestyle to ...", "set time zone ..."]ping=0,host='127.0.0.1',port=3306,user='root',password='root123',database='userdb',charset='utf8'
)class Connect(object):def __init__(self):self.conn = conn = POOL.connection()self.cursor = conn.cursor(pymysql.cursors.DictCursor)def __enter__(self):return selfdef __exit__(self, exc_type, exc_val, exc_tb):self.cursor.close()self.conn.close()def exec(self, sql, **kwargs):self.cursor.execute(sql, kwargs)self.conn.commit()def fetch_one(self, sql, **kwargs):self.cursor.execute(sql, kwargs)result = self.cursor.fetchone()return resultdef fetch_all(self, sql, **kwargs):self.cursor.execute(sql, kwargs)result = self.cursor.fetchall()return result
from db_context import Connectwith Connect() as obj:# print(obj.conn)# print(obj.cursor)ret = obj.fetch_one("select * from d1")print(ret)ret = obj.fetch_one("select * from d1 where id=%(id)s", id=3)print(ret)

5.其他

navicat，是一个桌面应用，让我们可以更加方便的管理MySQL数据库。

  • mac系统：https://www.macdo.cn/17030.html
  • win系统：
    • 链接: https://pan.baidu.com/s/13cjbrBquz9vjVqKgWoCQ1w 密码: qstp
    • 链接: https://pan.baidu.com/s/1JULIIwQA5s0qN98KP8UXHA 密码: p18f

总结

本讲内容比较重要，也是开发中经常会使用到的技能。

  • 事务，解决批量操作同时成功或失败的问题。
  • 锁，解决并发处理的问题。
  • 数据库连接池，解决多个人请求连接数据库的问题。
  • SQL工具类，解决连接数据库代码重复的问题。
  • navicat工具

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/667456.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Weblogic反序列化漏洞分析之CVE-2021-2394

Weblogic反序列化漏洞分析之CVE-2021-2394

目录 简介 前置知识 Serializable示例 Externalizable示例 联系weblogic ExternalizableLite接口 ExternalizableHelperl类 JdbcRowSetImpl类 MethodAttributeAccessor类 AbstractExtractor类 FilterExtractor类 TopNAggregator$PartialResult类 SortedBag$Wrappe…
阅读更多...
【测试运维】web自动化全知识点笔记第1篇：什么是Web自动化测试（已分享，附代码）

【测试运维】web自动化全知识点笔记第1篇：什么是Web自动化测试（已分享，附代码）

本系列文章md笔记（已分享）主要讨论Web自动化测试相关知识。了解什么是自动化，理解什么是自动化测试以及为什么要使用自动化测试。具体包含：WebDriver的基本操作，WebDriver的鼠标、键盘操作，下拉选择框、警告…
阅读更多...
SpringBoot RestTemplate 上传文件

SpringBoot RestTemplate 上传文件

SpringBoot RestTemplate 上传文件 Testpublic void testUpload() throws Exception {String url "http://127.0.0.1/file/upload";String filePath "C:\\temp\\1.png";RestTemplate rest new RestTemplate();FileSystemResource resource new FileSys…
阅读更多...
【教学类-46-01】吉祥字门贴1.0（华光通心圆_CNKI 文本框 空心字涂色，最好繁体字）

【教学类-46-01】吉祥字门贴1.0（华光通心圆_CNKI 文本框 空心字涂色，最好繁体字）

作品展示 背景需求： 马上就要过年了，家家户户大门上贴上对联和福字 我想用正方形红色手工纸（15CM）也做一个幼儿描线版的福字 问题一：福字顺时针旋转45度 打印纸上制作福字，需要让这个字顺时针旋转45度&am…
阅读更多...
C语言：简单排序

C语言：简单排序

题目描述 输入11个整数，如果第1个数为1，则将其中的第2至11个数升序排列；如果第1个数为0，则降序排列。 输入格式 输入一行，包含11个整数，用空格符分隔。 输出格式 输出1行，包含10个顺序排列的整…
阅读更多...
Qt程序设计-使用QSplashScreen制作开机界面

Qt程序设计-使用QSplashScreen制作开机界面

目录 QSplashScreen简介 实例演示 QSplashScreen简介 在Qt中，QSplashScreen类就是用来创建启动画面的。它是一个窗口类，可以显示一个图片，并在图片上显示一些文本信息。QSplashScreen类提供了一些方法，可以方便地设置启动画面的图片和文本，以及控制启动画面的显示和隐藏…
阅读更多...
【C++栈和队列：数据结构中的经典组合，高效处理先进先出与后进先出问题的最佳方案】

【C++栈和队列：数据结构中的经典组合，高效处理先进先出与后进先出问题的最佳方案】

[本节目标] 1. stack的介绍和使用 2. queue的介绍和使用 3. priority_queue的介绍和使用 4. 容器适配器 1. stack的介绍和使用 1.1 stack的介绍 1. stack是一种容器适配器，专门用在具有后进先出操作的上下文环境中，其删除只能从容器的一端进行元素的…
阅读更多...
【DC渗透系列】DC-2靶场

【DC渗透系列】DC-2靶场

arp先扫 ┌──(root㉿kali)-[~] └─# arp-scan -l Interface: eth0, type: EN10MB, MAC: 00:0c:29:6b:ed:27, IPv4: 192.168.100.251 Starting arp-scan 1.10.0 with 256 hosts (https://github.com/royhills/arp-scan) 192.168.100.1 00:50:56:c0:00:08 VMware, In…
阅读更多...
DolphinScheduler实现隔几天调度

DolphinScheduler实现隔几天调度

1.场景分析 dolphinscheduler（海豚）定时器模块-定时调度时每3秒|每3分钟|每3天这种定时，不能够跨分钟，跨小时，跨月，每次跨月等都会从每个月的第1天（第几天开始可以设定）开始重新计时…
阅读更多...
Unity3d Cinemachine篇（四）— StateDrivenCamera

Unity3d Cinemachine篇（四）— StateDrivenCamera

文章目录 前言使用StateDrivenCamera根据不同动画切换相机1. 创建一个游戏物体2. 创建StateDrivenCamera相机3. 创建动画4. 设置相机5. 完成 前言 上一期我们简单的使用了FreeLook相机，这次我们来使用一下StateDrivenCamera 使用StateDrivenCamera根据不同动画切换…
阅读更多...
PFMEA的具体实施步骤都有哪些——FMEA软件免费

PFMEA的具体实施步骤都有哪些——FMEA软件免费

免费试用FMEA软件-免费版-SunFMEA 一、引言 PFMEA（Process Failure Mode and Effects Analysis）是一种用于识别、评估和优先处理生产过程中潜在失效模式的工具。它通过对生产过程中的各个环节进行深入分析，发现可能导致产品不合格、过程不稳…
阅读更多...
docker maven插件使用介绍

docker maven插件使用介绍

1、配置docker连接 开放docker tcp连接参考本专栏下令一篇文章 2、docker service窗口 3、根据dockerfile 构建镜像 注意 idea 用通过管理员身份启动，否则连不上docker 构建前添加maven goal 打包 4、运行镜像 创建容器 5、运行docker compose 报错 需要先配置d…
阅读更多...
面了昆仑天工大模型算法岗（实习），感觉彻底凉凉。。。

面了昆仑天工大模型算法岗（实习），感觉彻底凉凉。。。

我是过年某985研二，过完年打算找大厂实习 offer，本文章主要记录了本小菜研找实习的坎坷历程。 应聘岗位：昆仑天工大模型算法工程师 面试轮数：第一面 1. 自我介绍 在自我介绍环节，我清晰地阐述了个人基本信息、教育背景…
阅读更多...
django微博热搜数据分析与可视化系统python毕业设计

django微博热搜数据分析与可视化系统python毕业设计

简而言之，数据可视化是以图形方式呈现结构化或非结构化数据，从而将隐藏在数据中的信息直接呈现给人们。但是有一个陷阱:它不仅仅是使用数据可视化工具将数据转化为图形。相反，它是从数据的角度看待世界。换句话说，数据可视化的对象…
阅读更多...
（7）【Python/机器学习/深度学习】Deep-Learning模型与算法应用—深度学习基础搭建最小神经网络

（7）【Python/机器学习/深度学习】Deep-Learning模型与算法应用—深度学习基础搭建最小神经网络

目录 一、深度学习使用python建立最简单的神经元neuron 1、人工智能&机器学习&深度学习三者关系 2、机器学习& 深度学习区别 3、神经元 4、最小神经网络模型（神经元/感知器） 5、(案例)Predicting if a person would buy life insurn…
阅读更多...
使用vue脚手架构建项目

使用vue脚手架构建项目

一、前言 * 创建好vue-cli的环境，下载好vue包依赖* 本文使用环境：vue/cli 5.0.8二、步骤 创建vueTest文件夹，管理员身份运行cmd , 进入到vueTest文件夹 执行命令vue create 你的项目名 ，这里我定义的项目名为: my-project 基于…
阅读更多...
基于微信小程序的校园水电费管理小程序的研究与实现

基于微信小程序的校园水电费管理小程序的研究与实现

博主介绍：✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…
阅读更多...
DAY39： 动态规划不同路径问题62

DAY39： 动态规划不同路径问题62

Leetcode: 62 不同路径 机器人从(0 , 0) 位置出发，到(m - 1, n - 1)终点。 基本思路 1、确定dp数组（dp table）以及下标的含义 dp[i][j] ：表示从（0 ，0）出发，到(i, j) 有dp[i][j]条…
阅读更多...
SpringBoot整合Flowable最新教程（二）启动流程

SpringBoot整合Flowable最新教程（二）启动流程

介绍 文章主要从SpringBoot整合Flowable讲起，关于Flowable是什么？数据库表解读以及操作的Service请查看SpringBoot整合Flowable最新教程（一）；   其他说明：Springboot版本是2.6.13，java版本是1…
阅读更多...
【QT+QGIS跨平台编译】之二十：【xerces+Qt跨平台编译】（一套代码、一套框架，跨平台编译）

【QT+QGIS跨平台编译】之二十：【xerces+Qt跨平台编译】（一套代码、一套框架，跨平台编译）

文章目录 一、xerces介绍二、文件下载三、文件分析四、pro文件五、编译实践一、xerces介绍 Xerces是一个开源的XML解析器，由Apache软件基金会维护。它是用Java语言编写的，提供了对XML文档进行解析、验证和操作的功能。Xerces具有高性能和广泛的兼容性，可用于各种Java应用程…
阅读更多...
最新文章

Copyright @ 2022~2023