Python中数据库连接的管理

在现代应用程序中,数据库是一个至关重要的组件。无论是小型应用还是大型分布式系统,良好的数据库连接管理都是确保系统高效、可靠运行的关键。本文将详细介绍在Python中管理数据库连接的最佳实践和技术,包括连接池、ORM(对象关系映射)以及如何确保数据库操作的安全性和性能。

一、数据库连接的基本概念

在讨论数据库连接管理之前,先了解一些基本概念:

  1. 数据库连接:指应用程序与数据库之间的通信通道。每次应用程序需要访问数据库时,都会建立一个连接。
  2. 连接池:为了减少建立和关闭数据库连接的开销,连接池预先创建一定数量的数据库连接,应用程序可以复用这些连接,从而提高性能。
  3. ORM(对象关系映射):是一种编程技术,用于将数据库中的数据与编程语言中的对象相对应,简化数据库操作。

二、直接使用数据库连接

在Python中,可以直接使用数据库驱动程序进行数据库连接,如sqlite3mysql-connector-pythonpsycopg2等。

2.1 使用sqlite3进行SQLite连接
 

import sqlite3 def get_sqlite_connection(db_path='example.db'): """获取SQLite数据库连接""" conn = sqlite3.connect(db_path) return conn def close_connection(conn): """关闭数据库连接""" if conn: conn.close() # 示例使用 conn = get_sqlite_connection() cursor = conn.cursor() cursor.execute("CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)") conn.commit() close_connection(conn)

2.2 使用mysql-connector-python进行MySQL连接
 

import mysql.connector def get_mysql_connection(): """获取MySQL数据库连接""" conn = mysql.connector.connect( host='localhost', user='yourusername', password='yourpassword', database='yourdatabase' ) return conn def close_connection(conn): """关闭数据库连接""" if conn: conn.close() # 示例使用 conn = get_mysql_connection() cursor = conn.cursor() cursor.execute("CREATE TABLE IF NOT EXISTS users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255), age INT)") conn.commit() close_connection(conn)

2.3 使用psycopg2进行PostgreSQL连接

import psycopg2 def get_postgres_connection(): """获取PostgreSQL数据库连接""" conn = psycopg2.connect( host='localhost', user='yourusername', password='yourpassword', dbname='yourdatabase' ) return conn def close_connection(conn): """关闭数据库连接""" if conn: conn.close() # 示例使用 conn = get_postgres_connection() cursor = conn.cursor() cursor.execute("CREATE TABLE IF NOT EXISTS users (id SERIAL PRIMARY KEY, name VARCHAR(255), age INT)") conn.commit() close_connection(conn)

三、使用连接池

为了提高数据库操作的性能和资源利用效率,建议使用连接池。连接池通过复用数据库连接,减少了频繁打开和关闭连接的开销。

3.1 使用sqlalchemy连接池

SQLAlchemy内置了连接池管理功能,且支持多种数据库。下面以MySQL为例:

from sqlalchemy import create_engine def get_engine(): """获取SQLAlchemy引擎""" engine = create_engine('mysql+mysqlconnector://yourusername:yourpassword@localhost/yourdatabase', pool_size=10, max_overflow=20) return engine def get_connection(engine): """获取数据库连接""" conn = engine.connect() return conn def close_connection(conn): """关闭数据库连接""" if conn: conn.close() # 示例使用 engine = get_engine() conn = get_connection(engine) conn.execute("CREATE TABLE IF NOT EXISTS users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255), age INT)") close_connection(conn)

3.2 使用pymysql连接池

import pymysql from DBUtils.PooledDB import PooledDB def get_pymysql_pool(): """获取pymysql连接池""" pool = PooledDB( creator=pymysql, maxconnections=10, mincached=2, maxcached=5, blocking=True, host='localhost', user='yourusername', password='yourpassword', database='yourdatabase' ) return pool def get_connection(pool): """获取数据库连接""" conn = pool.connection() return conn def close_connection(conn): """关闭数据库连接""" if conn: conn.close() # 示例使用 pool = get_pymysql_pool() conn = get_connection(pool) cursor = conn.cursor() cursor.execute("CREATE TABLE IF NOT EXISTS users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255), age INT)") conn.commit() close_connection(conn)

四、使用ORM(对象关系映射)

ORM使得数据库操作更加直观,能够直接对对象进行增删改查操作。SQLAlchemy是Python中最流行的ORM库之一。

4.1 安装SQLAlchemy

pip install sqlalchemy

4.2 使用SQLAlchemy ORM

使用SQLAlchemy ORM可以简化数据库操作。下面以SQLite为例:

from sqlalchemy import create_engine, Column, Integer, String, Sequence from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker # 创建数据库引擎 engine = create_engine('sqlite:///example.db', echo=True) # 创建基类 Base = declarative_base() # 定义模型类 class User(Base): __tablename__ = 'users' id = Column(Integer, Sequence('user_id_seq'), primary_key=True) name = Column(String(50)) age = Column(Integer) # 创建表 Base.metadata.create_all(engine) # 创建会话 Session = sessionmaker(bind=engine) session = Session() # 插入数据 new_user = User(name='Alice', age=25) session.add(new_user) session.commit() # 查询数据 users = session.query(User).all() for user in users: print(user) # 更新数据 user = session.query(User).filter_by(name='Alice').first() user.age = 26 session.commit() # 删除数据 user = session.query(User).filter_by(name='Alice').first() session.delete(user) session.commit()

五、数据库操作的最佳实践

5.1 使用上下文管理器

使用上下文管理器可以确保数据库连接在使用完后被正确关闭,避免资源泄漏。

import sqlite3 from contextlib import contextmanager @contextmanager def get_sqlite_connection(db_path='example.db'): conn = sqlite3.connect(db_path) try: yield conn finally: conn.close() # 示例使用 with get_sqlite_connection() as conn: cursor = conn.cursor() cursor.execute("CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT, age INTEGER)") conn.commit()

5.2 使用事务

确保数据库操作的原子性和一致性,使用事务进行批量操作,确保要么全部成功,要么全部失败。

 

def insert_users(users): with get_sqlite_connection() as conn: cursor = conn.cursor() try: for user in users: cursor.execute("INSERT INTO users (name, age) VALUES (?, ?)", (user['name'], user['age'])) conn.commit() except Exception as e: conn.rollback() raise e # 示例使用 users = [{'name': 'Alice', 'age': 25}, {'name': 'Bob', 'age': 30}] insert_users(users)

5.3 使用参数化查询

避免SQL注入攻击,使用参数化查询来执行数据库操作。

def get_user_by_name(name): with get_sqlite_connection() as conn: cursor = conn.cursor() cursor.execute("SELECT * FROM users WHERE name = ?", (name,)) return cursor.fetchone() # 示例使用 user = get_user_by_name('Alice') print(user)

六、数据库连接池的高级配置

6.1 SQLAlchemy连接池高级配置

SQLAlchemy提供了丰富的连接池配置选项,可以根据需求进行调整。

 

from sqlalchemy.pool import QueuePool # 自定义连接池 engine = create_engine( 'mysql+mysqlconnector://yourusername:yourpassword@localhost/yourdatabase', poolclass=QueuePool, pool_size=10, max_overflow=20, pool_timeout=30, pool_recycle=3600 ) # 示例使用 conn = engine.connect() conn.execute("CREATE TABLE IF NOT EXISTS users (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255), age INT)") conn.close()

6.2 使用Redis作为连接池

可以使用Redis作为连接池管理数据库连接,提高连接管理的灵活性和扩展性。

 

import redis from redis.connection import BlockingConnectionPool # 创建Redis连接池 pool = BlockingConnectionPool(host='localhost', port=6379, db=0, max_connections=10) def

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/25653.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【算法篇】求最长公共前缀JavaScript版本

题目描述 给你一个大小为 n 的字符串数组 strs &#xff0c;其中包含n个字符串 , 编写一个函数来查找字符串数组中的最长公共前缀&#xff0c;返回这个公共前缀。 数据范围&#xff1a; 数据范围:0<n<5000&#xff0c;0<len(strsi)< 5000 进阶:空间复杂度 O(1)&a…

Typora Markdown编辑器 for Mac v1.8.10 安装

Mac分享吧 文章目录 效果一、准备工作二、开始安装1、双击运行软件&#xff0c;将其从左侧拖入右侧文件夹中&#xff0c;等待安装完毕2. 应用程序显示软件图标&#xff0c;表示安装成功 三、运行调试1、修改主题2、显示文档列表&#xff0c;如下图3、查看版本信息 **安装完成&…

【PR2019】怎样批量添加转场效果及修改默认持续时间

一&#xff0c;设置“交叉溶解”效果到所有素材 选择效果&#xff0c;右击“将所选过渡设置为默认过渡”&#xff1a; 框选所有素材&#xff0c;“Ctrl D”&#xff1a; 每个素材中间有有了交叉溶解的效果&#xff1a; 二&#xff0c;修改效果属性 2.1&#xff0c;单个修…

手撸一个java消息队列(三)

在实现线程安全和持久化的消息队列时&#xff0c;异常处理和性能优化是非常重要的。以下是一些改进措施&#xff1a; 异常处理&#xff1a;确保在读写文件、队列操作等过程中&#xff0c;能够妥善处理可能出现的异常。 性能优化&#xff1a;使用缓冲区和异步写入来减少磁盘I/O操…

北航第五次数据结构与程序设计编程题复习

北航第五次数据结构与程序设计编程题复习 树叶节点遍历&#xff08;树-基础题&#xff09;计算器&#xff08;表达式计算-表达式树实现&#xff09;服务优化词频统计&#xff08;树实现&#xff09; 树叶节点遍历&#xff08;树-基础题&#xff09; 【问题描述】 从标准输入中…

CTFHUB-SQL注入-报错注入

目录 报错注入概述 报错注入的原理 报错注入的步骤 报错注入的常用函数 实战案例 结论 方法1&#xff1a;updatexml函数 查看数据库名 查看表名 查看表中数据 方法2&#xff1a;extractvalue函数 查看数据库名 查看数据库中的表名 查看表中字段名 查看表中数据 报…

第2回 从0x7c00到0x90000

将数据段寄存器ds的值变成了0x07c0,方便了之后访问内存时利用这个段基址进行寻址,接下来,我们带着这两行代码继续往下看6行: 此时ds寄存器的值已经是0x07c0了,然后用同样的方式将es寄存器的值变成0x9000,接着又把cs寄存器的值变成256。 好的,此时ds,es,cx寄存器的值,都…

CleanMyMac2024最新免费电脑Mac系统优化工具

大家好&#xff0c;我是你们的好朋友——软件评测专家&#xff0c;同时也是一名技术博主。今天我要给大家种草一个超级实用的Mac优化工具——CleanMyMac&#xff01; 作为一个长期使用macOS的用户&#xff0c;我深知系统运行时间长了&#xff0c;缓存文件、日志、临时文件等都会…

LLVM Cpu0 新后端5 静态重定位 动态重定位

想好好熟悉一下llvm开发一个新后端都要干什么&#xff0c;于是参考了老师的系列文章&#xff1a; LLVM 后端实践笔记 代码在这里&#xff08;还没来得及准备&#xff0c;先用网盘暂存一下&#xff09;&#xff1a; 链接: https://pan.baidu.com/s/1yLAtXs9XwtyEzYSlDCSlqw?…

每日一题——Python实现PAT乙级1019 数字黑洞(举一反三+思想解读+逐步优化)

一个认为一切根源都是“自己不够强”的INTJ 个人主页&#xff1a;用哲学编程-CSDN博客专栏&#xff1a;每日一题——举一反三Python编程学习Python内置函数 Python-3.12.0文档解读 目录 我的写法 点评代码的优缺点&#xff1a; 时间复杂度&#xff1a; 空间复杂度&#…

【类型商店】字符字符串(下)

啊&#xff0c;哈喽&#xff0c;小伙伴们大家好。我是#Y清墨&#xff0c;今天呐&#xff0c;我要介绍的是字符与字符串。 导语 前两期&#xff0c;我们已经懂得了概念&#xff0c;今天来看些函数。 正题 一.增加或连接 &#xff08;1) 后面增加() string s1,s2; //定义 s…

Meta首席AI科学家Yann LeCun指出生成式AI的不足

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

express入门01服务器搭建以及get和post请求的监听

微搭提供了后端API的能力&#xff0c;但是不同的版本收费差别巨大&#xff0c;因为使用的门槛限制了中小企业使用低代码平台。那可不可以既要又要呢&#xff1f;答案是肯定的&#xff0c;那其实掌握一定的后端框架&#xff0c;借助我们在低代码中已经熟练掌握的技能其实是比较容…

影子,介绍一下自己

自述 性格&#xff1a;生活i人&#xff1b;工作e人爱好&#xff1a;崇尚工程师文化&#xff0c;希望科技能帮助每个人更好的生活成长&#xff1a;坚持长期主义&#xff1b;认知提升专业领域&#xff1a;数学&#xff1b;Java后端&#xff1b;大数据&#xff1b;自然语言处理 …

spring和Mybatis的各种查询

文章目录 六**、MyBatis的各种查询功能**6.1、查询一个实体类的对象6.2、查询一个list集合6.3、查询单个数据6.4、查询一条数据为Map集合6.5、查询多条数据为Map集合 七、**特殊SQL的执行**7.1、模糊查询7.2、批量删除7.3、动态设置表名7.4、添加功能获取自增的主键 八、**自定…

OpenCV学习(4.9) OpenCV中的轮廓

1.目标 了解轮廓是什么。学习寻找轮廓&#xff0c;绘制轮廓等您将看到以下功能&#xff1a;**cv.findContours()** &#xff0c;**cv.drawContours()* 2.什么是轮廓 轮廓可以简单地解释为连接具有相同颜色或强度的所有连续点(沿边界)的曲线。轮廓是用于形状分析以及对象检测…

友情提示:lazarus的tsortgrid.autofillcolumns存在BUG

直接在tsortgrid的属性中设置autofillcolumns为true&#xff0c;会提示&#xff1a;123个错误。即使修改为false&#xff0c;编译运行照样会出现上述错误。唯一解决的办法就是删除sortgrid重新添加一个。 代码设置SortGrid1.AutoFillColumns : TRUE不受影响。

【Windows】UWP - Application Frame 窗口句柄溯源

目录 一、问题描述 二、解决方案 三、测试代码 参考文献 本文出处链接&#xff1a;[https://blog.csdn.net/qq_59075481/article/details/139574981]。 一、问题描述 当 GUI 线程的窗口属于 Windows/UWP 应用程序时&#xff0c;它们始终由进程 ApplicationFrameHost 托管…

C++ 20新特性之Ranges

&#x1f4a1; 如果想阅读最新的文章&#xff0c;或者有技术问题需要交流和沟通&#xff0c;可搜索并关注微信公众号“希望睿智”。 为什么要引入Ranges 在C 20之前&#xff0c;我们处理容器和迭代器时&#xff0c;通常需要使用一系列的算法和复杂的迭代器操作。这不仅繁琐&…

java aio nio区别

Java AIO&#xff08;Asynchronous I/O&#xff09;和NIO&#xff08;Non-blocking I/O&#xff09;在并发模型、API和适用场景等方面有所不同。具体分析如下&#xff1a; 并发模型 AIO&#xff1a;AIO提供了异步非阻塞的IO操作&#xff0c;通过回调函数来通知IO操作的完成。在…