爬虫工作量由小到大的思维转变---＜第十一章 Scrapy之sqlalchemy模版和改造(番外)＞

前言:

正常的pymysql当然问题不大,但是我个人还是建议:sqlalchemy!  因为他更能让我们把精力放在表单设计上,而不执着于代码本身了.

(-----版权所有。未经作者书面同意，不得转载或用于任何商业用途!----)

正文:

先提供一个基础模版:

表图:
创建表的sql:
CREATE TABLE match_info (id INT PRIMARY KEY,home_team VARCHAR(30), full_score VARCHAR(8),  half_score VARCHAR(8), away_team VARCHAR(30),  match_time DATETIME,   
#比赛时间如 '2023-12-15 14:30:00'包括年、月、日、时、分、秒league VARCHAR(10),   corners VARCHAR(10),   zhuangtai INT,    #状态,1(完成收录) 0(未开始) -1(数据待补)created_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,updated_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP#修改时间
);
代码:
from datetime import datetime
from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, DateTime
from sqlalchemy.exc import SQLAlchemyError
from sqlalchemy.orm import sessionmakerclass MatchInfoCRUD:# 初始化类并建立数据库连接def __init__(self):self.db_uri = 'mysql+pymysql://user:password@localhost/mydatabase'  #填入自己的信息:user:password@localhost/mydatabaseself.engine = create_engine(self.db_uri)  # 使用数据库URI创建引擎self.metadata = MetaData()  # 元数据对象用于收集表对象# 定义match_info表结构self.match_info = Table('match_info', self.metadata,Column('id', Integer, primary_key=True),  # 主键不自增Column('zhuangtai', Integer),  # 整型状态列Column('league', String(10)),  # 长度为10的字符串类型的联赛列Column('match_time', DateTime),  # 日期时间类型的比赛时间列Column('home_team', String(30)),  # 长度为30的字符串类型的主队列Column('full_score', String(8)),  # 长度为8的字符串类型的全场比分列Column('half_score', String(8)),  # 长度为8的字符串类型的半场比分列Column('away_team', String(30)),  # 长度为30的字符串类型的客队列Column('corners', String(10)),  # 长度为10的字符串类型的角球数列)self.metadata.create_all(self.engine)  # 在数据库中创建表self.Session = sessionmaker(bind=self.engine)  # 创建与数据库会话的会话工厂# 创建新的比赛记录def create_match(self, match_data):session = self.Session()  # 开启新的会话try:# 创建插入对象并插入数据insert_object = self.match_info.insert().values(match_data)session.execute(insert_object)  # 执行插入操作session.commit()  # 提交事务print("数据插入成功。")except SQLAlchemyError as e:  # 捕获并处理SQLAlchemy异常print(f"插入数据时出现问题: {e}")finally:session.close()  # 关闭会话# 读取比赛记录def read_match(self, match_id):session = self.Session()  # 开启新的会话try:query = session.query(self.match_info).filter_by(id=match_id)  # 创建查询对象match = query.first()  # 获取查询结果的第一条记录if match:return match  # 返回那条记录else:return None  # 如果没找到记录，返回Noneexcept SQLAlchemyError as e:print(f"读取数据时出现问题: {e}")finally:session.close()  # 关闭会话# 更新比赛记录def update_match(self, match_id, update_data):session = self.Session()  # 开启新的会话try:query = session.query(self.match_info).filter_by(id=match_id)  # 创建查询对象query.update(update_data)  # 执行更新操作session.commit()  # 提交事务print("数据更新成功。")except SQLAlchemyError as e:print(f"更新数据时出现问题: {e}")finally:session.close()  # 关闭会话# 删除比赛记录def delete_match(self, match_id):session = self.Session()  # 开启新的会话try:query = session.query(self.match_info).filter_by(id=match_id)  # 创建查询对象match = query.first()  # 获取查询结果的第一条记录if match:query.delete()  # 如果找到记录则执行删除操作session.commit()  # 提交事务print("数据删除成功。")else:print("未找到相应比赛。")except SQLAlchemyError as e:print(f"删除数据时出现问题: {e}")finally:session.close()  # 关闭会话# 创建MatchInfoCRUD的一个实例
crud = MatchInfoCRUD()# 创建并插入新的比赛记录
match_data = {'id': 1,'zhuangtai': 1,'league': '联赛数据','match_time': datetime(2023, 12, 15, 14, 30),'home_team': 'Team A','full_score': '2-1','half_score': '1-0','away_team': 'Team B','corners': '5-4',
}
crud.create_match(match_data)# 读取id为1的比赛记录
match_record = crud.read_match(1)
if match_record:print(f"读取到比赛记录: {match_record}")
else:print("没有找到对应的比赛记录。")
说明:

这里是4个基本属性,增删改查!!!  直接调用就好了...

潜在改进点,往下看

优化方案:

  • 1. 异常处理:
    •    - 可以更精细地管理异常。目前代码中出现任何错误都执行同样的处理，实际应用中可能需要对不同的异常类型进行不同的处理。
  • 2. 封装会话管理:
    •    - 代码中反复出现创建和关闭会话的模式，这可以通过上下文管理器或装饰器来优化，减少代码重复并自动管理资源。
  • 3. 返回信息:
    •    - `create_match` 方法和其他修改操作只是简单地打印了结果，现实场景中可能需要将操作结果（如新创建的对象）返回给调用者。
  • 4. 优化查询:
    •    - 在 `delete_match` 方法中，无需先查询再删除。可以直接使用 `.delete()`，如果有必要确保记录存在，可以在删除后检查 `result.rowcount`。
  • 5. 输入检验:
    •    - 创建和更新数据前进行输入有效性检查，防止无效或恶意数据被写入数据库。
  • 6. 代码组织:
    •    - 根据 Python 的约定，长的导入语句可以分行。
    •    - ORM 映射通常使用更高级的 `declarative_base` 系统进行，这有助于简化模型定义。
  • 7. SQLAlchemy ORM 的使用:
    •    - 目前代码使用了 `Table` 对象和底层的 `insert` 方法。可以让SQLAlchemy ORM 的能力进行映射，并且允许使用会话直接操作对象模型!
案例:
from datetime import datetime
from sqlalchemy import create_engine, Column, Integer, String, DateTime
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.exc import SQLAlchemyError
from sqlalchemy.orm import sessionmaker, scoped_session# 定义基类
Base = declarative_base()# 定义 MatchInfo ORM 模型
class MatchInfo(Base):__tablename__ = 'match_info'id = Column(Integer, primary_key=True)home_team = Column(String(30))full_score = Column(String(8))half_score = Column(String(8))away_team = Column(String(30))match_time = Column(DateTime)league = Column(String(10))corners = Column(String(10))zhuangtai = Column(Integer)created_time = Column(DateTime, default=datetime.now)updated_time = Column(DateTime, default=datetime.now, onupdate=datetime.now)# MatchInfoCRUD 类使用 ORM 模型和会话管理
class MatchInfoCRUD:def __init__(self):self.db_uri = 'mysql+pymysql://user:password@localhost/mydatabase'self.engine = create_engine(self.db_uri)Base.metadata.create_all(self.engine)self.Session = scoped_session(sessionmaker(bind=self.engine))def create_match(self, match_data):"""创建新的比赛记录"""try:match = MatchInfo(**match_data)self.Session.add(match)self.Session.commit()print("数据插入成功。")except SQLAlchemyError as e:self.Session.rollback()print(f"插入数据时出现问题: {e}")finally:self.Session.remove()def read_match(self, match_id):"""读取比赛记录"""try:match = self.Session.query(MatchInfo).get(match_id)return matchexcept SQLAlchemyError as e:print(f"读取数据时出现问题: {e}")finally:self.Session.remove()def update_match(self, match_id, update_data):"""更新比赛记录"""try:match = self.Session.query(MatchInfo).get(match_id)for key, value in update_data.items():setattr(match, key, value)self.Session.commit()print("数据更新成功。")except SQLAlchemyError as e:self.Session.rollback()print(f"更新数据时出现问题: {e}")finally:self.Session.remove()def delete_match(self, match_id):"""删除比赛记录"""try:match = self.Session.query(MatchInfo).get(match_id)if match:self.Session.delete(match)self.Session.commit()print("数据删除成功。")else:print("未找到相应比赛记录。")except SQLAlchemyError as e:self.Session.rollback()print(f"删除数据时出现问题: {e}")finally:self.Session.remove()
  1. 使用 declarative_base 来创建 ORM 基础类并定义表结构；
  2. 采用了 scoped_session 以自动管理会话的生命周期，避免手动关闭会话；
  3. 更新 delete_match 方法，现在它会首先尝试获取记录，如果找到则删除，这样还是需要先查询再删除，但这确保了操作的准确性；
  4. 删掉了直接操作 Table 对象，改为使用 ORM 映射的类和实例来管理数据。

接下来对提供的MatchInfoCRUD类进行几个关键方面的优化，包括封装会话管理、优化查询处理，以及使用 SQLAlchemy ORM 更优雅地定义和交互数据库模型。这里需要使用 SQLAlchemy 的声明式基类declarative_base来简化模型定义，以及使用上下文管理器来自动化会话的生命周期管理。

from datetime import datetime
from sqlalchemy import create_engine, Column, Integer, String, DateTime
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.exc import SQLAlchemyError
from sqlalchemy.orm import sessionmaker, scoped_session# 使用declarative_base创建ORM模型的基类
Base = declarative_base()# 定义MatchInfo ORM模型
class MatchInfo(Base):__tablename__ = 'match_info'id = Column(Integer, primary_key=True)zhuangtai = Column(Integer)league = Column(String(10))match_time = Column(DateTime)home_team = Column(String(30))full_score = Column(String(8))half_score = Column(String(8))away_team = Column(String(30))corners = Column(String(10))created_time = Column(DateTime)updated_time = Column(DateTime)# 自定义上下文管理器，管理数据库会话的生命周期
class DBSessionManager:def __init__(self, db_uri):self.engine = create_engine(db_uri)self.Session = scoped_session(sessionmaker(bind=self.engine, autocommit=False, autoflush=False))def __enter__(self):self.session = self.Session()return selfdef __exit__(self, exc_type, exc_val, exc_tb):self.session.close()class MatchInfoCRUD:# 初始化类并建立数据库连接def __init__(self, db_uri):self.db_manager = DBSessionManager(db_uri)Base.metadata.create_all(self.db_manager.engine)# 创建新的比赛记录def create_match(self, match_data):with self.db_manager as db:try:match = MatchInfo(**match_data)db.session.add(match)db.session.commit()print("数据插入成功。")except SQLAlchemyError as e:db.session.rollback()print(f"插入数据时出现了问题: {e}")# 查询等其他方法同理可以通过db_manager动态管理会话# 使用新的CRUD接口进行操作
db_uri = 'mysql+pymysql://user:password@localhost/mydatabase'  # 请填入数据库URI
crud = MatchInfoCRUD(db_uri)match_data = {'id': 1,'zhuangtai': 1,'league': '联赛数据','match_time': datetime(2023, 12, 15, 14, 30),'home_team': 'Team A','full_score': '2-1','half_score': '1-0','away_team': 'Team B','corners': '5-4','created_time': datetime.now(),'updated_time': datetime.now(),
}crud.create_match(match_data)# 后续其他增删改查操作可以类似地实现
  1. 封装会话管理：通过DBSessionManager上下文管理器类来管理会话的开启和关闭，使得对于每个数据库会话，无需重复编写打开和关闭的代码。
  2. 优化查询：利用ORM的能力来直接添加、查询和更新数据，没有使用底层的表和查询语句。
  3. SQLAlchemy ORM 的使用：使用了declarative_base来定义SQLAlchemy ORM模型，从而提供ORM的完全功能，并写了一个ORM类MatchInfo来映射match_info表。

总结:

    一个强大的 Python SQL 工具包和 ORM（对象关系映射器），来改善数据库操作的效率和代码的整洁性。首先定义了一个 ORM 模型来映射数据库表，然后构建了一个管理数据库会话生命周期的上下文管理器。在实际的 CRUD（创建、读取、更新、删除）操作中，直接对 ORM 对象进行操作，而不是执行原始 SQL 语句。这样使得代码更加简洁、容易理解和维护，也更加面向对象。通过这种方式，我们将耗时的数据库管理工作交给 SQLAlchemy，自己就能专注于业务逻辑和数据的设计上了。简而言之，就是让代码更加简洁、高效，同时也降低了出错的几率。

(-----版权所有。未经作者书面同意，不得转载或用于任何商业用途!----)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/227698.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

crmeb v5新增一个功能的完整示例记录

crmeb v5新增一个功能的完整示例记录

首先，需求 工作中的二开需求是这样的，修改首页的装修，并新增回收报价的功能 开始动手 第一步，我们要到后面的管理界面，去装修中修改首面的展示 首页的页面配置好之后，就要在 前端的展示程序中 配置相…
阅读更多...
【专栏目录】

【专栏目录】

摘要 本专栏是讲解如何改进RT-DETR的专栏。改进方法采用了最新的论文提到的方法。改进的方法包括：增加注意力机制、更换卷积、更换block、更换backbone、更换head、更换优化器等；每篇文章提供了一种到N种改进方法。 评测用的数据集是我自己标注的数据集…
阅读更多...
如何使用ycsb工具对mongodb进行性能测试过程

如何使用ycsb工具对mongodb进行性能测试过程

测试环境： linux系统：Centos 7.2 ,版本：Red Hat 4.8.5-44) YCSB简介 ycsb是一款性能测试工具，用Java写的，并且什么都可以压，像是mongodb，redis，mysql，hbase，等…
阅读更多...
某60内网渗透之frp实战指南2

某60内网渗透之frp实战指南2

内网渗透 文章目录 内网渗透frp实战指南2实验目的实验环境实验工具实验原理实验内容frp实战指南2 实验步骤(1)确定基本信息。(2)查看frp工具的基本用法(3)服务端frp的配置(4)客户端frp的配置(5)使用frp服务 frp实战指南2 实验目的 让学员通过该系统的练习主要掌握&#xff1a…
阅读更多...
Python基础06-异常

Python基础06-异常

零、文章目录 Python基础06-异常 1、异常的基本概念 （1）异常是什么 当检测到一个错误时，解释器就无法继续执行了，反而出现了一些错误的提示，这就是所谓的"异常"。 （2）异常演示 …
阅读更多...
【NSX-T】9. 搭建NSX-T环境 —— 使用 OSPF 配置 Tier-0 网关

【NSX-T】9. 搭建NSX-T环境 —— 使用 OSPF 配置 Tier-0 网关

目录 Lab 说明9.1 创建上行链路网段9.2 创建 Tier-0 网关（1）设置 Interface 信息（2）禁用 BGP（3）启用和配置 OSPF（4）查看 OSPF Neighbors（5）为 OSPF 配置路由重…
阅读更多...
基于BWA，Bowtie2，samtools、checkm等工具计算宏基因组学序列分析中Contigs与Genes在样品中的丰度，多种计算方式和脚本对比

基于BWA，Bowtie2，samtools、checkm等工具计算宏基因组学序列分析中Contigs与Genes在样品中的丰度，多种计算方式和脚本对比

计算contigs和genes相对丰度可以提供有关微生物群落结构和功能的信息。以下是计算这两个指标的意义： 1. Contigs的相对丰度：contigs是利用基因组测序技术获得的碎片序列，通过计算contigs的相对丰度可以了解微生物群落中不同菌种的相对丰度。…
阅读更多...
使用Audition录制电脑内部声音

使用Audition录制电脑内部声音

在电脑上播放的媒体文件，包括视频和声音，很多是可以播放却无法保存的。例如一些网页播放的视频，或者在线播放的音乐。 视频的话，可以使用工具来截图，抓取GIF或录屏。 声音的话，也可以使用工具进行录制。这里…
阅读更多...
Oracle EBS PAC“定期成本分配处理程序”报错：30004不存在为成本类型、成本组和法人主体定义的帐户

Oracle EBS PAC“定期成本分配处理程序”报错：30004不存在为成本类型、成本组和法人主体定义的帐户

Oracle EBS版本： RDBMS : 12.1.0.2.0 Oracle Applications : 12.2.6 问题症状： 中文环境： 30004不存在为成本类型、成本组和法人主体定义的帐户。 CSTPALPC.dyn_proc_call : Error Calling Package 30004不存在为成本类型、成本组和法人主…
阅读更多...
c++ websocket 协议分析与实现

c++ websocket 协议分析与实现

前言 网上有很多第三方库，nopoll,uwebsockets,libwebsockets,都喜欢回调或太复杂，个人只需要在后端用，所以手动写个； 1:环境 ubuntu18 g(支持c11即可) 第三方库:jsoncpp,openssl 2:安装 jsoncpp 读取json 配置文件 用 自动安装 网…
阅读更多...
最新50万字312道Java经典面试题52道场景题总结(附答案PDF)

最新50万字312道Java经典面试题52道场景题总结(附答案PDF)

最近有很多粉丝问我，有什么方法能够快速提升自己，通过阿里、腾讯、字节跳动、京东等互联网大厂的面试，我觉得短时间提升自己最快的手段就是背面试题；花了3个月的时间将市面上所有的面试题整理总结成了一份50万字的300道Java高频面…
阅读更多...
国际教育-S1试讲讲稿

国际教育-S1试讲讲稿

习题题目 答案 用到的概念： 概率之和等于1 E ( x ) ∑ i 1 4 x i P i E(x)\sum_{i1}^4x_iP_i E(x)∑i14​xi​Pi​ E ( x 2 ) ∑ i 1 4 x i 2 P i E(x^2)\sum_{i1}^4x_i^2P_i E(x2)∑i14​xi2​Pi​ V a r ( X ) Var(X) Var(X) ∑ i 1 4 ( x i − x ‾ ) 2…
阅读更多...
自定义时间选择器

自定义时间选择器

自定义时间选择器 文章目录 自定义时间选择器第一章 效果演示第01节 效果图第02节 主要文件 第二章 案例代码第01节 核心文件 WheelPicker第02节 实体类 WheelBean第03节 接口类 IWheelPicker第04节 原子时间类 DateTimePickerView第05节 原子时间类 PickerYear第06节 原子时间…
阅读更多...
nginx的location与rewrite

nginx的location与rewrite

目录 一.location 二.rewrite rewrite跳转实现： 语法格式：rewrite [flag]; flag标记说明： 三.基于域名跳转 四.基于ip跳转 五.基于旧域名跳转到新域名后面加目录 六.基于参数匹配的跳转 可以同过全局变量来匹配： 基于目…
阅读更多...
linux常见错误

linux常见错误

1.E45: ‘readonly‘ option is set (add ! to override) 首先使用以下命令从Vim编辑器中出来：:qa!(强制退出) 接下来，使用sudo vim filename和更高版本：:wq 2.Bash script – "/bin/bash^M: bad interpreter: No such file or direc…
阅读更多...
鸿蒙4.0开发 - DevEco Studio如何使用Previewer窗口预览器报错

鸿蒙4.0开发 - DevEco Studio如何使用Previewer窗口预览器报错

DevEco Studio预览器概况在HarmonyOS应用开发过程中，通过使用预览器，可以查看应用的UI效果，方便开发者实时查看应用的运行效果，随时调整代码。 1.正常启动 打开预览器的位置在DevEco Studio编辑界面的右上角部分，竖排…
阅读更多...
Linux 高级管理，安装MySQL数据库

Linux 高级管理，安装MySQL数据库

1.准备工作 （1）为了避免发生端口冲突，程序冲突等现象，建议先查询MySQL软件的安装情况，确认没有 使用以RPM方式安装的mysql-server、mysql软件包，否则建议将其卸载。 [rootnode01 ~]# rpm -q mysql-server…
阅读更多...
FastAdmin后台安装出现2054错误的解决办法

FastAdmin后台安装出现2054错误的解决办法

用Navicat修改密码验证方式。MySQL Workbench的Server菜单中的Users and Privileges菜单中似乎不支持此项修改。 修改完毕以后也许会报错： Access denied for user ‘root‘‘localhost‘ (using password: YES) 用以下命令无密进入mysql。 C:\Program Files\MySQ…
阅读更多...
小米路由器4A千兆版如何刷OpenWRT并使用固定地址远程访问

小米路由器4A千兆版如何刷OpenWRT并使用固定地址远程访问

文章目录 前言1. 安装Python和需要的库2. 使用 OpenWRTInvasion 破解路由器3. 备份当前分区并刷入新的Breed4. 安装cpolar内网穿透4.1 注册账号4.2 下载cpolar客户端4.3 登录cpolar web ui管理界面4.4 创建公网地址 5. 固定公网地址访问 前言 OpenWRT是一个高度模块化、高度自…
阅读更多...
Ps：形状工具 - 描边选项

Ps：形状工具 - 描边选项

在形状工具的工具选项栏或“属性”面板中，单击“设置形状描边类型” Set shape stroke type菜单图标可打开“描边选项” Stroke Options面板。 描边预设 Stroke Type 默认列出了实线、虚线和点线三种类型的描边，单击可应用。 自己创建并存储的描边类型&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023