八:爬虫-MySQL基础

一:MySQL数据库基础

1.MySQL数据库介绍

MySQL是一个[关系型数据库管理系统],由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一
数据库是一个存储数据的仓库,按照数据结构,来组织,管理和存储数据,并提供了增、删、改、查的功能。

2.数据库的主要特点

  1. 实现数据共享:
    • 数据共享包含所有用户可同时存取数据库中的数据,也包括用户可以用各种方式通过接口使用数据库。
  2. 减少数据的冗余度:
    • 同文件系统相比,由于数据库实现了数据共享,从而避免了用户各自建立应用文件。
  3. 数据的独立性:
    • 数据的独立性包括数据库中数据库的逻辑结构和应用程序相互独立,也包括数据物理结构的变化不影响数据的逻辑结构。
  4. 数据实现集中控制:
    • 文件管理方式中,数据处于一种分散的状态,不同的用户或同一用户在不同处理中其文件之间毫无关系。利用数据库可对数据进行集中控制和管理,并通过数据模型表示各种数据的组织以及数据间的联系。
  5. 数据一致性可维护性,以确保数据的安全性和可靠性
    • 安全性控制:以防止数据丢失、错误更新和越权使用;
    • 完整性控制:保证数据的正确性、有效性和相容性;
    • 并发控制:使在同一时间周期内,允许对数据实现多路存取,又能防止用户之间的不正常交互作用;
    • 故障的发现和恢复:由数据库管理系统提供一套方法,可及时发现故障和修复故障;
  6. 故障恢复
    • 由数据库管理系统提供一套方法,可及时发现故障和修复故障,从而防止数据被破坏。数据库系统能尽快恢复数据库系统运行时出现的故障,可能是物理上或是逻辑上的错误。比如对系统的误操作造成的数据错误等。

3.数据库的类型

关系型数据库

  • Oracle
  • Mysql
  • PostgreSql
  • DB2
  • Microsoft SQL server
  • MicroSoft Access

非关系型数据库

  • Redis
  • Mongodb
  • Big Table

4.MySQL数据库安装

  1. 访问网址:http://www.mysql.com
  2. 具体网址:https://dev.mysql.com/downloads/windows/installer/8.0.html
  3. 点击:DOWNLOADS

image.png

  1. 进入,Downloads 向下滑动,到最低层,找到MySQLcommunity (GPL) Downloads,单击进入(社区版对于大部分开发者就足够使用了)

image.png

  1. 点击 Go to Download Page 进入
    image.png

  2. 看到 MSI,单击本机版,431.7M 大的,进入
    image.png

  3. 点击No thanks, just start my download(下载时不需要登录)

     ![image.png](https://img-blog.csdnimg.cn/img_convert/b46ce7cef447cbc0e9203b8456f75404.png)
    
  4. 等待安装包下载完成后,点击安装包进行安装
    image.png
    点击之后等待一下
    image.png

  5. 选择安装方式

image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png

  1. 验证是否安装成功
    以管理员的方式进入cmd命令行,然后输入mysql -u root -p,出现如下界面,那是因为我们还没有配置环境变量。
    image.png
    找到我们mysql下的bin的路径,默认是C:\Program Files\MySQL\MySQL Server 8.0\bin
    复制这个路径,右击我的电脑,点击属性
    image.png
    点击高级系统设置>点击环境变量>点击Path>点击编辑

image.png
image.png
image.png
点击新建>粘贴路径>点击确定(一直点确定)
!image.png
重新打开cmd命令行,验证mysql是否安装成功(下图证明已经安装成功)
image.png

MySQL安装的注意事项:

1、严格按照步骤走
2、可能存在的环境问题
2.1 安装mysql是路径不要设置中文 建议直接默认安装到C盘
2.2 你当前的电脑用户名不要是中文
2.3 你的服务要记得开启 默认 不用关 出现问题再看服务
2.4 make take a long time 找博客 https://www.cnblogs.com/mobaijun/p/14437131.html
2.5 当你安装失败的时候 一定要记住 清空你的安装路径下的文件 防止紊乱
2.6 一定要记住配置环境变量
2.7 安装版本 8.0以上的 找msi文件

二:MySQL数据库的基本操作

1.创建数据库

我们可以在登陆 MySQL 服务后,使用命令创建数据库,语法如下:

CREATE DATABASE 数据库名;

2.显示所有的数据库

show databases;

3.删除数据库

使用普通用户登陆 MySQL 服务器,你可能需要特定的权限来创建或者删除 MySQL 数据库,所以我们这边使用 root 用户登录,root 用户拥有最高权限。
在删除数据库过程中,务必要十分谨慎,因为在执行删除命令后,所有数据将会消失。
语法如下:

drop database 数据库名;

4.选择数据库

在你连接到 MySQL 数据库后,可能有多个可以操作的数据库,所以你需要选择你要操作的数据库。
可以使用SQL命令来选择指定的数据库:

use 数据库名;

5.MySQL数据库类型

MySQL 中定义数据字段的类型对你数据库的优化是非常重要的。
MySQL 支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。

(1)数值类型

下面的表显示了需要的每个整数类型的存储和范围。
image.png

(2)日期与时间类型

image.png

(3)字符串类型

image.png
char(n) 和 varchar(n) 中括号中 n 代表字符的个数,并不代表字节个数,比如 CHAR(30) 就可以存储 30 个字符。

6.MySQL创建数据表

创建MySQL数据表需要以下信息:

  • 表名
  • 表字段
  • 定义每个表字段

语法:

CREATE TABLE table_name (column_name column_type);

以下例子中我们将在数据库中创建数据表book_tbl:

CREATE TABLE book_tbl(book_id INT AUTO_INCREMENT,book_title VARCHAR(100) NOT NULL,book_author VARCHAR(40) NOT NULL,book_date DATE,PRIMARY KEY ( book_id )
)CHARSET=utf8;

实例解析:

  • 如果你希望字段为 NULL 可以设置字段的属性为 NOT NULL, 在操作数据库时如果输入该字段的数据为NULL ,就会报错。
  • AUTO_INCREMENT定义列为自增的属性,一般用于主键,数值会自动加1。
  • PRIMARY KEY关键字用于定义列为主键。 可以使用多列来定义主键,列间以逗号分隔。
  • CHARSET是设置编码。

成功创建表之后,可以通过命令行查看表结构:

show tables; //查看所有的表
desc book_tbl; //查看book_tbl的结构

7.MySQL删除数据表

MySQL中删除数据表是非常容易操作的,但是我们在进行删除表操作时要非常谨慎,因为执行删除命令后所有数据都会消失。
语法:以下为删除mysql数据表的通用语法

 DROP TABLE 表名;

执行成功后,可以尝试查看表,会发现查询不到。

8.MySQL插入数据

MySQL 表中使用 INSERT INTO 语句来插入数据。
语法:以下为向MySQL数据表插入数据通用的语法

INSERT INTO 表名 ( 字段1, 字段2,...字段N ) VALUE (1,2,...值N );

如果数据是字符型,必须使用单引号或者双引号,如:“value”。
例如:

INSERT INTO book_tbl (book_id, book_title, book_author, book_date)VALUE(1, 'python爬虫', '岳岳', NOW());

添加完成之后,可以通过查询语句进行查询:

select * from book_tbl;

9.MySQL更新数据

如果我们需要修改或更新 MySQL 中的数据,我们可以使用 SQL UPDATE 命令来操作。
语法:以下是 UPDATE 命令修改 MySQL 数据表数据的通用 SQL 语法

UPDATE 表名 SET 字段1=new-value1, 字段2=new-value2 [WHERE 条件];
  • 可以同时更新一个或者多个字段
  • 你可以在 WHERE 子句中指定条件

实例:
修改表中book_id=1的book_author字段值

UPDATE book_tbl SET book_author='岳岳2' WHERE book_id=1;

10.MySQL删除数据

你可以使用 SQL 的 DELETE FROM 命令来删除 MySQL 数据表中的记录。
语法:以下是 SQL DELETE 语句从 MySQL 数据表中删除数据的通用语法

DELETE FROM 表名 [WHERE 条件];
  • 如果没有指定 WHERE 子句,MySQL 表中的所有记录将被删除。
  • 可以在 WHERE 子句中指定条件。

实例:
删除book_tbl表中book_id=1的记录:

DELETE FROM book_tbl WHERE book_id=1;

删除整个表:

DELETE FROM book_tbl;

三:MySQL查询数据

MySQL 数据库使用SQL SELECT语句来查询数据。
语法:在MySQL数据库中查询数据通用的 SELECT 语法

SELECT 字段1,字段2,……,字段n FROM table_name [WHERE 条件] [LIMIT N]
  • 查询语句中你可以使用一个或者多个表,表之间使用逗号(,)分割,并使用WHERE语句来设定查询条件。
  • SELECT 命令可以读取一条或者多条记录。
  • 可以使用星号(*)来代替其他字段,SELECT语句会返回表的所有字段数据
  • 可以使用 WHERE 语句来包含条件。
  • 可以使用 LIMIT 属性来设定返回的记录数。

实例:返回数据表 book_data 的所有记录

# 数据表
create table book_data(id int auto_increment,book_name varchar(10),book_price int,book_love varchar(5),primary key(id)
)default charset="utf8";insert into book_data(book_name, book_price, book_love) values ("三国演义", 100, "男");
insert into book_data(book_name, book_price, book_love) values ("红楼梦", 80, "女");
insert into book_data(book_name, book_price, book_love) values ("水浒传", 110, "男");
insert into book_data(book_name, book_price, book_love) values ("西游记", 150, "男");
insert into book_data(book_name, book_price, book_love) values ("羊皮卷", 250, "男");
insert into book_data(book_name, book_price, book_love) values ("鬼谷子", 110, "女");
insert into book_data(book_name, book_price, book_love) values ("甄嬛传", 110, "女");
insert into book_data(book_name, book_price, book_love) values ("三国演义2", 110, "男");
insert into book_data(book_name, book_price, book_love) values ("西游记续集", 110, "男");select * from book_tbl;

1.where查询

(1)模糊查询

在 MySQL 中,LIKE 关键字主要用于搜索匹配字段中的指定内容。其语法格式如下:

select book_price from book_data where book_price like '110';
# 查询所有以110的价格select * from book_data where book_price like '1%%';

参考:https://blog.csdn.net/qq_46940224/article/details/125031647

(2)范围查询 between

between…and…表示在一个连续的范围内查询
in…表示在一个非连续的范围内查询

SELECT column_name(s) FROM table_name WHERE column_name BETWEEN value1 AND value2;
SELECT column_name(s) FROM table_name WHERE column_name IN (value1, value2, ...);

示例语句

select  * from book_data where id >= 3 and id <= 8;
select * from book_data where id between 3 and 8;
select * from book_data where not(id between 3 and 8) and book_name="三国演义";
select * from book_data where id in (2,4,6);
select * from book_data where id not in (2,4,6);
(3)空判断查询

is null 查询某个字段为空的数据

增加数据集 
insert into book_data(book_name, book_price) values ("老人与海", 110);
insert into book_data(book_name, book_price) values ("孙子兵法", 100);
insert into book_data(book_name, book_price) values ("红与黑", 90);
insert into book_data(book_name, book_price) values ("鬼吹灯", 210);select * from book_data where book_love is null;
select * from book_data where book_love is not null;

2.高级查询

(1)分页查询—limit

limit—分页查询语法
start—表示开始行索引,默认0
count—表示查询条数

select * from 表名 limit start,count;select * from book_data where book_love="男" limit 0,5;
# 查询前五行sex=男的数据
(2)聚合查询

通常对表中的数据进行统和计算
count()—求指定列的总行数
max()—求指定列最大值
min()—求指定列的最小值
sum()—求指定列和
avg()—求平均数

select count(id) from book_data;select count(*) from book_data;select max(book_price) from book_data where book_love="女";select sum(book_price) from book_data;
(3)排序—order by

升序 ---- asc
降序 ---- desc

select * from book_data order by book_price desc;select * from book_data order by book_price asc;
(4)分组查询
  • group by 列名 【条件表达式】
增加数据集合 
insert into book_data(book_name, book_price, book_love) values ("三国演义", 200, "男");
insert into book_data(book_name, book_price, book_love) values ("红楼梦", 200, "女");
insert into book_data(book_name, book_price, book_love) values ("水浒传", 200, "男");
insert into book_data(book_name, book_price, book_love) values ("西游记", 200, "男");select book_name,sum(book_price) from book_data group by book_name;
# 查询书名一致的书本价格总和
  • group_concat() 统计每个分组指定字段的信息集合
select book_name,group_concat(book_price) from book_data group by book_name;
(5)连接查询
数据集
create table book_author(id int auto_increment,name varchar(10),book_id int,primary key (id)
)default charset="utf8";insert into book_author(name, book_id) values ("罗贯中",1);
insert into book_author(name, book_id) values ("曹雪芹",2);
insert into book_author(name, book_id) values ("施耐庵",3);
insert into book_author(name, book_id) values ("吴承恩",4);
1.内连接

查询两张表中符合条件的共有记录
inner join—内连接关键字,一张表连接另外一张表
on—连接查询条件

select book_data.book_name,book_author.name from book_data inner join book_author on book_data.id = book_author.book_id;# 查询两张表id值相同的name和book_name
2.左连接

查询左边所有记录和右表符合条件的记录
left join

insert into book_author(name, book_id) values ("孙 武",11);
insert into book_author(name, book_id) values ("海明威",10);select book_data.book_name,book_author.name from book_data left join book_author on book_data.id =book_author.book_id;
# 根据左表id查询右表相同数据,右表不存在即为null
3.右连接

查询右表所有记录和左表符合条件的记录
right join

select book_author.name,book_data.book_name from book_author right join book_data on book_author.book_id = book_data.id;
# 根据右表id查询左表相同数据,左表不存在即为null

四:pymysql操作MySQL数据库

1.python操作数据库流程

创建连接—获取游标—执行命令—关闭游标—关闭连接
图解:
image.png

2.代码实现

第三方模块的安装  pip install pymysql import pymysql# 创建链接
db = pymysql.Connect(host="127.0.0.1",port=3306,user="root",password="123456",db="xiangxue"
)
# 创建游标,用于传递python给MySQL的命令和MySQL返回的内容
cursor = db.cursor()# SQL插入语句
sql = "insert into book_tbl(book_id, book_title, book_author,book_date) values (4,'python基础','岳岳3',NOW())"
# 执行SQL语句
cursor.execute(sql)
# 提交到数据库执行
db.commit()

3.sv文件写入MySQL数据库

import csv
import pymysqlconn = pymysql.Connect(host="127.0.0.1",port=3306,user="root",password="123456",db="xiangxue"
)cursor = conn.cursor()with open('douban.csv', 'r', encoding='utf-8') as file:reader = csv.reader(file)data = [row for row in reader]print(data)
sql = 'INSERT INTO douban(title, grade, link,quote) VALUES (%s, %s, %s,%s)'for row in data:cursor.execute(sql, row)
conn.commit()
cursor.close()
conn.close()

注意: 本文并未包含MySQL数据库的全部知识点,只是为后续的爬虫知识做准备

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/238485.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构 | 北京大学期末试卷查漏补缺

目录 顺序存储 优点 缺点 适用于&#xff1a; 链式存储 优点 缺点 适用于&#xff1a; 折半查找为什么要使用顺序存储结构 树的存储结构​编辑 对于一个数据结构&#xff0c;一般包括 DFS&BFS 什么是递归程序 C语言不带头结点的单链表逆置 检测字符…

window10下载与安装Dubbo Admin,图文说明

0&#xff0c;前言 在学习这篇文章之前&#xff0c;可以先把zookeeper安装一下 安装教程指路&#xff1a;window10下载与安装zookeeper&#xff0c;图文说明 1&#xff0c;下载 拉取代码&#xff0c;一般教程都会让我去github官网拉取&#xff0c;但是因为该网站经常打不开…

如何在小程序中添加字符

随着移动互联网的普及&#xff0c;微信小程序已经成为众多商家的首选。通过微信小程序&#xff0c;商家可以展示产品、服务和品牌形象。那么如何在微信小程序中添加视频内容呢&#xff1f;本文将详细介绍操作步骤。 首先&#xff0c;商家需要登录乔拓云平台&#xff0c;进入门店…

MongoDB 单机安装部署

文章目录 说明1. 下载安装包2. 安装数据库3. 配置 systemctl4. 创建 root 用户 说明 本篇文章介绍 MongoDB 二进制安装的步骤&#xff0c;整个过程还是比较简单。 1. 下载安装包 进入 MongoDB 官网&#xff0c;获取安装包的下载链接&#xff1a; https://www.mongodb.com/tr…

安全运维是做什么的,主要工作内容是什么

安全运维&#xff0c;简称SecOps&#xff0c;是一种集成安全措施和流程到信息技术运维的实践。它的目的是确保在日常运维活动中&#xff0c;如网络管理、系统维护、软件更新等&#xff0c;均考虑并融入安全策略。安全运维的核心是实现安全和运维团队的密切协作&#xff0c;以快…

【自动化测试】selenium元素定位方式大全!

前言 当我们在使用selenium进行自动化测试工作时&#xff0c;元素定位是非常重要的一环&#xff0c;因为我们是借助脚本模拟我们通过鼠标和键盘对元素进行点击、输入内容和滑动操作的&#xff0c;所以准确的元素定位是我们执行测试脚本的重要一环。本文就来给大家介绍一下sele…

竞赛保研 基于CNN实现谣言检测 - python 深度学习 机器学习

文章目录 1 前言1.1 背景 2 数据集3 实现过程4 CNN网络实现5 模型训练部分6 模型评估7 预测结果8 最后 1 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 基于CNN实现谣言检测 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&am…

百分比-保留2位小数

有时候工作中有这样的需求&#xff0c;统计各种类型的占比&#xff0c;因此记录一下求百分比的小工具&#xff0c;以后方便自己用到随时来查 /*** 转成百分数* 当前数除以总数* param num1-当前数 ,num2-总数 num1/num2* return rate 保留2位小数的*/public static String …

4.使用 Blazor 构建 Web 应用程序

微软官方培训 了解如何通过 Blazor Web 用户界面框架构建你的第一个 Web 应用程序。 https://learn.microsoft.com/zh-cn/training/paths/build-web-apps-with-blazor/?viewaspnetcore-8.0 8个模块 目录 微软官方培训 1.使用 Blazor 进行 Web 开发的简介 2.使用 Blazor…

Vue中为什么data属性是一个函数而不是一个对象?(看完就会了)

文章目录 一、实例和组件定义data的区别二、组件data定义函数与对象的区别三、原理分析四、结论 一、实例和组件定义data的区别 vue实例的时候定义data属性既可以是一个对象&#xff0c;也可以是一个函数 const app new Vue({el:"#app",// 对象格式data:{foo:&quo…

安装 PyCharm 2021.1 保姆级教程

作者&#xff1a;billy 版权声明&#xff1a;著作权归作者所有&#xff0c;商业转载请联系作者获得授权&#xff0c;非商业转载请注明出处 前言 目前能下载到的最新版本是 PyCharm 2021.1。 请注意对应 Python 的版本&#xff1a; Python 2: 2.7Python 3: >3.6, <3.11…

22 3GPP在SHF频段基于中继的5G高速列车场景中的标准化

文章目录 信道模型实验μ参考信号初始接入方法波形比较 RRH&#xff1a;remote radio head 远程无线头 HTS&#xff1a;high speed train 高速移动列车 信道模型 考虑搭配RRH和车载中继站之间的LOS路径以及各种环境&#xff08;开放或峡谷&#xff09;&#xff0c;在本次实验场…

分享5款为你生活带来便捷的小工具

​ 生活需要一些小巧而贴心的工具&#xff0c;它们能够在细节处为我们带来便捷。这五款工具简洁而实用&#xff0c;看看它们是否适合融入你的生活。 1.图片压缩——TinyPNG ​ TinyPNG是一款图片压缩工具&#xff0c;可以智能地减少WebP、PNG和JPEG图片的文件大小。TinyPNG通…

Jenkins持续集成自动化测试

执行集成构建 持续&#xff0c;自动地构建&测试软件项目代码管理&#xff08;git/svn&#xff09;>编译&#xff08;maven/ant/gradle&#xff09;>打包>测试环境部署>自动化测试 研发体系中的迭代流程 1 源码分支管理&#xff1a; git或者svn, 将不同开发编…

【限时Free】新增普刊!计算机/社科/医学等多领域,1个月见刊!

普刊极速发表 1 计算机类 World Journal of Information Technology 【Print ISSN】2959-9903&#xff1b; 【Online ISSN】2959-9911&#xff1b; 【出版社】Upubscience Publisher出版社 【发表周期】1-2个月左右出刊&#xff1b; 【接收领域】专注于涉及技术和IT管理的…

用于从未配对的3D医学图像中进行多模式分割的统一生成对抗性网络

Unified generative adversarial networks for multimodal segmentation from unpaired 3D medical images 用于从未配对的3D医学图像中进行多模式分割的统一生成对抗性网络背景积累 贡献难点&#xff1a;贡献&#xff1a; 实验Effect of the weight λshape&#xff08;形状损…

Android MVI架构之UI开发指南

Android MVI架构之UI开发指南 在整个应用程序架构中&#xff0c;UI层并不是唯一的层级。除了UI层之外&#xff0c;您还可以找到数据层&#xff0c;有时还有领域层。根据Android架构文档&#xff1a; UI层在屏幕上显示数据。数据层暴露应用程序数据&#xff0c;并包含大部分业…

自动评估作业,支持订正最终得分、查看关联代码|ModelWhale 版本更新

冬至时节&#xff0c;2023 已进入尾声&#xff0c;ModelWhale 于今日迎来新一轮的版本更新&#xff0c;与大家一起静候新年的到来。 本次更新中&#xff0c;ModelWhale 主要进行了以下功能迭代&#xff1a; 自动评估作业 新增 提交代码&#xff08;团队版✓ &#xff09;新增…

ARM GIC(四) gicv3架构基础

GICv3架构是GICv2架构的升级版&#xff0c;增加了很多东西。变化在于以下&#xff1a; 使用属性层次&#xff08;affinity hierarchies&#xff09;&#xff0c;来对core进行标识&#xff0c;使gic支持更多的core 将cpu interface独立出来&#xff0c;用户可以将其设计在core…

Vue CLI 设置 publicPath:打包后的应用可部署在任意路径

前言 领导要重新部署多个应用环境&#xff0c;且不受路径层级影响。 于是找到了 Vue CLI 配置 publicpath 配置说明 下图所示&#xff1a; / &#xff1a;默认值&#xff0c;应用部署在根路径上&#xff1b;./&#xff1a;注意前面加了一个点&#xff0c;应用可部署在任意路…