python学习推荐网址：

白月黑羽

一、语法基础

目标：

• list、tuple、set、dict的基本用法
• 内置函数 len（）， eval（），range（），sort（Ist, key="）
•列表推导式：
• data = [num for num in range(20) if num%2==1]
• data =[[random) for j in range(5)] for i in range(3)]
•生成器表达式
•惰性求值，需要转化成list或tuple使用
• 内置函数 enumerate（），filter（）， map（）， zip（，reversed（）

1、运算符

☆运算符     逻辑表达式    简要说明
  and        x and y          布尔"与" - 若 x 为 False，x and y 返回 False，否则返回 y 的计算值
   or         x or y             布尔"或" - 若 x 为非 0，则返回 x 的值，否则返回 y 的计算值
  not         not x             布尔"非" - 若 x 为 True，返回 False；若 x 为 False，返回 True
 

---

常用数据类型对比图：

2、字符串String" "

（1）切片

（2）函数

#提取下面字符串中的50,0,51
str="xxxxxxxxxxxx5 [50,0,51]>,xxxxxxxxxx"
print(str.split('[')[1].split(']')[0].split(','))
#output:['50', '0', '51']

3、列表List [ ]

tips：

1、list1.append(str)    

#返回：直接在原列表上添加单个元素，不能写成list2=list1.append(str)

2、list1.extend(list2)  

#返回list1，将两个列表连起来组成（相加）一个新的列表，即list1+=list2

3、a1.pop()      

#删除指定的索引位置元素，默认删除最后一个元素，并将删除的元素显示

list常用方法：

4、元组tuple( )

tuple.count(x):统计x元素在元组中的索引

tuple.index(x)：查找第一个x元素在元组中的索引

5、字典dict { key:value}

字典元素访问：

使用字典对象的items()方法返回字典中的元素，即所有“键:值”对，

字典对象的keys()方法返回所有“键”，

values()方法返回所有“值”。

6、集合set{ }

1、set是一个无序且不重复的元素集合。
2、集合成员可以做字典中的键。
集合支持用in和not in操作符检查成员
由len()内建函数得到集合的基数(大小)
用 for 循环迭代集合的成员。
增加一个元素：set. 𝑎𝑑𝑑( )
合并两个集合：set.update( )
set.pop( ) 随机删除一个元素，不需要给参数值
set.remove 删除指定值
set.discard( ) 删除指定值
但是因为集合本身是无序的，不可以为集合创建索引或执行切片(slice)操作。
3、set和dict一样，只是没有value，相当于dict的key集合，由于dict的key是不重复的，且key是不可变对象因此set也有如下特性：
1）不重复 ,常用它过滤list、tuple等重复值。 
2）元素为不可变对象。列表和字典是不能作为集合的元素的

x in set（true/flase）

x not in set （true/flase）

len(set)

7、函数

（1）自定义函数

def name (XXX):

      body

     return value

(2)lambda

T04.python关于Lambda的用法-CSDN博客

(3)遍历函数 map ()

遍历列表，即对序列中每个元素进行同样的操作，最终获取新的序列。

map(f, s)

将函数f 作用在序列S上。

（4）筛选函数 filter ()

对序列中的元素进行筛选，最终获取符合条件的元素

filter(f. s)

将条件函数f作用在序列S上，筛选出符合条件函数的元素

（5）累计函数 reduce ()

对序列内的所有元素进行累计操作。

reduce (f(x y),S)

将序列S中第一个元素和第二个元素用二元函数f(x,y)作用后的结果,与第三个元素继续作用，再将所得结果与第四个元素继续用x,y)作用，直到最后。

（6）函数 eval（）

eval（）的数将字符串当成有效的表达式来求值并返回计算结果，也就是实现列表、字典、元组与字符串之间的转化。

（7）range （） arange(  )函数

用于生成序列，多与for 循环搭配使用。其使用格式如下range0函数中的3个参数与切什中的参数一致，差异是 range0参数间使用逗号range(start, stop [,step])隔开。start 表示计数起始值，为0时可省略;stop表示计数结束值，但不包括 stop本身;step 表示步长，默认为1，不可以为0。其生成一个左闭右开的整数范围。
对于range0函数，有以下几个注意点:
(1)它的参数表示的是左闭右开的区间;
(2)它接收的参数必须是整数;

(8)内置函数对列表的操作

8、程序结构

1、顺序语句  

2、分支语句 

3、循环语句 
 

4、try函数

try-except语句说明:
    1. as 子句是用于绑定错误对象的变量,可以省略
    2. except 子句可以有一个或多个,但至少要有一个.
       一般的需要写清楚需捕获异常的类型，见上面的常见错误异常链接，
      定制什么类型异常，能捕获相应的异常，但是没有指定的异常的话还是会报错的。
       不过有一个万能异常：Exception
    3. else子句最多只能有一个,也可以省略不写.
       else子句的语句将在此try语句没有发生异常时被执行
    4. finally子句最多只能有一个,也可以省略不写.
       finally子句的语句在任何情况下都会被执行

二、NumPy与Pandas

1、NumPy的基本使用方法

1、数组创建

（1）zeros()：创建一个矩阵

内部元素均为0，第一个参数提供维度，第二个参数提供类型。

（2）ones()：创建一个矩阵

内部元素均为1，第一个参数提供维度，第二个参数提供类型。

（3）empty()：创建一个矩阵

内部是无意义的数值，第一个参数提供维度第二个参数提供型。

（4）eye()：创建一个对角矩阵

第一个参数提供矩阵规模，对于第二个参数而言，如果为0则对
角线全为“1”，大于0则右上方第K条对角线全为“1”，小于0则左下方第K条对角线全为“1”，
第三个参数提供类型。

（5）full()：

full((m,n),c)可以生成一个m×n的元素全为c的矩阵。

（6）random.random()：

random.random((m,n))生成一个m×n的元素为0~1之间随机数的矩阵。

（7）random.randint()：

numpy.random.randint(low, high=None, size=None, dtype='l')

函数的作用是，返回一个随机整型数，范围从低（包括）到高（不包括），即[low, high)。如果没有写参数high的值，则返回[0,low)的值。

（8）random.rand()：

random.rand(d0,d1,…,dn)

函数根据给定维度生成[0,1)之间的数据，其中，dn表示每个维度的元素个数。

（9）random.randn()：

random.randn(d0,d1,…,dn)

函数返回一个或一组样本，具有标准正态分布，其中，dn表示每个维度的元素个数。

2、 数组索引和切片

3、 数组运算

数组运算实质上是数组对应位置的元素进行运算，常见的是加、减、乘、除、开方等运算。

2、 pandas数据结构

1、Series

Series是一种类似于一维数组的对象，它由一维数组以及一组与之相关的数据标签（即索引）组成，仅由一组数据即可产生最简单的Series。

Series的字符串表现形式为：

索引在左边，值在右边。如果没有为数据指定索引，就会自动创建一个0到N-1(N为数据的长度)的整数型索引。可以通过Series的values和index属性获取其数组表现形式和索引对象。

2、DataFrame

DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看作由Series组成的字典（公用同一个索引）。跟其他类似的数据结构相比，DataFrame中面向行和面向列的操作基本是平衡的。其实，DataFrame中的数据是以一个或多个二维块存放的（而不是列表、字典或者别的一维数据结构）

3、索引对象

pandas的索引（Index）对象负责管理轴标签和轴名称等。构建Series或DataFrame时，所用到的任何数组或其他序列的标签都会被转换成一个Index对象。 Index对象是不可修改的，Series和DataFrame中的索引都是Index对象。

3、基本功能

1、 重新索引

2、 丢弃指定轴上的项
3、 索引、选取和过滤
4、 算术运算
5、 DataFrame和Series之间的运算
6 、函数应用和映射
7 、排序和排名
8、分组
9 、shape函数
10、 info()函数
11 、cut()函数

三、正则表达式

学习目标：

• 基本规则
• Match, compile , findallo, rearcho
• 字符串的替换和修改
• 格式化输出

正则表达式（Regular Expression），又称正规表示式、规则表达式、常规表示法等，在代 码中常简写为 regex、regexp 或 RE，是计算机科学的一个概念。在很多文本编辑器里，正则 表达式通常被用来检索、替换那些匹配某个模式的文本。   

正则表达式对于 Python 来说并不是独有的。
Python 中正则表达式的模块通常叫做“re”， 利用“import re”来引入，它是一种用来匹配字符串的强有力武器。

 作用
1. 判断匹配
> re.match() 从字符串起始位置开始匹配，如果不在起始配置匹配，re.match(r'正则表达式'，‘字符串’) 函数返回None.
2. 切分字符串
> re.split(r'正则表达式’，‘字符串’）# 切分结果为列表
3. 分组
> 正则表达式还能提取字串。用（）表示出要提取的字串，即分组(Group)
m=re.match('^(0[0-9]|1[0-9]|2[0-9]\:[0-5][0-9]:[0-5][0-9]$','19:05:30').groups()

1、基本规则

注：

1、\s 是一个特殊序列，它匹配任何空白字符，包括空格、制表符、换行符、回车符等。

2、0到1是？  大于0是*  大于1是+

助记：

https://blog.csdn.net/m0_74161592/article/details/140027909?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22140027909%22%2C%22source%22%3A%22m0_74161592%22%7Dhttps://blog.csdn.net/m0_74161592/article/details/140027909?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22140027909%22%2C%22source%22%3A%22m0_74161592%22%7D

☆☆常见特殊表达式：

2、正则函数

tips:

1、match()函数判断是否匹配：

如果匹配成功，返回一个match对象，否则返回None。

（1）re.match（）匹配

re.match(pattern, string)

1、切分字符串

（1）str.split(正则表达式）

（2）re.split(正则表达式,str)

2、分组Group

提取子串的强大功能:

如果正则表达式中定义了组，就可以在match对象上用group()方法提取出子串。注意到group(0)是原始字符串，group(1)、group(2)……表示第1、2……个子串。
 

 

（2）re.compile（ ）

re.compile(pattern, flags=0）

re.compile()函数编译正则表达式模式，返回一个对象。可以把常用的正则表达式编译成正则表
达式对象，方便后续调用及提高效率。

（3）re.findall（ ）☆

re.findall(pattern,string,flags=0)

调用re.findall()函数时可以非常简单地得到一个所有匹配模式的列表，而不是得到match的对象。

（4）re.srearch（ ）

re.search()函数对整个字符串进行搜索匹配，返回第一个匹配的字符串的match对象。

然而re.search()函数会在它查找到一个匹配项之后停止继续查找，因此在示例字符串中re.search()函数查找'dog'只找到其首次出现的位置。

3、字符串的替换和修改

sub (rule , replace , target [,count] )
subn(rule , replace , target [,count] )

第一个参数是正则规则，第二个参数是将要被替换的字符串，第三个参数是目标字符串，第四个参数是被替换的次数。

这两个函数的唯一区别是返回值。sub返回一个被替换的字符串，subn返回一个元组，第一个元素是被替换的字符串，第二个元素是一个数字，表明产生了多少次替换。

4、格式化输出

1、%符号进行格式化输出

引号内的%为格式化的开始，类似于占位符，其后s表示占位处要补充的是字符型，紧跟在引号之后的%为需要填充的内容。使用这种方式进行字符串格式化时，要求被格式化的内容和格式字符之间必须一一对应。用%进行格式化时：%d表示数值（取整）占位，%f表示浮点型占位。

2、使用format()函数进行格式化

除了%字符串格式化方法之外，推荐使用format()函数进行格式化，该方法非常灵活，不仅可以使用位置进行格式化，还支持使用关键参数进行格式化。Python中format()函数用于字符串的格式化。

3、f方法格式化

在普通字符串前添加f或F前缀，其效果类似于%方式或者format()。

四、数据处理与数据分析

1、数据处理

数据预处理的主要任务包括：1、数据清洗。 2、数据集成。  3 、数据变换。4、数据规约。

（1）数据清洗

数据清洗就是处理缺失数据以及清除无意义的数据，如：1、删除原始数据集中的无关数据，2、重复数据，3、平滑噪声数据，4、处理缺失值，5、异常值。

【1】重复值的处理

Python中的Pandas模块对重复数据去重步骤如下：

1. 利用DataFrame中的duplicated( )函数返回一个布尔型的Series，显示是否有重复行，没有重复行显示为False，有重复行则从重复的第二条记录起，重复的均显示为True。
2. 利用DataFrame中的drop_duplicates( )函数，返回一个移除了重复行的DataFrame。
3. 使用df[df.列名.duplicated( )]显示重复值的行。

【2】缺失值处理

1)、处理缺失值的方法可分为三类：

1、删除记录，2、数据插补，3、不处理。

其中常用的数据插补方法见下表：

2)、缺失值的处理包括两个步骤；

1、缺失数据的识别，2、缺失值处理

（1）缺失数据的识别。
Pandas使用浮点值NaN表示浮点和非浮点数组里的缺失数据，并使用.isnull()和.notnull()函
数来判断缺失情况。

（2）缺失数据的处理。
对于缺失数据的处理有数据补齐、删除对应行、不处理等方法。
①dropna()：对数据结构中有值为空的行进行删除。（删除数据中空值所对应的行）

②df.fillna()：用其他数值填充NaN。

③df.fillna(method='pad')：用前一个数据值替代NaN。

④df.fillna(method='bfill') ：用后一个数据值替代NaN。

⑤df.fillna(df.mean())：用平均数或者其他描述性统计量来代替NaN，使用均值来填补空数据。

⑥df.fillna(df.mean()['开始列名':'终止列名'] ) 起止连续的多列进行均值填充。

⑦df.fillna({'列名1':值1,'列名2':值2})：可以传入一个字典，对不同的列填充不同的值

⑧strip()：清除字符型数据左右（首尾）指定的字符，默认为空格，中
间的不清除。

【3】异常值处理

异常值处理方法：

1、删除含有异常值的记录 。2、视为缺失值。3、平均值修正 。4、不处理。

（2）数据集成

1. 数据合并
2. 数据抽取
3. 数据拆分

（3）数据变换

1】、数据变换：主要是对数据进行规范化的操作，将数据转换成“适当的”格式，以适用于挖掘任务及算法的需要。

1. 数据标准化
2. 数据离散化
3. 数据泛化
4. 属性构造
 2】、常见基本数据变换操作：
5. 简单函数变换
6. 轴向旋转
7. 分组与聚合
8、哑变量处理
9、函数映射转换（行、列、元素）

（4）数据规约

2、数据标准化

3、数据分析

五、作业复盘

1、

#1、接收来自键盘的输入，并做好省份字典，并将省份的代码全部提取出来做成变量keys
i = input("pls your ID:")
prov = {11: "北京", 12: "天津", 13: "河北", 14: "山西",15: "内蒙古",21: "辽宁", 22: "吉林", 23: "黑龙江",31: "上海", 32: "江苏", 33: "浙江", 34: "安徽", 35: "福建", 36: "江西", 37: "山东", 41: "河南", 42: "湖北", 43: "湖南", 44: "广东", 45: "广西", 46: "海南",50: "重庆", 51: "四川", 52: "贵州", 53: "云南", 54: "西藏",61: "陕西", 62: "甘肃", 63: "青海", 64: "宁夏", 65: "新疆", 71: "台湾", 81: "香港", 82: "澳门",91: "国外"}
keys = tuple(prov.keys()) 
#2、提取省份代码字符，并看看提取的省份代码是否在全部的省份代码变量keys中
sf = int(i[:2])
sf in keys
#3、输出省份名称
prov[sf]

2、

from random import random
data =[[random() for j in range(5)] for i in range(3)]
data

这段代码生成了一个3行5列的二维列表，列表中的每个元素都是一个[0.0, 1.0)之间的随机浮点数。 

3、

a= list((x for x in range(10) if x % 3 == 0 for i in range(3)))
print(a)

[0, 0, 0, 3, 3, 3, 6, 6, 6, 9, 9, 9]

4、

print (1 and 9, 1 or 9, 0 and 9, 0 or 9)
print ( 1 and 9 or 0 , 0 or 1 and 9 )
print ( 0 and 9 or 8)

and 运算符要求两边的所有条件都为真（True）时，结果才为真；而 or 运算符只要任一边的条件为真，结果就为真。