[蜥蜴书Chapter2] -- 创建测试集

一、规则

二、方法

1、seed

2、identifier

1）选取一个身份号

2）选取一定比例的身份号作为测试集

3）身份号的选取：

3、利用scikit-learn：

1) 随机生成：

2）注：分类

3）利用对收入的分层样本的数量，按比例抽取训练集

代码解释：

目的：

一、规则

随机选取一些例子，除非数据集超大，否则一般选取20%作为测试集

随机选取的函数代码：

import numpy as npdef split_train(data,test_radio):#生成随机数shuffled_indices = np.random.permutation( len(data) )#按照比例计算测试集中数据个数setsize = int( len(data)*test_radio )#切片：随机后的前一部分作为测试集，其余作为训练集test_indices = shuffled_indices[ : setsize]train_indices = shuffled_indices[setsize : ]return data.iloc[train_indices], data.iloc[test_indices]

二、方法

每次随机所得数据都有可能不同，为了保证选取的测试集中的例子稳定，有两种办法

1、seed

为保留相同的数据集，保留随机数的种子 -- 生成随机数的种子号相同，生成的随机数就相同。

import numpy as npdef split_train(data,test_radio):#生成随机数种子，括号里的数字可为任意数np.random.seed(1)shuffled_indices = np.random.permutation( len(data) )setsize = int( len(data)*test_radio )test_indices = shuffled_indices[ : setsize]train_indices = shuffled_indices[setsize : ]return data.iloc[train_indices], data.iloc[test_indices]

调用该函数（同一文件夹下不同py文件）：

import random_split_trainsettrainset, testset = random_split_trainset.split_train(housing,0.2)
#注：housing变量见下载和加载数据一文
print('~'*40)
#运行两次可验证是否生成相同随机数
print(trainset[:10])
print('~'*30)
#分别输出训练集和测试集的数据量
print(len(trainset))
print(len(testset))

2、identifier

给每个例子一个固定标识号，给每一个标识号排序，选取前20%的标识号。这样能保证每次训练的例子相同，即使更新了数据集。

代码：根据数据集中的标识符，按照一定比例将数据集划分为训练集和测试集，以保证在划分过程中不会出现同一样本在不同数据集中的情况。


from zlib import crc32def test_set_check(identifier, test_radio):return crc32(np.int64(identifier)) & 0xffffffff < test_radio *2**32def split_train_test_by_id(data, test_radio, id_column):ids = data[id_column]in_test_set = ids.apply(lambda id_: test_set_check(id_,test_radio))return data.loc[-in_test_set], data.loc[in_test_set]

from zlib import crc32：从Python标准库中的zlib模块导入crc32函数，用于计算CRC32校验值。
def test_set_check(identifier, test_ratio):：定义了一个名为test_set_check的函数，它接受两个参数：identifier是数据集中的唯一标识符，test_ratio是测试集所占比例。
- np.int64(identifier)将标识符转换为64位整数类型。
- crc32(np.int64(identifier))计算标识符的CRC32校验值。
- crc32(np.int64(identifier)) & 0xffffffff确保CRC32校验值是一个32位无符号整数。
- crc32(np.int64(identifier)) & 0xffffffff < test_ratio * 2**32比较CRC32校验值是否小于测试比例的2^32倍，用于确定该标识符是否应该被分配到测试集。
def split_train_test_by_id(data, test_ratio, id_column):：定义了一个名为split_train_test_by_id的函数，它用于根据标识符划分训练集和测试集。函数接受三个参数：data是包含数据的DataFrame，test_ratio是测试集所占比例，id_column是数据集中用于标识唯一样本的列名。
- ids = data[id_column]：从数据集中选择标识符列，存储在ids中。
- ids.apply(lambda id_: test_set_check(id_, test_ratio))：对每个标识符应用test_set_check函数，返回一个布尔Series，表示每个样本是否应该被分配到测试集。
- data.loc[-in_test_set]：使用布尔索引选择不在测试集中的样本，得到训练集。
- data.loc[in_test_set]：使用布尔索引选择在测试集中的样本，得到测试集。

1）选取一个身份号

2）选取一定比例的身份号作为测试集

3）身份号的选取：

1、有些例子自带身份号，如学号

2、使用行号作为身份号：但需要保证：

确保新增是数据放在最后，原来的数据不会被删除

代码：

housing_with_id = housing.reset_index()
train_set, test_set = split_train_test_by_id(housing_with_id,0.2,"index")
print('~'*40)
print(train_set)
print('~'*40)
print(test_set)

输出：

3、选取最稳定的特征值，如经纬度等

housing_with_id = housing.reset_index()
housing_with_id["id"] = housing["longitude"] * 1000 + housing["latitude"]
train_set, test_set = split_train_test_by_id(housing_with_id,0.2,"index")print('~'*40)
print(train_set)
print('~'*40)
print(test_set)

3、利用scikit-learn：

1) 随机生成：

#use scikit-learnfrom sklearn.model_selection import train_test_splittrain_set, test_set = train_test_split(housing, test_size = 0.2, random_state = 1)print('~'*40)
print(train_set)
print('~'*40)
print(test_set)

注：如果数据集足够大的时候，可以取得较为理想的效果。但如果不满足，会导致巨大偏差偏心（sampling bias）。

比如在男女占比为47：53的时候，数据集的理想状态为男女占比为47：53 --> 分层样本（stratified sampling）

strata：将数据集按照同种类进行划分抽取成的小组

如果在有分类的情况下仍随机抽取，就会造成约12%的误差，这样结果会产生严重偏移。

2）注：分类

将一个变量分成五类：

import download_data  # 导入下载数据模块
import random_split_trainset
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt# 假设 fetch_data() 和 load_data() 函数是正确实现的
download_data.fetch_data()
housing = download_data.load_data()# 添加一个新的列 "income_cat"，将 "median_income" 划分为不同的类别
housing["income_cat"] = pd.cut(housing["median_income"], bins=[0., 1.5, 3.0, 4.5, 6.0, np.inf], labels=[1, 2, 3, 4, 5])# 绘制 "income_cat" 的直方图
housing["income_cat"].hist()
plt.show()

3）利用对收入的分层样本的数量，按比例抽取训练集

import download_data  # 导入下载数据模块
import random_split_trainset
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt# 假设 fetch_data() 和 load_data() 函数是正确实现的
download_data.fetch_data()
housing = download_data.load_data()# 添加一个新的列 "income_cat"，将 "median_income" 划分为不同的类别
housing["income_cat"] = pd.cut(housing["median_income"], bins=[0., 1.5, 3.0, 4.5, 6.0, np.inf], labels=[1, 2, 3, 4, 5])from sklearn.model_selection import StratifiedShuffleSplitsplit = StratifiedShuffleSplit( n_splits=1, test_size=0.2, random_state=1 )
for train_index, test_index in split.split(housing, housing["income_cat"]):start_train_set = housing.loc[train_index]start_test_set = housing.loc[test_index]print( start_test_set["income_cat"].value_counts() / len(start_test_set) )for set_in(strat_train_set,strat_test_set):set_drop("income_cat",axis=1,inplace=True)

代码解释：

        1.导入所需的 Python 模块：download_data、random_split_trainset、numpy、pandas 和 matplotlib.pyplot。这些模块通常用于数据处理、可视化和机器学习。
        2.使用 download_data 模块中的 fetch_data() 函数下载数据，并使用 load_data() 函数加载数据。假设这两个函数能够正确地从某个数据源中获取数据并将其转换为 Pandas DataFrame 格式。
        3.在加载的数据中，通过将 median_income 列的值分割为不同的收入类别，创建了一个新的列 income_cat。这里使用了 pd.cut() 函数来实现，该函数将一列连续数值分成几个离散的区间，并使用 labels 参数为这些区间赋予标签。
        4.接下来，代码导入了 StratifiedShuffleSplit 类从 sklearn.model_selection 模块。这个类用于按照指定的分层策略将数据集分割成训练集和测试集。
        5.使用 StratifiedShuffleSplit 对象创建了一个分层的随机分割器 split，指定了分割的参数：分割份数为 1，测试集的比例为 0.2（即 20%），随机数种子为 1。
        6.使用 split.split() 方法对数据集进行分层随机分割，其中 housing 是数据集，housing["income_cat"] 是分层依据。然后，通过迭代将训练集和测试集索引保存到 train_index 和 test_index 中。
        7.在迭代过程中，通过 housing.loc[] 方法根据索引从原始数据集中获取训练集和测试集，并将其保存到 start_train_set 和 start_test_set 中。
        8.最后，通过打印测试集中每个收入类别的比例，了解测试集的分布情况。这里使用了 value_counts() 方法统计每个类别的数量，并除以测试集的总样本数，以获得比例。

9.将income_cat移走，让数据变回原始数据。