数据分析-Pandas数据分类的转换控制

数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？

数据表，时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。数据分析过程中重新调整，重塑数据表是很重要的技巧，此处选择Titanic数据，以及巴黎、伦敦欧洲城市空气质量监测 $NO_2$ 数据作为样例。

数据分析

数据分析-Pandas如何转换产生新列

数据分析-Pandas如何统计数据概况

数据分析-Pandas如何轻松处理时间序列数据

数据分析-Pandas如何选择数据子集

数据分析-Pandas如何重塑数据表-CSDN博客

本文用到的样例数据：

Titanic数据

空气质量监测 $NO_2$ 数据

样例代码：

源代码参考 Pandas如何重塑数据表

源代码参考 python数据分析-数据表读写到pandas

导入关键模块

import pandas as pd
import numpy as np

实验数据分析处理，股票序列，时间序列，信号序列，有时候表格的数据并不完全是数值类型，也有可能是字符串，或者其他数据，需要做分类处理。pandas如何控制数据分类处理呢？需要配置哪些参数？

下面对 pandas 分类数据类型做个简单的介绍。

分类数据

Categoricals 是 pandas 的一种数据类型，对应统计分类变量。通常，统计分类变量是有限的、固定的、可能数值。例如，性别，社会阶层，血型，颜色，种类，评价，评级等等。

与统计分类变量相比，分类数据还可能有一个顺序（例如 “非常同意”与“同意”，“第一次观察”与“第二次观察”），但不能进行算术计算，比如，加减乘除。

所有的数据，要么在分类数据中，要么不在。分类数据如果有顺序，那么是按定义的值进行排序，而不是按照词法顺序，比如字母顺序，数字顺序。实际上在内部，其数据结构是由一个真正数值的数组和一个整数数组构成，整数数组指向真正值的数组。哈哈，有点绕。

分类的作用

categorical 数据类型在以下情况下很有用：

仅由几个不同值组成的字符串变量。字符串变量转换为分类变量可节省一些内存。
变量的逻辑顺序和词法顺序不同，通过转换为分类并指定类别的顺序，这样可以使用逻辑顺序进行排序， min/max 操作。
提示 Python 库，表明此列应被视为分类变量操作（例如，使用合适的统计方法或绘图类型）。

分类转换的控制

在前面分类数据的生成示例中，使用dtype='category'默认的配置：

类别是从数据中推断出来的；
类别是无序的；

如果要控制，改变类型的配置，可以使用 ``CategoricalDtype` 函数，主要参数是类别参数 categories，是否有序 ordered。

In [26]: from pandas.api.types import CategoricalDtypeIn [27]: s = pd.Series(["a", "b", "c", "a"])
In [28]: cat_type = CategoricalDtype(categories=["b", "c", "d"], ordered=True)
In [29]: s_cat = s.astype(cat_type)
In [30]: s_catOut[30]: 
0    NaN
1      b
2      c
3    NaN
dtype: category
Categories (3, object): ['b' < 'c' < 'd']

同样，当在DataFrame中使用时，原本所有列之间的类别可能不一致的问题，就可以用CategoricalDtype解决。

In [31]: from pandas.api.types import CategoricalDtypeIn [32]: df = pd.DataFrame({"A": list("abca"), "B": list("bccd")})
In [33]: cat_type = CategoricalDtype(categories=list("abcd"), ordered=True)
In [34]: df_cat = df.astype(cat_type)
In [35]: df_cat["A"]Out[35]: 
0    a
1    b
2    c
3    a
Name: A, dtype: category
Categories (4, object): ['a' < 'b' < 'c' < 'd']In [36]: df_cat["B"]Out[36]: 
0    b
1    c
2    c
3    d
Name: B, dtype: category
Categories (4, object): ['a' < 'b' < 'c' < 'd']

如果已知分布，也可以使用from_codes()函数构造，比如以下是正态函数构造模式：

In [37]: splitter = np.random.choice([0, 1], 5, p=[0.5, 0.5])In [38]: s = pd.Series(pd.Categorical.from_codes(splitter, categories=["train", "test"]))

分类类型的复原

如果要返回到原始数组，或 NumPy 数组，请使用：Series.astype(original_dtype) 或者np.asarray(categorical)

In [39]: s = pd.Series(["a", "b", "c", "a"])
In [41]: s2 = s.astype("category")
In [42]: s2Out[42]: 
0    a
1    b
2    c
3    a
dtype: category
Categories (3, object): ['a', 'b', 'c']In [43]: s2.astype(str)
Out[43]: 
0    a
1    b
2    c
3    a
dtype: objectIn [44]: np.asarray(s2)
Out[44]: array(['a', 'b', 'c', 'a'], dtype=object)