第15章生成数据
数据可视化指的是通过可视化表示来探索数据,它与数据挖掘数紧密相关,而数据挖掘指的是使用代码来探索数据集的规律和关联。
数据集可以是用一行代码就能表示的小型数字列表,也可以是数以吉字节的数据。漂亮地呈现数据关乎的并非仅仅是漂亮的图片。以引人注目的简洁方式呈现数据,让观看者能够明白其含义,发现数据集中原本未意识到的规律和意义。
所幸即便没有超级计算机,也能够可视化复杂的数据。鉴于 Python 的高效性,使用它在笔记本电脑上就能快速地探索由数百万个数据点组成的数据集。数据点并非必须是数字,利用本书前半部分介绍的基本知识,也可以对非数字数据进行分析。在基因研究、天气研究、政治经济分析等众多领域,大家都使用 Python 来完成数据密集型工作。数据科学家使用 Python 编写了一系列令人印象深刻的可视化和分析工具,其中很多也可供你使用。最流行的工具之一是 matplotlib ,它是一个数学绘图库,我们将使用它来制作简单的图表,如折线图和散点图。然后,我们将基于随机漫步概念生成一个更有趣的数据集 —— 根据一系列随机决策生成的图表。
我们还将使用 Pygal包 ,它专注于生成适合在数字设备上显示的图表。通过使用 Pygal ,可在用户与图表交互时突出元素以及调整其大小,还可轻松地调整整个图表的尺寸,使其适合在微型智能手表或巨型显示器上显示。我们将使用 Pygal 以各种方式探索掷骰子的结果。
15.1安装安matplotlib
15.1.3在在Windows系统中安装系matplotlib
在 Windows 系统中,首先需要安装 VisualStudio 。为此,请访问 https://dev.windows.com/ ,单击 Downloads ,再查找 VisualStudio Community—— 一组免费的 Windows 开发工具。请下载并运行该安装程序。接下来,需要下载 matplotlib 安装程序。为此,请访问 https://pypi.python.org/pypi/matplotlib/ ,并查找与你使用的 Python 版本匹配的 wheel 文件(扩展名为 .whl 的文件)。例如,如果你使用的是 32 位的 Python 3.5 ,则需要下载 matplotlib-1.4.3-cp35-none-win32.whl 。
注意:如果找不到与你安装的 Python 版本匹配的文件,请去 http://www.lfd.uci.edu/-gohlke/pythonlibs/#matplotlib 看看,这个网站发布安装程序的时间通常比 matplotlib 官网早些。将这个 .whl 文件复制到你的项目文件夹,打开一个命令窗口,并切换到该项目文件夹,再使用 pip 来安装 matplotlib :
> cd python_work
python_work> python -m pip install --user matplotlib-1.4.3-cp35-none-win32.whl
15.1.4测试matplotlib
安装必要的包后,对安装进行测试。为此,首先使用命令 python 或 python3 启动一个终端会话,再尝试导入 matplotlib :
>>> import matplotlib
如果没有出现任何错误消息,就说明你的系统安装了 matplotlib ,可以接着阅读下一节。
注意:如果你在安装过程中遇到了麻烦,请参阅附录 C 。如果依然无济于事,请向他人寻求帮助。对于你遇到的问题,只要向经验丰富的 Python 程序员提供少量的信息,他们很可能很快就能帮你解决。
15.1.5 matplotlib画廊
要查看使用 matplotlib 可制作的各种图表,请访问 http://matplotlib.org/ 的示例画廊。单击画廊中的图表,就可查看用于生成图表的代码。
15.2 绘制简单的折线图
下面来使用 matplotlib 绘制一个简单的折线图,再对其进行定制,以实现信息更丰富的数据可视化。我们将使用平方数序列 1 、 4 、 9 、 16 和 25 来绘制这个图表。
只需向 matplotlib 提供如下数字, matplotlib 就能完成其他的工作:
import matplotlib.pyplot as pltsquares = [1, 4, 9, 16, 25]
plt.plot(squares)
plt.show()
我们首先导入了模块 pyplot ,并给它指定了别名 plt ,以免反复输入 pyplot 。在线示例大都这样做,因此这里也这样做。模块 pyplot 包含很多用于生成图表的函数。
我们创建了一个列表,在其中存储了前述平方数,再将这个列表传递给函数 plot() ,这个函数尝试根据这些数字绘制出有意义的图形。 plt.show() 打开 matplotlib 查看器,并显示绘制的图形,如图 15-1 所示。查看器让你能够缩放和导航图形,另外,单击磁盘图标可将图形保存起来。
15.2.1修改标签文字和线条粗细
图 15-1 所示的图形表明数字是越来越大的,但标签文字太小,线条太细。所幸 matplotlib 让你能够调整可视化的各个方面。
import matplotlib.pyplot as pltsquares = [1, 4, 9, 16, 25]
plt.plot(squares, linewidth=5)
# 设置图表标题,并给坐标轴加上标签
plt.title("Square Numbers", fontsize=24)
plt.xlabel("Value", fontsize=14)
plt.ylabel("Square of Value", fontsize=14)
# 设置刻度标记的大小
plt.tick_params(axis='both', labelsize=14)
plt.show()
参数 linewidth 决定了 plot() 绘制的线条的粗细。函数 title() 给图表指定标题。在上述代码中,出现了多次的参数 fontsize 指定了图表中文字的大小。
函数 xlabel() 和 ylabel() 让你能够为每条轴设置标题 ;而函数 tick_params() 设置刻度的样式 ,其中指定的实参将影响 x 轴和 y 轴上的刻度( axes='both' ),并将刻度标记的字号设置为 14 ( labelsize=14 )。最终的图表阅读起来容易得多了,如图 15-2 所示:标签文字更大,线条也更粗。
15.2.2校正图形
图形更容易阅读后,我们发现没有正确地绘制数据:折线图的终点指出 4.0 的平方为 25 !下面来修复这个问题。
当你向plot() 提供一系列数字时,它假设第一个数据点对应的 x 坐标值为0,但我们的第一个点对应的 x 值为1 。为改变这种默认行为,我们可以给 plot() 同时提供输入值和输出值:
import matplotlib.pyplot as pltinput_values = [1, 2, 3, 4, 5]
squares = [1, 4, 9, 16, 25]plt.plot(input_values, squares, linewidth=5)
# 设置图表标题并给坐标轴加上标签
plt.title("Square Numbers", fontsize=24)
plt.xlabel("Value", fontsize=14)
plt.ylabel("Square of Value", fontsize=14)
# 设置刻度标记的大小
plt.tick_params(axis='both', labelsize=14)
plt.show()
现在plot() 将正确地绘制数据,因为我们同时提供了输入值和输出值,它无需对输出值的生成方式作出假设。最终的图形是正确的,如图15-3所示。
使用 plot() 时可指定各种实参,还可使用众多函数对图形进行定制。本章后面处理更有趣的数据集时,将继续探索这些定制函数。
15.2.3使用使scatter()绘制散点图并设置其样式
有时候,需要绘制散点图并设置各个数据点的样式。例如,你可能想以一种颜色显示较小的值,而用另一种颜色显示较大的值。绘制大型数据集时,你还可以对每个点都设置同样的样式,再使用不同的样式选项重新绘制某些点,以突出它们。
要绘制单个点,可使用 函数scatter() ,并向它传递一对 x 和 y 坐标,它将在指定位置绘制一个点:
import matplotlib.pyplot as pltplt.scatter(2, 4, s=200)
# 设置图表标题并给坐标轴加上标签
plt.title("Square Numbers", fontsize=24)
plt.xlabel("Value", fontsize=14)
plt.ylabel("Square of Value", fontsize=14)
# 设置刻度标记的大小
plt.tick_params(axis='both', which='major', labelsize=14)
plt.show()
我们调用了scatter() ,并使用实参s 设置了绘制图形时使用的点的尺寸。如果此时运行scatter_squares.py,将在图表中央看到一个点,如图15-4所示。
15.2.4使用使scatter()绘制一系列点
要绘制一系列的点,可向 scatter() 传递两个分别包含 x 值和 y 值的列表,如下所示:
import matplotlib.pyplot as pltx_values = [1, 2, 3, 4, 5]
y_values = [1, 4, 9, 16, 25]
plt.scatter(x_values, y_values, s=100)
plt.title("Square Numbers", fontsize=24)
plt.xlabel("Value", fontsize=14)
plt.ylabel("Square of Value", fontsize=14)
# 设置刻度标记的大小
plt.tick_params(axis='both', which='major', labelsize=14)
plt.show()
列表 x_values 包含要计算其平方值的数字,而列表 y_values 包含前述每个数字的平方值。将这些列表传递给 scatter() 时, matplotlib 依次从每个列表中读取一个值来绘制一个点。要绘制的点的坐标分别为 (1, 1) 、 (2, 4) 、 (3, 9) 、 (4, 16) 和 (5, 25) ,最终的结果如图 15-5 所示。
15.2.5自动计算数据
手工计算列表要包含的值可能效率低下,需要绘制的点很多时尤其如此。可以不必手工计算包含点坐标的列表,而让 Python 循环来替我们完成这种计算。下面是绘制 1000 个点的代
码:
import matplotlib.pyplot as pltx_values = list(range(1, 1001))
y_values = [x**2 for x in x_values]
plt.scatter(x_values, y_values, s=40)
# 设置图表标题并给坐标轴加上标签
plt.scatter(x_values, y_values, s=100)
plt.title("Square Numbers", fontsize=24)
plt.xlabel("Value", fontsize=14)
plt.ylabel("Square of Value", fontsize=14)
# 设置刻度标记的大小
plt.tick_params(axis='both', which='major', labelsize=14)
# 设置每个坐标轴的取值范围
plt.show()
我们首先创建了一个包含 x 值的列表,其中包含数字 1~1000(见 x_values = list(range(1, 1001)) )。接下来是一个生成 y 值的列表解析,它遍历 x 值( for x in x_values ),计算其平方值( x**2 ),
并将结果存储到列表 y_values 中。然后,将输入列表和输出列表传递给 scatter() (见plt.scatter(x_values, y_values, s=40) )。
由于这个数据集较大,我们将点设置得较小,并使用函数 axis() 指定了每个坐标轴的取值范围(见
plt.axis([0, 1100, 0, 1100000]))。函数axis() 要求提供四个值:x 和 y 坐标轴的最小值和最大值。在这里,我们将 x 坐标轴的取值范围设置为0~1100,并将 y 坐标轴的取值范围设置为0~1 100 000。结果如图15-6所示。
15.2.6删除数据点的轮廓
matplotlib 允许你给散点图中的各个点指定颜色。默认为蓝色点和黑色轮廓,在散点图包含的数据点不多时效果很好。但绘制很多点时,黑色轮廓可能会粘连在一起。要删除数据点的轮廓,可在调用 scatter() 时传递实参 edgecolor='none'
plt.scatter(x_values, y_values, edgecolor='none', s=40)
15.2.7自定义颜色自
要修改数据点的颜色,可向 scatter() 传递参数 c ,并将其设置为要使用的颜色的名称,如下所示:
plt.scatter(x_values, y_values, c='red', edgecolor='none', s=40)
你还可以使用 RGB 颜色模式自定义颜色。要指定自定义颜色,可传递参数 c ,并将其设置为一个元组,其中 包含三个0~1之间的小数值 ,它们分别表示红色、绿色和蓝色分量。例如,下面的代码行创建一个由淡蓝色点组成的散点图:
plt.scatter(x_values, y_values, c=(0, 0, 0.8), edgecolor='none', s=40)
值越接近0,指定的颜色越浅,值越接近1,指定的颜色越深。
15.2.8使用颜色映射
颜色映射(colormap) 是一系列颜色,它们从起始颜色渐变到结束颜色。在可视化中,颜色映射用于突出数据的规律,例如,你可能用较浅的颜色来显示较小的值,并使用较深的颜色来显示较大的值。模块 pyplot 内置了一组颜色映射。要使用这些颜色映射,你需要告诉 pyplot 该如何设置数据集中每个点的颜色。下面演示了如何根据每个点的 y 值来设置其颜色:
plt.scatter(x_values, y_values, c=y_values, cmap=plt.cm.Blues, edgecolor='none', s=40)
我们将参数 c 设置成了一个 y 值列表,并使用参数 cmap 告诉 pyplot 使用哪个颜色映射。这些代码将 y 值较小的点显示为浅蓝色,并将 y 值较大的点显示为深蓝色,生成的图形如图 15-7 所示。
注意: 要了解 pyplot 中所有的颜色映射,请访问 http://matplotlib.org/ ,单击 Examples ,向下滚动到 Color Examples ,再单击 colormaps_reference 。
15.3随机漫步
在本节中,我们将使用 Python 来生成随机漫步数据,再使用 matplotlib 以引人瞩目的方式将这些数据呈现出来。
随机漫步是这样行走得到的路径:每次行走都完全是随机的,没有明确的方向,结果是由一系列随机决策决定的。你可以这样认为,随机漫步就是蚂蚁在晕头转向的情况下,每次都沿随机的方向前行所经过的路径。
在自然界、物理学、生物学、化学和经济领域,随机漫步都有其实际用途。例如,漂浮在水滴上的花粉因不断受到水分子的挤压而在水面上移动。水滴中的分子运动是随机的,因此花粉在水面上的运动路径犹如随机漫步。我们稍后将编写的代码模拟了现实世界的很多情形。
15.3.1创建RandomWalk() 类
为模拟随机漫步,我们将 创建一个名为RandomWalk 的类 ,它随机地选择前进方向。这个类需要三个属性,其中一个是存储随机漫步次数的变量,其他两个是列表,分别存储随机漫步经过的每个点的 x 和 y 坐标。
RandomWalk 类只包含两个方法: __init__() 和 fill_walk() ,其中后者计算随机漫步经过的所有点。下面先来看看 __init__() ,如下所示:
为做出随机决策,我们将所有可能的选择都存储在一个列表中,并在每次做决策时都使用 choice() 来决定使用哪种选择(见 ❶ )。
from random import choice
接下来,我们将随机漫步包含的默认点数设置为 5000 ,这大到足以生成有趣的模式,同时又足够小,可确保能够快速地模拟随机漫步(见 ❷ )。然后,在 ❸ 处,我们创建了两个用于存储 x 和 y 值的列表,并让每次漫步都从点 (0, 0) 出发。
random_walk.py
from random import choice
import matplotlib.pyplot as pltclass RandomWalk():# 一个生成随机漫步数据的类def __init__(self, num_points=5000):# 初始化随机漫步的属性self.num_points = num_points# 所有随机漫步都始于(0, 0)self.x_values = [0]self.y_values = [0]
15.3.2选择方向
我们将使用 fill_walk() 来生成漫步包含的点,并决定每次漫步的方向,如下所示。请将这个方法添加到 random_walk.py 中:
在 ❶ 处,我们建立了一个循环,这个循环不断运行,直到漫步包含所需数量的点。这个方法的主要部分告诉 Python 如何模拟四种漫步决定:向右走还是向左走?沿指定的方向走多远?向上走还是向下走?沿选定的方向走多远?
我们使用 choice([1, -1]) 给 x_direction 选择一个值,结果要么是表示向右走的 1 ,要么是表示向左走的 -1 (见 ❷ )。接下来, choice([0, 1, 2, 3, 4]) 随机地选择一个 0~4 之间的整数,告诉 Python 沿指定的方向走多远( x_distance )。(通过包含 0 ,我们不仅能够沿两个轴移动,还能够沿 y 轴移动。)
在 ❸ 和 ❹ 处,我们将移动方向乘以移动距离,以确定沿 x 和 y 轴移动的距离。如果 x_step 为正,将向右移动,为负将向左移动,而为零将垂直移动;如果 y_step 为正,就意味着向上移动,为负意味着向下移动,而为零意味着水平移动。如果 x_step 和 y_step 都为零,则意味着原地踏步,我们拒绝这样的情况,接着执行下一次循环(见 ❺ )。
为获取漫步中下一个点的 x 值,我们将 x_step 与 x_values 中的最后一个值相加(见 ❻ ),对于 y 值也做相同的处理。获得下一个点的 x 值和 y 值后,我们将它们分别附加到列表 x_values 和 y_values 的末尾。
from random import choice
import matplotlib.pyplot as pltclass RandomWalk():# 一个生成随机漫步数据的类def __init__(self, num_points=5000):# 初始化随机漫步的属性self.num_points = num_points# 所有随机漫步都始于(0, 0)self.x_values = [0]self.y_values = [0]def fill_walk(self):#计算随机漫步包含的所有点# 不断漫步,直到列表达到指定的长度while len(self.x_values) < self.num_points:# 决定前进方向以及沿这个方向前进的距离x_direction = choice([1, -1])x_distance = choice([0, 1, 2, 3, 4])x_step = x_direction * x_distancey_direction = choice([1, -1])y_distance = choice([0, 1, 2, 3, 4])y_step = y_direction * y_distance# 拒绝原地踏步if x_step == 0 and y_step == 0:continue# 计算下一个点的x和y值next_x = self.x_values[-1] + x_stepnext_y = self.y_values[-1] + y_stepself.x_values.append(next_x)self.y_values.append(next_y)
15.3.3绘制随机漫步图
下面的代码将随机漫步的所有点都绘制出来:
rw_visual.py
我们首先导入了模块 pyplot 和 RandomWalk 类,然后创建了一个 RandomWalk 实例,并将其存储到 rw 中(见 ❶ ),再调用 fill_walk() 。在 ❷ 处,我们将随机漫步包含的x 和 y 值传递给 scatter() ,并选择了合适的点尺寸。图 15-8 显示了包含 5000 个点的随机漫步图(本节的示意图未包含 matplotlib 查看器部分,但你运行 rw_visual.py 时,依然会看到)。
from random_walk import RandomWalk
import matplotlib.pyplot as plt# 创建一个RandomWalk实例,并将其包含的点都绘制出来
rw = RandomWalk()
rw.fill_walk()
plt.scatter(rw.x_values, rw.y_values, s=15)
plt.show()
编辑
15.3.4模拟多次随机漫步
每次随机漫步都不同,因此探索可能生成的各种模式很有趣。要在不多次运行程序的情况下使用前面的代码模拟多次随机漫步,一种办法是将这些代码放在一个 while 循环中,
如下所示:
rw_visual.py
import matplotlib.pyplot as plt
from random_walk import RandomWalk# 只要程序处于活动状态,就不断地模拟随机漫步
while True:# 创建一个RandomWalk实例,并将其包含的点都绘制出来rw = RandomWalk()rw.fill_walk()plt.scatter(rw.x_values, rw.y_values, s=15)plt.show()keep_running = input("Make another walk? (y/n): ")if keep_running == 'n':break
这些代码模拟一次随机漫步,在 matplotlib 查看器中显示结果,再在不关闭查看器的情况下暂停。如果你关闭查看器,程序将询问你是否要再模拟一次随机漫步。如果你输入 y ,可模拟多次随机漫步:这些随机漫步都在起点附近进行,大多沿特定方向偏离起点,漫步点分布不均匀等。要结束程序,请输入 n 。
15.3.5 设置随机漫步图的样式
在本节中,我们将定制图表,以突出每次漫步的重要特征,并让分散注意力的元素不那么显眼。为此,我们确定要突出的元素,如漫步的起点、终点和经过的路径。接下来确定要使其不那么显眼的元素,如刻度标记和标签。最终的结果是简单的可视化表示,清楚地指出了每次漫步经过的路径。
15.3.6给点着色
我们将使用颜色映射来指出漫步中各点的先后顺序,并删除每个点的黑色轮廓,让它们的颜色更明显。为根据漫步中各点的先后顺序进行着色,我们传递参数 c ,并将其设置为
一个列表,其中包含各点的先后顺序。由于这些点是按顺序绘制的,因此给参数 c 指定的列表只需包含数字 1~5000 ,如下所示:
rw_visual.py