几乎所有使用Python处理分析数据的人都用过Pandas,因为实在太方便了,就像Excel一样,但你知道Pandas是基于numpy开发出来的吗?
Pandas和Numpy的关系类似于国产安卓系统和原生安卓,Numpy提供底层数据结构和算法,搭配数据面板的分析模式,缔造了Pandas。
某种意义上来说,Numpy是Python数据科学领域金字塔尖的库?
有人这样问过。
这并不让人意外,虽然Numpy没有Pandas知名度高,但Numpy的性能之强大、应用之广会让很多人咋舌,甚至Numpy的论文登上了Nature杂志。
阅读和下载地址:https://www.nature.com/articles/s41586-020-2649-2
不清楚底细的人可能会问,到底什么是Numpy?
Numpy是专门用于多维数组和矩阵计算的Python库,Numpy的强大不在于有多少函数方法,而在于其多维数组和矩阵的计算能力和运行效率。
众所周知的商业软件matlab,也是基于多维数组和矩阵计算。
多维数组和矩阵计算最主要的特点是快,非常快。
知道线性代数吧,为了提高性能,有专门的线性代数库(如BLAS、LAPACK、Intel MKL等)对底层的矩阵运算进行了高度优化。
另外,CPU、GPU这些硬件对矩阵运算有很好的支持。
比如说,GPU具有大量的并行处理核心,非常适合执行大规模的矩阵运算。通过使用CUDA或OpenCL等技术,可以充分发挥GPU的并行计算能力。
在Numpy创建和使用多维数组很简单,使用array方法即可。
除了多维数组和矩阵计算,从numpy本身来说,它以下4大特点确保了它的重要地位:
1、可以和Pandas等多种库进行交互
2、拥有各种科学计算API,任你调用
3、Numpy基于C语言开发,速度和C一样快
4、Numpy在Python中使用,操作和Python一样简洁
接下来,我们看看有哪些Python库的底层依赖库是numpy。
依赖代表这些库需要numpy支持才能运行,某种意义上来说,某个库作为依赖库越多代表它越重要。
以numpy作为依赖的部分python库:
- Pandas:最出名的数据处理和分析库,使用基于NumPy 的二维数组来分析数据。
-
SciPy:类似于Matlab的数学和工程计算库,SciPy 库建立在 NumPy 之上,使用多维数组来计算。
-
Matplotlib:Python中功能最齐全的可视化库,也是很多其他可视化库的依赖,它依赖 NumPy 进行数学运算以生成图形。
-
Scikit-learn:拥有各类算法的机器学习库,使用 NumPy 进行数据的快速处理和算法实现。
-
StatsModels:专门用于统计分析的算法库,依赖 NumPy 进行数值计算。
-
TensorFlow 和 PyTorch:最最出名的两个深度学习框架,各种大模型都是靠它们跑出来的,但是它们在底层使用 NumPy 进行张量操作。
- OpenCV:家喻户晓的计算机视觉,使用 NumPy 数组进行图像处理。
- NetworkX:图形网络分析库,用于复杂网络创建、操作和使用 ,使用NumPy 进行网络分析。
可以看到,很多主流的数据科学、机器学习、深度学习库都是靠numpy依赖,基于多维数组来进行计算,可见numpy有多么的重要,说它是数据科学的顶级库也不为过。
以下是一些numpy的基础函数和方法介绍:
-
np.array(object, dtype=None, copy=True, order='K', subok=False, ndmin=0)
:- 创建一个 NumPy 数组。
-
np.zeros(shape, dtype=float, order='C')
:- 返回一个给定形状和数据类型的数组,其中所有元素都为 0。
-
np.ones(shape, dtype=None, order='C')
:- 返回一个给定形状和数据类型的数组,其中所有元素都为 1。
-
np.empty(shape, dtype=float, order='C')
:- 返回一个未初始化的数组,其元素值是随机的。
-
np.arange(start, stop=None, step=1, dtype=None)
:- 返回一个与 Python 的
range
类似的数组,包含从start
开始到stop
结束(不包括stop
)的值,步长为step
。
- 返回一个与 Python 的
-
np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None, axis=0)
:- 返回一个数组,其中包含
num
个从start
到stop
的等间隔的点。
- 返回一个数组,其中包含
-
np.reshape(a, newshape, order='C')
:- 将数组
a
重塑为newshape
指定的形状。
- 将数组
-
np.transpose(a, axes=None)
:- 转置数组,可选地按照
axes
指定的轴顺序。
- 转置数组,可选地按照
-
np.dot(a, b, out=None)
:- 矩阵乘法,计算两个数组的点积。
-
np.vstack(tup)
:- 垂直堆叠数组,等价于
np.concatenate(tup, axis=0)
。
- 垂直堆叠数组,等价于