C 怎么读取Cpp文件_python之调用C加速计算(一)

一、前言

python语言是目前比较火的语言，很容易上手，对数据处理也比较友好，可以用几行代码就能进行一些简单的数据处理工作。但是对于稍微大型的数值计算，或者一些涉及到大量循环的数值计算python的计算速度有点让人失望。

即使是使用numpy对算法算法进行优化，能提升的空间都非常有限了，当然网上有一行代码就提升100倍这种帖子，就是使用numba，但用了这个之后感受并不是太好，对于一个简单循环或许可以加速，对于复杂的循环效果也许并不好(可能是我不会使用，对numba没有太深入的研究)。

想要提升python的数值计算，目前看到比较好的解决方案就是用C给python写计算的lib，如果仅是数值计算，其实涉及到的C++语言的知识并不太多，基本就是for循环，if判断，以及一些STL库，个人觉得性价比还是挺高的。

python调用C进行数值计算最大难点就是如何进行数据交换，也就是如何把输入参数的指针传递给C，以及如何返回输出参数指针给python。有大神早就将这些都封装好了，就是使用pybind11。

二、pybind11简介

pybind11定义了一些python数据结构和C++的对应关系，使得数据交换变得非常简单，接下来简单介绍数值计算主要用的一些pybind11用到的知识。

1)获取pybind11

想要用到pybind11的功能当然得有pybind11的代码，网上可以直接下载到pybind11-master.rar文件，只需要下载到本地，然后解压就可以了。

2)cpp基本结构介绍

接下来直接就写代码吧，用Visual Studio创建个cpp文件(不会安装vs的可以自行百度安装一下，这个不是本文重点就不介绍了)，本文使用的是VS2015。

首先include一些头文件。Emm…反正感觉会用的先include进来应该没错了。

接下来include本文的重点也就是pybind11的头文件。

然后修改下命名空间，只是为了书写方便和import pandas as pd一个道理。

接下来要定义模块的入口。

其中calc就是在python调用时候的模块名称，m是在C++文件中的模块实例，可以通过m.doc()给这个模块写下文档，一般就是这个模块是干什么的，可以在python环境help该模块名来查看，接下来通过m.def定义函数名，第一个参数是字符串，是在python调用时候的函数名，第二个参数是C++文件中的对应函数名称，三个参数是该函数的介绍。

以上写完之后就可以愉快的开始写函数了，整个cpp的结构大致就是下面这样了。

分别是头文件，命名空间，函数区，函数导出区。本文也按照常规套路hello world一把。

3)编译cpp成pyd文件

接下来需要通过编译器将cpp文件编译成python的pyd文件，首先要找到vs的x64本机工具命令提示符，本文以vs2015为例，在开始菜单直接搜索vs2015会出来以下选项(前提是你已经装了正确安装vs)。然后选择VS2014 x64 本机工具命令提示符(注意一定要是x64的)。

打开之后通过cd /d 路径，这个命令将路径切换到cpp所在路径。然后输入以下命令

其中calc.cpp是待编译的cpp文件，路径1需要替换成前文获取到的pybind11-master文件夹下的include文件夹的所在路径，路径2需要替换成python安装路径的include文件夹的所在路径，路径3替换成python安装路径下的libs文件夹的所在路径，calc.pyd是生成的pyd名称，需要和cpp中模块名一致。

输入上述代码回车之后，编译成功会有如下信息打印，同时在cpp所在路径会产生四个文件，我们需要的只是后缀为.pyd的文件。

4)python执行

之后打开前文编译所有的python环境来进行测试，注意这里编译的pyd不同python版本是不能共用的(即python3.5编译出来的文件，python3.6并不能调用)，有时同样是3.6编译出来的也不能使用，这个还没研究是怎么一个兼容关系。

python调用pyd文件，一种简单的方法是用sys模块直接加入pyd文件所在路径，就可以直接调用，或者也可拷贝pyd文件到python能找到的路径下，比如python的安装路径下。然后执行写好的函数就有如下结果。

好的到此咱们已经完成了整个从下载所需文件，到cpp文件书写，然后对cpp进行编译，最后在python执行的全过程。

5)pybind11数据结构介绍

在数值计算用的最多的结构是array_t<>，可以是array_t，array_t或者array_t，当然用的最多的肯定是array_t了。

以上是一个两个矩阵输入，同时输出函数也是一个矩阵的函数声明，在array_t里面封装了数据矩阵的指针以及数据矩阵的大小。

通过以上方法获得了两个数据指针ptr1和ptr2，以及第一个矩阵的大小。

接下来定义输出参数，申请内存并获得数据指针。

上述简单介绍了py::array_t的基本用法，pybind11还定义了py::list等等数据封装内容这些可以自行查看pybind11文档或者相应的pdf文档。

pybind11文档https://pybind11.readthedocs.io/en/master/intro.html

6)读取和数据存储

为了方便代码书写，本文会获得的指针进行宏定义，使得代码更有可读性，这里就涉及到了数据存储方式的问题。

这里示范的书写方法是默认输入矩阵和输出矩阵都是按行存储，这一点特别需要注意，其中numpy里的array数据默认是按行存储，也就是不管何种存储方式，只要对array数据进行copy操作之后，返回的数据都是按行存储。所以一般用array数据矩阵作为C函数输入时，进行copy操作是比较稳妥的方式，但是当矩阵较大时，进行矩阵的深拷贝的速度往往会很慢，甚至可能大于计算所需要的时间。

python常用的库还有pandas，DataFrame数据的存储默认是按列存储，也就是从通过某个dataframe数据.values的方法获得的array数据矩阵，默认是按列存储。

那么如何知道一个array数据矩阵是按行存储还是按列存储呢，array数据有相应参数进行说明。

array数据矩阵的flags属性下，有f_contiguous和c_contiguous这两个布尔类型的属性，当c_contiguous为真时，矩阵是按行存储，当f_contiguous为真时，矩阵是按列存储。其中f好像是表示Fortran语言，这种语言主要用来进行科学计算，是按列存储，据网上说超大型的数值计算都是用这种语言。c表示C语言，c语言是按行存储。平时用的比较多的数值计算的还有matlab，matlab是按列存储的。貌似对于截面数据来说，进行时间序列上的操作确实是按列存储比较占优。