Python中使用C扩展详解

文章目录

      • 1. Python/C API
      • 示例
      • 2. Cython
      • 示例
      • 3. ctypes
      • 关于C扩展的进一步讨论
        • 安全性和兼容性
        • 性能优化策略
        • 调试C扩展
        • 发布和分发C扩展
      • 应用实例:加速矩阵乘法运算
        • 1. 准备C扩展代码
        • 2. 编译C扩展
        • 3. 在Python中使用C扩展

在Python中,使用C扩展是一种提高程序性能、访问底层系统资源或复用现有C代码的方法。Python提供了几个库和工具来帮助开发者编写、编译和加载C扩展模块,最常用的有 Python/C APICythonctypes

1. Python/C API

Python/C API允许你直接用C语言编写Python模块。这意味着你可以创建新的数据类型、定义函数,并直接与Python解释器交互。使用API的一般步骤包括:

  • 编写C代码实现功能。
  • 使用API定义Python类型的对象和方法。
  • 编译C代码为共享库(.so文件)。
  • 在Python中通过import语句加载这个库。

示例

一个简单的C扩展模块示例,该模块提供一个函数计算两个整数的和:

// example.c
#include <Python.h>static PyObject* example_add(PyObject* self, PyObject* args) {int a, b;if (!PyArg_ParseTuple(args, "ii", &a, &b)) {return NULL;}return Py_BuildValue("i", a + b);
}static PyMethodDef ExampleMethods[] = {{"add", (PyCFunction)example_add, METH_VARARGS, "Add two numbers"},{NULL, NULL, 0, NULL}
};static struct PyModuleDef examplemodule = {PyModuleDef_HEAD_INIT,"example",   /* name of module */NULL,       /* module documentation, may be NULL */-1,         /* size of per-interpreter state of the module, or -1 if the module keeps state in global variables. */ExampleMethods
};PyMODINIT_FUNC PyInit_example(void) {return PyModule_Create(&examplemodule);
}

编译此代码需要使用Python的开发头文件和库,通常命令如下(假设已安装Python开发包):

gcc -shared -o example.so -I/usr/include/python3.x example.c -lpython3.x

然后在Python中导入这个模块:

import example
print(example.add(1, 2))

2. Cython

Cython是一个更高级的工具,它允许你用类似Python的语法编写代码,然后将其编译成C扩展。Cython添加了静态类型声明,从而能够更高效地调用C库和执行操作。使用Cython,通常涉及以下步骤:

  • 安装Cython。
  • 编写.pyx文件,其中可以混合Python和C类型的注解。
  • 使用Cython编译器生成C代码。
  • 编译生成的C代码到共享库。
  • 在Python中导入这个库。

示例

Cython版本的上述示例:

# example.pyx
def add(int a, int b):return a + b

使用Cython编译并使用这个模块,首先安装Cython(如果尚未安装):

pip install cython

然后编译example.pyx文件:

cythonize -3 -i example.pyx

这将生成一个可以直接在Python中导入的共享库文件。之后在Python中使用:

import example
print(example.add(1, 2))

3. ctypes

ctypes是Python标准库的一部分,它提供了一个更灵活但可能更复杂的途径来调用C库中的函数,而不需要预先编译C代码。你直接在Python中定义C数据类型和函数原型,然后加载动态链接库。

选择哪种方式取决于你的具体需求:如果追求极致性能且不介意更复杂的开发流程,直接使用Python/C APICython可能是最佳选择;如果你只是想简单地调用现有的C库函数,ctypes可能更合适。每种方法都有其优势和适用场景,关键在于权衡开发效率、维护成本和性能需求。

关于C扩展的进一步讨论

安全性和兼容性
  • 安全性:直接使用C扩展时,需要格外小心内存管理和其他潜在的错误,因为C语言不会自动处理这些错误,而Python则设计得更为健壮。使用Cython可以在一定程度上减少这类问题,因为它提供了更多的错误检查。
  • 兼容性:C扩展通常需要针对特定的Python版本编译。这意味着如果你的扩展需要在不同Python版本上运行,可能需要为每个版本分别编译。Cython和Python/C API都提供了宏和条件编译功能来帮助处理兼容性问题。
性能优化策略
  • 减少Python/C切换开销:在编写C扩展时,尽量减少从Python环境到C环境的转换次数。例如,在循环中避免频繁调用Python API。
  • 使用缓冲区协议:对于大量数据处理,利用Python的缓冲区协议(buffer protocol)可以更高效地处理数组和缓冲区数据,避免复制。
  • 多线程和异步:虽然C扩展可以直接使用多线程,但需要注意全局解释器锁(GIL)。对于CPU密集型任务,考虑使用子进程或者结合Python的异步IO功能。
调试C扩展

调试C扩展比调试纯Python代码要复杂一些,但也有相应的工具可用:

  • gdb:GNU调试器,可以用来调试C代码。当你的扩展崩溃或行为异常时,gdb可以帮助定位问题。
  • Cython调试:如果使用Cython,可以在编译时开启调试信息,然后使用gdb或IDE的调试功能。
  • Python的faulthandler模块:可以在Python程序崩溃时输出堆栈跟踪,帮助识别问题所在。
发布和分发C扩展
  • 预编译二进制包:为了便于用户安装,可以为常见的操作系统和Python版本预编译二进制包。
  • 使用CMake或Setuptools:这些工具可以帮助自动化编译过程,使得安装过程对用户更加友好。特别是SetuptoolsExtension类可以用来指定C扩展的编译选项,并自动构建。

C扩展是提升Python应用性能的有效手段,尤其是在处理高性能计算、密集运算或硬件交互等场景。正确使用这些技术,结合良好的编程实践和调试技巧,可以极大地增强Python应用的能力。不过,由于其增加了开发和维护的复杂度,因此在决定是否采用C扩展前,应当仔细评估性能提升与额外工作量之间的平衡。

应用实例:加速矩阵乘法运算

假设我们有一个应用场景,需要频繁进行大规模矩阵乘法运算,而Python原生的矩阵乘法可能无法满足性能要求。这时,通过编写C扩展来加速这一过程是一个不错的选择。这里以使用Python/C API为例,展示如何实现这一优化。

1. 准备C扩展代码

首先,我们编写C代码来实现矩阵乘法。这个C函数将接收两个二维数组(矩阵),计算它们的乘积,并返回结果矩阵。

// matrix_multiply.c
#include <Python.h>void matmul(int n, double* A, double* B, double* C) {for(int i = 0; i < n; ++i) {for(int j = 0; j < n; ++j) {double sum = 0;for(int k = 0; k < n; ++k) {sum += A[i*n+k] * B[k*n+j];}C[i*n+j] = sum;}}
}static PyObject* py_matrix_multiply(PyObject* self, PyObject* args) {int n;PyObject* py_A, *py_B;double* A, *B, *C;// 解析输入参数if (!PyArg_ParseTuple(args, "O!O!i", &PyArray_Type, &py_A, &PyArray_Type, &py_B, &n)) {return NULL;}// 确保输入是二维数组且元素类型为doubleif (PyArray_NDIM(py_A) != 2 || PyArray_NDIM(py_B) != 2 ||PyArray_TYPE((PyObject*)py_A) != NPY_DOUBLE ||PyArray_TYPE((PyObject*)py_B) != NPY_DOUBLE) {PyErr_SetString(PyExc_TypeError, "Input arrays must be 2D and of type double.");return NULL;}// 获取数据指针A = (double*)PyArray_DATA(py_A);B = (double*)PyArray_DATA(py_B);C = (double*)malloc(n*n*sizeof(double));// 执行矩阵乘法matmul(n, A, B, C);// 创建并返回结果numpy数组PyObject* result = PyArray_SimpleNewFromData(2, &n, NPY_DOUBLE, (void*)C);Py_INCREF(result); // 增加引用计数,防止数据被提前释放return result;
}static PyMethodDef MatrixMethods[] = {{"matrix_multiply", py_matrix_multiply, METH_VARARGS, "Multiply two matrices."},{NULL, NULL, 0, NULL}
};// 模块初始化
static struct PyModuleDef matrix_module = {PyModuleDef_HEAD_INIT,"matrix_extension",NULL,-1,MatrixMethods
};PyMODINIT_FUNC PyInit_matrix_extension(void) {import_array(); // 初始化numpy C APIreturn PyModule_Create(&matrix_module);
}
2. 编译C扩展

确保已经安装了NumPy以及Python的开发包,然后使用如下命令编译C扩展:

gcc -shared -o matrix_extension.so -I/usr/include/python3.x -lpython3.x matrix_multiply.c -lpython3.x -lm

请根据你的Python版本和路径调整上述命令。

3. 在Python中使用C扩展

接下来,在Python脚本中导入并使用这个C扩展来加速矩阵乘法运算。

import numpy as np
import matrix_extension# 创建两个随机矩阵
n = 1000
A = np.random.rand(n, n)
B = np.random.rand(n, n)# 使用C扩展进行矩阵乘法
C = matrix_extension.matrix_multiply(A, B, n)print("Resulting matrix shape:", C.shape)

通过这种方式,我们利用C语言的直接内存访问和控制能力,绕过了Python解释器的层次,实现了高效的矩阵乘法运算,显著提高了执行速度。

😍😍 大量H5小游戏、微信小游戏、抖音小游戏源码😍😍
😍😍试玩地址: https://www.bojiogame.sg😍😍
😍看上哪一款,需要源码的csdn私信我😍

————————————————

​最后我们放松一下眼睛
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/13379.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Leetcode - 130双周赛

目录 一&#xff0c;3142. 判断矩阵是否满足条件 二&#xff0c;3143. 正方形中的最多点数 三&#xff0c;3144. 分割字符频率相等的最少子字符串 四&#xff0c;3145. 大数组元素的乘积 一&#xff0c;3142. 判断矩阵是否满足条件 本题题意&#xff0c;满足每一列的数全部…

【Linux系统编程】第十九弹---进程状态(下)

​​​​​​​ ✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】【C详解】【Linux系统编程】 目录 1、僵尸进程 2、孤儿进程 3、运行状态 4、阻塞状态 5、挂起状态 6、进程切换 总结 1、僵尸进程 上一弹…

网工路由基础——动态路由协议(RIP)

一、动态路由协议的分类 1.按工作区域分类&#xff1a; 动态路由协议按用途分类可以分为内部网关协议&#xff08;IGP&#xff09;和外部网关协议&#xff08;EGP&#xff09;。一个Internet网可以被分成多个域或多个自治系统&#xff0c;各自治系统通过一个核心路由器…

基于语义感知的对象草图绘制

摘要 抽象是素描的核心&#xff0c;因为线条画的简单和最小化特性。抽象涉及识别对象或场景的基本视觉属性&#xff0c;这需要语义理解和对高级概念的先验知识。因此&#xff0c;抽象表现对艺术家来说是具有挑战性的&#xff0c;对机器来说更是如此。我们提出了CLIPasso&#…

软考--试题六--访问者模式(Visitor)

访问者模式(Visitor) 意图 表示一个作用于某对象结构中的各元素的操作。它允许在不改变各元素的类的前提下定义作用于这些元素的新操作 结构 适用性 1、一个对象的结构包含很多类对象&#xff0c;他们有不同的接口&#xff0c;而用户想对这些对象实施一些依赖于其具体类的操…

STL <string>--------String的OJ题目

1.题目截图&#xff08;把字符串转换成整数----atoi&#xff09; 1.1题目解析&#xff08;在代码里&#xff09; class Solution { public:int myAtoi(string str) {// 100% 97.45% int len str.size();if(len 0)return 0;int i 0, flag 1, isSignal 0, res 0;while(…

小红书孕妇宝妈暴力拉新玩法,每日两小时,单日收益500+

哎呀&#xff0c;你好呀&#xff0c;亲爱的小伙伴们&#xff01;我今天心血来潮&#xff0c;想和你们分享一个超级棒的方法&#xff0c;这个方法我亲自试过&#xff0c;超级有效&#xff01;就是在小红书上针对孕妇和宝妈们进行引流的方法。听起来是不是很有趣呀&#xff1f;&a…

PyCharm运行程序遇到‘[WinError 1455] 页面文件太小’的问题

最近在云环境的PyCharm运行程序&#xff0c;第一次遇到了WinError 1455的问题&#xff0c;感谢大神们给出的解决方法&#xff0c;特此记录一下。 错误提示是‘页面文件小’导致的问题&#xff0c;那么将页面调大即可。 电脑默认情况下没给D盘分配虚拟内存, 如果Python装在D盘…

【工具】macOS、window11访问limux共享目录/共享磁盘,samba服务安装使用

一、samba服务安装 Samba是一个免费的开源软件实现&#xff0c;使得非Windows操作系统能够与Windows系统进行文件和打印服务共享。它实现了SMB/CIFS协议&#xff0c;并且能够在Linux、Unix、BSD等多种系统上运行。 安装 samba&#xff1a; sudo yum install samba配置 samba…

裁员大盘点:2023年50家知名企业到底“减少”了多少员工?

面对裁员传闻&#xff0c;各家都有各家的说法。 什么“人员盘点”、“广进计划、”“优化”、“毕业”、“正常人员调整”、“瘦身”、“寒冬”…… 那么&#xff0c;国内知名企业在过去一年到底增加or减少了多少人&#xff1f; 博主翻查了一些知名上市企业2023年的财报&#…

【SRC实战】findsomething未授权修改密码

挖个洞先 https://mp.weixin.qq.com/s/i6R7OZ-5h9V5o3Kfho7QWA “ 以下漏洞均为实验靶场&#xff0c;如有雷同&#xff0c;纯属巧合 ” 01 — 漏洞证明 1、网站只有账号密码登录功能&#xff0c;没有注册&#xff0c;忘记密码 2、利用findsomething发现修改密码接口 find…

2024 年第四届长三角高校数学建模竞赛赛题B题超详细解题思路+问题一二代码分享

2024年第四届长三角数学建模竞赛B题详细解题思路 赛道B&#xff1a;人工智能范式的物理化学家 长三角分享资料&#xff08;问题一代码论文思路&#xff09;链接&#xff08;18点更新&#xff09;&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1lteKvIWNZ4v-Gd7oOcg…

visual studio 2017重命名解决方案或项目名称

1.解决方案->右键->重命名->新的名字 2.项目->右键->重命名->新的名字 3.修改程序集和命名空间名称 项目->右键->属性->修改程序集名称和命名空间名称 4.搜索换名 Ctrl-F->输入旧名称->搜索->将所有旧名称改为新名称&#xff08;注意是整…

弘君资本股市分析|巴菲特“神秘持仓”曝光!盘后大涨

巴菲特“神秘持仓”揭晓。 当地时间5月15日周三&#xff0c;巴菲特旗下伯克希尔哈撒韦提交的13F美股持仓文件显现&#xff0c;一季度伯克希尔持有2592万股安达稳妥&#xff08;Insurer Chubb&#xff09;&#xff0c;持仓市值超67亿美元&#xff08;约合人民币485亿元&#xf…

一套智慧水务平台大概多少钱?

在当今日益发展的水务行业中&#xff0c;如何实现高效、智能的管理&#xff0c;成为了摆在水务企业和相关部门面前的一大挑战。而智慧水务平台作为新时代的解决方案&#xff0c;以其强大的功能和卓越的性能&#xff0c;赢得了广泛的关注。那么&#xff0c;一套智慧水务平台大概…

Metasploit基本命令

1. 开启控制台 命令&#xff1a; msfconsole2. 搜索模块 命令&#xff1a; search ms17-010 # 模块名这里以搜索 ms17-010 为例&#xff0c; auxiliary 开头的为测试模块&#xff0c;也就是 POC&#xff0c;看看存不存在漏洞&#xff0c; exploit 开头的为攻击模块 3. 调…

一款开源简历设计生成器,内置两款设计器,多种免费模板选择,还可以自定义模板、主题等等,支持导出PDF、JSON数据。

&#x1f680; 项目简介 91化简是一个开源免费的简历设计制作以及提供模板下载的网站&#xff0c;当前项目为前端项目&#xff0c;完全开源免费。 网站内置有两款设计器&#xff0c;可以方便快捷的制作出精美的简历&#xff0c;除此之外&#xff0c;网站还提供有完整的后台管…

JL-杰理芯片-认识TA的SDK的第四天

无蓝牙连接关机时间 关机时间&#xff1a;3分钟 60 * 5 300 低功耗 进入低功耗前&#xff0c;要关闭打印 内存D2、D4、D8 芯片&#xff08;主控&#xff09;的内存不能超过一定的数值&#xff0c;超过后就不能烧录 jl_isd.bin这个文件不能超过内存大小 而杰理的内存是…

UI组件解析!5种类型让你迅速掌握!

无论是网页开发项目还是移动应用程序开发&#xff0c;整个项目过程的每一步都需要综合考虑。UI组件是设计师在项目设计过程中经常使用的工具之一。下面将为您详细分析UI组件&#xff0c;产品小白也可以快速启动。 1. 什么是UI组件&#xff1f; UI组件&#xff0c;即用户界面组…

6-10 阶乘计算升级版

void Print_Factorial ( const int N ) {if(N<0){printf("Invalid input");return;} int nN;int a[10000]{};a[0]1; //0和1的阶乘都是1&#xff0c;同时又是用该个位去&#xff0c;所以初始化为1&#xff1b;int i,j;int len0;//当前数组所占的最大下标in…