目录
1. Web开发框架与工具
2. 数据处理与分析
3. 网络请求与爬虫
4. 异步编程
5. 数据库操作
6. 图像与多媒体处理
7. 语言模型与NLP
8. 安全与加密
9. 配置与工具
10. 其他工具库
11.典型组合场景
此章节主要是记录我所使用的包,以及模块。方便供自己方便以及大家参考,未来会根据作者的学习会在此章节增加包。
1. Web开发框架与工具
-
Jinja2:模板引擎,用于动态生成HTML(常与Flask、Django搭配)。
-
MarkupSafe:防止HTML注入攻击,配合模板引擎使用。
-
aiohttp:异步HTTP客户端/服务器框架(常与asyncio、aiohappyeyeballs组合)。
-
SQLAlchemy:ORM工具,简化数据库操作(与PyMySQL、PostgreSQL驱动等搭配)。
2. 数据处理与分析
-
numpy:数值计算库,支持多维数组操作(与pandas、matplotlib组合)。
-
pandas:数据清洗与分析工具(常与numpy、matplotlib结合)。
-
matplotlib:数据可视化库(与pandas、numpy配套使用)。
-
PyYAML:YAML文件读写(用于配置管理)。
3. 网络请求与爬虫
-
requests:同步HTTP请求库(与beautifulsoup4、lxml组合)。
-
httpx:支持同步/异步HTTP请求(与aiohttp互补)。
-
beautifulsoup4:HTML/XML解析(与requests、lxml搭配)。
-
lxml:高效XML/HTML解析库(常用于爬虫)。
4. 异步编程
-
aiohappyeyeballs:优化异步网络连接(与aiohttp配合)。
-
anyio:统一异步I/O接口(支持trio、asyncio)。
-
trio:异步并发框架(与trio-websocket组合)。
5. 数据库操作
-
PyMySQL:MySQL数据库连接驱动(与SQLAlchemy搭配)。
-
pymssql:Microsoft SQL Server驱动(未列出,但类似用途)。
6. 图像与多媒体处理
-
Pillow:图像处理库(与opencv-python互补)。
-
opencv-python:计算机视觉库(用于图像识别、处理)。
-
imageio:图像/视频读写(与moviepy组合处理视频)。
7. 语言模型与NLP
-
langchain系列:构建大语言模型应用(与transformers、Hugging Face库搭配)。
-
langsmith:LangChain的调试与监控工具。
8. 安全与加密
-
cryptography:加密算法与协议实现(用于SSL/TLS、数据加密)。
-
certifi:管理SSL证书(与requests、urllib3配合)。
9. 配置与工具
-
python-dotenv:管理环境变量(常用于项目配置)。
-
prettytable:终端表格输出(用于日志格式化)。
-
tqdm:进度条工具(用于耗时任务监控)。
10. 其他工具库
-
colorama:终端彩色输出(调试时提升可读性)。
-
tenacity:重试机制库(用于网络请求容错)。
-
urllib3:HTTP客户端(被requests依赖)。
11.典型组合场景
-
Web开发:
aiohttp + Jinja2 + SQLAlchemy
-
数据分析:
pandas + numpy + matplotlib
-
爬虫:
requests + beautifulsoup4 + lxml
-
异步任务:
aiohttp + trio + anyio
-
AI应用:
langchain + transformers + numpy
作者PyCharm所使用的包展示如下: