Python爬虫教程第0篇-写在前面

为什么写这个系列

最近开发了个Python爬虫的脚本,去抢一个名额,结果是程序失败了,中间有各种原因,终究还是准备不足的问题。我想失败的经验或许也可贵,便总结一下当初从0开始学Python,一步步去写Python脚本,到后来写了个大的项目。这中间不断的摸索摸索,最终也有了一点点自己的心得和经验。

当然还有个原因是,我最近也不知道该写点什么了,第一次写系列文章,一方面督促自己不断更新,也给自己找了个新的学习方向。
在这里插入图片描述
之前也学过Python,但是从来都是学了没用上,然后就忘记了。自己这次需要借用Python去做些实际事情的时候,这个时候的学习效率远比之前没有目的的学习效率高很多。在实践中学习,确实事半功倍,也建议大家带着实际需求去开发去学习一门技术。Python确实,实现很优雅,写起来很快,因为Java是我的主语言嘛,所以来回切换两种语言写项目,有的时候写Java,就会特别想pyhon。而且当下大模的火爆,Python或许是我通向AI转型的敲门砖。

准备写哪些方向

其实没有固定的标准,我会以自己个人小白的经历去写,比如我可能使用到BeautifulSoup,我觉得这个工具好用,我会写相关的文章给大家推荐;又或是使用reqeust遇到的坑以及代理的使用也会做分享;也可能是如果使用Selenium去实现自己的目标等。

这里不会去写怎么学习Python等,因为我也不是特别专业的Python开发者,我学习Python的时候也是一天看完个大概,跑通一个hello world!就开始上手写业务逻辑了。过程中确实也遇到了不少问题,比如Python代码的管理呀,class啊等等如何组织Pytho代码。有趣的是,很多时候我可能会用写Java的思想去写Python。就像之前领导打趣的说我写的Scala和Java一样。

主要目的还是在于分享,信息的闭塞也会导致技术的闭塞,所以大家一起讨论一起分享。特别是爬虫领域中,最不可避免的就是会有很多奇奇葩葩的问题,可能不同的目标网址遇到的问题也很不相同,但是很多共性问题是一样的。比如有次我以为堆积器就行了,但是反而堆机器触发了目标网站一个机制,被限制访问了,从而直接失败。这点其实是我想不到的,因为平时的测试无法去复现真正申请时,目标网络的繁忙可能有很多自保的措施。或许这就是我说的失败的经验也宝贵,下次换个策略就好了。
在这里插入图片描述

总结

欢迎大家点赞、收藏和一起讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/41196.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【docker nvidia/cuda】ubuntu20.04安装docker踩坑记录

docker nvidia 1.遇到这个错误,直接上魔法(科学上网) OpenSSL SSL_connect: Could not connect to nvidia.github.io:443 这个error是运行 NVIDIA官方docker安装教程 第一个 curl 命令是遇到的 2. apt-get 更新 sudo apt update遇到 error https://download.do…

平面设计考试题

考试题 缺省页作用:缓减缺省页带来的负面情绪,增加s用户与产品的粘度,提升产品的用户体验 网站基本类型 c端b端 c端 面向用户和消费者的 门户站 产品网站 企业网站 电商网站 专题页面 游戏网站 视频网站 h5移动端 四大门户网站:新浪&…

在Ubuntu上安装VNC服务器教程

Ubuntu上安装VNC服务器方法:按照root安装TeactVnc,随后运行vncserver输入密码,安装并打开RickVNC客户端,输入服务器的IP,最后连接输入密码即可。 VNC或虚拟网络计算,可让您连接到远程Linux / Unix服务器的…

百数教学:如何用分析图表助力报表可视化?

表单收集的数据是决策的重要依据,而报表则是分析和处理这些数据的关键工具。 通过报表,我们能够进行明细查询,深入了解每一条数据的细节;通过汇总功能,用户能够快速掌握整体情况;计算平均值有助于用户评估…

SCT612404通道,高效高集成,摄像头模组电源集成芯片

集成三路降压变换器,1CH高压BUCK,2CH低压Buck >HVBuck1:输入电压4.0V-20V,输出电流1.2A,Voo300mV/500mV >LVBuck2:输入电压2.7V-5V,输出电流0.6A , 固定1.8V输出 ;LVBuck3:输λ2.7V-5V,输出电流1.2A,可设定固定输出: 1 . 1 V / 1 . 2 V / 1 . 3 …

for nested data item, row-key is required.报错解决

今天差点被一个不起眼的bug搞到吐,就是在给表格设置row-key的时候,一直设置不成功,一直报错缺少row-key,一共就那两行代码 实在是找不到还存在什么问题... 先看下报错截图... 看下代码 我在展开行里面用到了一个表格 并且存放表格…

公共事件应急日常管理系统-计算机毕业设计源码40054

公共事件应急日常管理系统的设计与实现 摘 要 本研究基于Spring Boot框架,设计并实现了公共事件应急日常管理系统,旨在提升公共事件的应急响应和日常管理效率。系统包括应急资源管理、物资申请管理、物资发放管理、应急培训管理、科普宣教管理、公共事件…

Redis 多数据源 Spring Boot 实现

1.前言 本文为大家提供一个 redis 配置多数据源的实现方案,在实际项目中遇到,分享给大家。后续如果有时间会写一个升级版本,升级方向在第5点。 2.git 示例地址 git 仓库地址:https://github.com/huajiexiewenfeng/redis-multi-…

【解码现代 C++】:实现自己的智能 【String 类】

目录 1. 经典的String类问题 1.1 构造函数 小李的理解 1.2 析构函数 小李的理解 1.3 测试函数 小李的理解 1.4 需要记住的知识点 2. 浅拷贝 2.1 什么是浅拷贝 小李的理解 2.2 需要记住的知识点 3. 深拷贝 3.1 传统版写法的String类 3.1.1 拷贝构造函数 小李的理…

共享门店模式:实体门店合伙制的解决方案

在当今这个快速迭代的商业时代,共享门店模式以其独到的商业智慧和灵活的运营策略,正逐步成为推动行业变革的重要力量。它巧妙地融合了共享经济的前沿理念与线下门店的实体优势,开辟了一条资源高效整合与价值深度挖掘的新路径。 共享门店模式…

MySQL学习(8):约束

1.什么是约束 约束是作用于表中字段上的规则,以限制表中数据,保证数据的正确性、有效性、完整性 约束分为以下几种: not null非空约束限制该字段的数据不能为nullunique唯一约束保证该字段的所有数据都是唯一、不重复的primary key主键约束…

微信小程序毕业设计-走失人员的报备平台系统项目开发实战(附源码+论文)

大家好!我是程序猿老A,感谢您阅读本文,欢迎一键三连哦。 💞当前专栏:微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…

Docker 安装迅雷NAS

一、前言 在本文之前,博主在家用服务器 CentOS 上使用的下载方案是 Aria2 和其前端面板 Ariang. 所下载的资源大多数是 BT 资源,奈何 Aria2 对 BT 资源的下载速度实在堪忧,配置 BT 服务器效果不佳且费时。每次都将 BT 资源云添加至迅雷云盘&…

Github与本地仓库建立链接、Git命令(或使用Github桌面应用)

一、Git命令(不嫌麻烦可以使用Github桌面应用) git clone [] cd [] git branch -vv #查看本地对应远程的分支对应关系 git branch -a #查看本地和远程所有分支 git checkout -b [hongyuan] #以当前的本地分支作为基础新建一个【】分支,命名为h…

windows内置的hyper-v虚拟机的屏幕分辨率很低,怎么办?

# windows内置的hyper-v虚拟机的屏幕分辨率很低,怎么办? 只能这么大了,全屏也只是把字体拉伸而已。 不得不说,这个hyper-v做的很烂。 直接复制粘贴也做不到。 但有一个办法可以破解。 远程桌面。 我们可以在外面的windows系统&…

python解析Linux top 系统信息并生成动态图表(pandas和matplotlib)

文章目录 0. 引言1. 功能2.使用步骤3. 程序架构流程图结构图 4. 数据解析模块5. 图表绘制模块6. 主程序入口7. 总结8. 附录完整代码 0. 引言 在性能调优和系统监控中,top 命令是一种重要工具,提供了实时的系统状态信息,如 CPU 使用率、内存使…

0/1背包问题总结

文章目录 🍇什么是0/1背包问题?🍈例题🍉1.分割等和子集🍉2.目标和🍉3.最后一块石头的重量Ⅱ 🍊总结 博客主页:lyyyyrics 🍇什么是0/1背包问题? 0/1背包问题是…

CFS三层内网渗透——第二层内网打点并拿下第三层内网(三)

目录 八哥cms的后台历史漏洞 配置socks代理 ​以我的kali为例,手动添加 socks配置好了,直接sqlmap跑 ​登录进后台 蚁剑配置socks代理 ​ 测试连接 ​编辑 成功上线 上传正向后门 生成正向后门 上传后门 ​内网信息收集 ​进入目标二内网机器&#xf…

小程序分包加载、独立分包、分包预加载等

一、小程序分包加载 小程序的代码通常是由许多页面、组件以及资源等组成,随着小程序功能的增加,代码量也会逐渐增加, 体积过大就会导致用户打开速度变慢,影响用户的使用体验。分包加载是一种小程序优化技术。将小程序不同功能的代…

【微信小程序开发实战项目】——花店微信小程序实战项目(4)

👨‍💻个人主页:开发者-曼亿点 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 曼亿点 原创 👨‍💻 收录于专栏&#xff1a…