我和爬虫的故事

文章目录

  • 爬虫简介
  • 个人经历
  • 未来
  • 总结

爬虫简介

网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

个人经历

  • 本人有幸在大二时接触到爬虫(非计算机专业),于是开始走向 自学Python,放弃Python,再学Python,再次放弃,继续学

到这时已经很迷茫了,因为一来就接触语言,很模糊,不知道该学啥,学来有什么用,所以徘徊,我大概学了四遍python基础(完整看完过 小甲鱼(零基础到飞机大战设计)、慕课的python两门课程、黑马培训的python课),才对python有了一点掌握和了解,当然期间接触到了c和java的学习

  • 辅修计算机学位(c,java,前端设计,java后端,计算机网络,数据结构,mysql,操作系统等等课程)。

其实上课和枯燥,学校主要还是教授以前端和后端为主,我并不感冒这些课程,所以学的时候也是三天打鱼两天晒网。课程都是以最低标准去完成要求,越学习,越觉得无趣,后来还是拾起了python。

  • 实习,太幸运太幸运了,没有这一段,就没有现在的我,通过在计算机学院的朋友(杨兄),又推荐了计算机学院的就业指导老师,推荐了一份在重庆一家公司做(兼职实习生),后来成为正式实习生,最后经过试用期,转正成为正式员工

最近看到一种观点,大学只有三年学习时间,最后一年是找工作和写论文的,很庆幸当时的我笨鸟先飞,在大三下学期就开始去找实习工作,因为我已经有了点基础(不知天高地厚),但是不知道现在岗位需要什么样的人,所以就开始刷招聘软件,疯狂去争取面试,(期间发生了很多摧毁我信心的,差点还被骗进培训班,2w包就业的那种,贷款上班,o(╥﹏╥)o),最后是杨兄帮我找到就业指导老师,刚好有一家公司的管理来我们学校找兼职实习生(不需要基础),于是很幸运很幸运,再晚几天找老师可能就错过了。在这里遇到了,可以说是从0到1的 李师傅带上岸的,敢相信,当时 只会 requests.get,连post都不会,我真的哭死,后来在李师傅和其他小伙伴的带领下,开始 base64加密、cookie加密、js逆向、混淆、正则匹配、mysql的实际运用、服务器的使用等等,后来又有婷姐教了很多后端的知识,字符匹配,代码的规范等待,真的在这里学到的太多太多了。我在这里学到这么多,为什么离职?(重庆的就业环境太差了,想挑战自己,想去外面看一看,因为我还有小弟这里面,具体就不到那么具体了,不能动摇军心,但是我对前公司都是抱感激的态度,而我更想一个白眼狼,养大了就跑,我都替公司感到不值,如果能重来,我还是会选这家公司)

  • 第一次跳槽,在去年年底,正好赶上新公司(现在的公司,定位:广东东莞)缺人,工资开到前公司的一倍,心动不如行动,星期天就提离职,星期四早上走完流程,星期四晚上已经在新公司宿舍了,星期五就已经在工位上开始工作,一直工作到现在。

和前公司提离职时,我还没说我已经确定下来工作了,只是想快点交接完工作,主要还是和李师傅和婷姐,我有提前跟他们说,所以交接很快,在3天内就做完了交接,最后离职。我承认我有赌的成分,我也对未知也有恐惧,但是奈何新公司给的太多(当时),换算下来比在重庆的待遇翻了一倍还多。新公司为小型的科技公司,所以很多都是需要独立完成,我在这里学的东西还是很有限的,自能靠自学,前任同事留下来的代码,可以毫不夸张的说一个星期看完了,但是留下来的代码没有规范化的书写,所以我也不打算重构,只是面试往里面塞,诠释了“能跑就行”,再不行,就我跑!!!

(2024.05.13)

未来

(2024.05.13)

  • 未知

其实我很想穿越到未来看我到底过得怎么样,我是以放弃结尾还是小有成就。

  • 短期目标

找到一家新公司,给的足够多,赚点存款 or 找到一个好的项目,带回重庆发展。两条线路并行

  • 长期目标

找到合适自己的项目,花几年经营,然后躺平赚被动收入;
or
有某项了不起的能力,能够回重庆当管理层;
or
就看我的朋友有没有发财的,养我了。

总结

(2024.05.13)

  • 搞清楚兴趣;学习

兴趣是最好的老师,我是因为喜欢逆向,所以才能走到现在这一步,并不是喜欢写程序,前端和后端明明有更好的选择,但是我还是选择了离我最遥远的python-爬虫,并在这条路上越走越远。

  • 需要正向反馈;

在一定程度上,如果从一件事情上没有任何反馈,就没有动力;我的动力来源于能够靠这个赚到$了,为什么我放弃了python两次,因为在学python基础的时候,就像我一个人走在条无尽的黑路上,我不知道能得到什么反馈;但是自从我学会了爬虫,能够独自赚钱了,我发现我只能做几十到一两百的单子,但是技术越高,能得到的越多,这是我学技术这么拼命的一个很重要的原因。这个反馈不一定是要是钱,也可以是其他的奖励,但是一定要有,否则一个人太难了。

  • 学习

其他行业不清楚,但是爬虫行业,必须得跟上技术的脚步,因为反爬是在最近几年才兴起的,而且有更多更难的,是爆发式的增长,这个行业也是 一个人与整个团队的斗智斗勇,我太喜欢这种感觉了,这也是我的兴趣点,所以喜欢这个行业,我不是证明我比一个安全团队更厉害,只是享受在破解后的那一刻“爽”。


ps: 其实这是一篇为了凑发布量的一篇文章,我也不知道为啥要写这个,还憋了1个小时,写了2k+字,真是睡不着觉,后面我也会不定期更新这篇文章,保证文章不改的同时,向里面添加新的内容,欢迎关注,也期待听到其他人的故事。

欢迎交流:

vx: lyj_txd
qq: 1416279170

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/11103.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Gone框架介绍16 - 自动生成Priest

我从头到尾实现了一个Golang的依赖注入框架,并且集成了gin、xorm、redis、cron、消息中间件等功能;自己觉得还挺好用的,并且打算长期维护! github地址:https://github.com/gone-io/gone 文档原地址:https:/…

PHP笔记

1. 搭建运行环境 1.1 挂载光盘 [rootredhat200 ~]# mount /dev/sr0 /mnt 1.2 配置仓库 # 查看仓库列表 [rootredhat200 ~]# dnf repolist# 进入到仓库目录 [rootredhat200 ~]# cd /etc/yum.repos.d/ # 编辑仓库文件 [rootredhat200 yum.repos.d]# vim base.repo # 查看仓库…

08.4.grafana自定义图形并直接数据库取值

grafana自定义图形并直接数据库取值 自定义添加油表图形 选择gauge图形,并且配置对应设定值,点击应用 如图所示,可以看到仪表盘上的值是zabbix上取得值 配置grafana直接数据库取值 添加mysql数据源 添加后进行配置,我这…

JS解密之新js加密实战(二)

前言 上次发了一篇关于新加密的,只解了前边两层,这中间家里各种事情因素影响,没有继续进一步研究,今天百忙之中抽空发布第二篇,关于其中的一小段加密片段,我认为分割成多个小片段是更容易被理解的。逻辑相…

Python生成器使用场景2 - 处理无限队列 - 节省cpu 资源

什么是无限队列? 例如常见的斐波那契数列, 自然数队列等 这次我们用素数队列来举个例子 普通方法求素数 首先我用普通的方法编写1个 generate_prime_numbers(n) 的函数, return 1个包含前n个素数的list def generate_prime_numbers(num10)…

如何更好地使用Kafka? - 运行监控篇

要确保Kafka在使用过程中的稳定性,需要从kafka在业务中的使用周期进行依次保障。主要可以分为:事先预防(通过规范的使用、开发,预防问题产生)、运行时监控(保障集群稳定,出问题能及时发现&#…

牛客NC363 开锁【中等 BFS Java/Go/PHP】

题目 题目链接: https://www.nowcoder.com/practice/e7cbabbf7e0a41ec98055ee5f3d33bbe https://www.lintcode.com/problem/796 思路 Java代码 import java.util.*;public class Solution {/*** 代码中的类名、方法名、参数名已经指定,请勿修改&#x…

C语言和BASH SHELL中条件表达式的真假与0和1的关系

在C语言中,条件表达式的真假与0和1的关系是非常简单的: 真值:如果条件表达式的结果为非零值,则条件被视为真。假值:如果条件表达式的结果为零值,则条件被视为假。 因此,在C语言中,…

ASP.NET之图像控件

在ASP.NET中,用于显示图像的控件主要是Image控件,Image控件属于ASP.NET Web Forms的一部分,它允许你在Web页面上显示图像。以下是如何在ASP.NET Web Forms中使用 1. 添加Image控件到页面 在ASP.NET Web Forms页面上,你可以通过设…

SpringBoot整合SpringScurity权限控制(菜单权限,按钮权限)以及加上SSH实现安全传输

文章目录 项目地址: 一、md5 与 先进的哈希算法的区别1.1. 安全性问题1.2. 设计目的1.3. 功能特性1.4. 适用性1.5. 总结 二、数据传输安全和数据加密实现:2.1 生成证书:2.2、在springboot中进行集成2.2.1 配置证书:2.2.2. 强制使用…

山东大学机器人实验 matlab部分

山东大学机器人实验 matlab部分 最新更新在Github Github地址吐槽Matlab在Ubuntu里是真的难用感觉Ubuntu配置Matlab的一些问题

4.1 编写程序,从键盘接收一个小写字母,然后找出他的前导字符和后续字符,再按顺序显示这三个字符

方法一: 运行效果: 输入B,输出显示ABC;输入A,输出显示AB 思路: 1、通过键盘输入接收一个字母。 2、将输入的字母减去1,得到前导字符,然后输出。 3、将输入的字母加上1,得…

基础统计概念

这是一个非常适合初学者的选题,因为理解基础统计概念是学习统计学的第一步。下面我会简要解释这些概念: 1. **均值(Mean):** 在一组数据中,所有数值的总和除以数据的个数。均值是描述数据集中心位置的一种…

Kafka 环境配置与使用总结

# 部署教程参考 # 官方教程: https://kafka.apache.org/quickstart # 单机部署kafka参考: https://blog.csdn.net/u013416034/article/details/123875299 # 集群部署kafka参考: # https://blog.csdn.net/zhangzjx/article/details/123679453 # https://www.cnblogs.com/And…

社群知识付费系统,如何向家长推销课程话术?有什么方法?

很多培训机构都会遇到和家长谈了很久,但是家长就是不签单的情况,其实销售过程就是“逼单”,要掌握技巧,那像家长推销课程有什么话术? ①盲目型家长 特点:对课程一无所知,目的性比较差&#xff0…

【js下载文本文件】

功能 使用js下载dom的文本内容 原理 a标签下载功能 代码 <p id"p2">66666666</p><button onclick"downloadInnerHtml(filename2,#p2)">下载</button><script>var filename2 新建文档; //默认文本名字function downloa…

【问题实操】银河高级服务器操作系统实例分享,开机之后反复重启

1.服务器环境以及配置 物理机/虚拟机/云/容器 物理机 外网/私有网络/无网络 私有网络 处理器&#xff1a; PHYTIUM FT2000PLUS 2200 MHz 内存&#xff1a; 128 GiB 整机类型/架构&#xff1a; HIKVISION DS-V BIOS版本&#xff1a; HK 601FBE02HK 网卡&#xff1…

云原生技术解析

云原生的概念 云原生是一种软件架构和部署方法&#xff0c;旨在利用云计算的优势&#xff0c;以更灵活、可扩展和可靠的方式构建和部署应用程序。它主要关注在容器、微服务、自动化和持续交付等方面。 云原生技术是指以云计算作为基础&#xff0c;以平台和工具为依托&#xff0…

【免费】2024年全新超强版本itvboxfast如意版影视APP源码 TV+手机双端后台PHP源码

首先&#xff0c;让我们了解一下ITVBox如意版影视源码的特点和优势。这一源码基于先进的技术和框架开发&#xff0c;具有稳定、高效的性能&#xff0c;能够满足影视网站的各种需求。与此同时&#xff0c;该源码还提供了丰富的功能和模块&#xff0c;包括影视资源管理、会员系统…

rs6(vmp)瑞某,药某局,商某局,专某局,维某网,cookie + 后缀 的分析解析

文章目录 说在前面rs vmp 特征 介绍解决方法算法补环境运行报错 代码联调补环境框架 补环境导出结果导出cookie导出后缀 效果展示 vx lyj_txd qq 1416279170 # 加我备注来意说在前面 免责声明&#xff1a; 本篇文章只做学习讨论&#xff0c;无商务用途&#xff0c; 未对目标…