Python爬虫入门01:在Chrome浏览器轻松抓包


文章目录

    • 爬虫基本概念
      • 爬虫定义
      • 爬虫工作原理
      • 爬虫流程
      • 爬虫类型
      • 爬虫面临的挑战
    • 使用Chrome浏览器抓包
      • 查看网页HTML代码
      • 查看HTTP请求
      • 请求头(Request Header)
      • 服务器响应
      • 抓包的意义

爬虫基本概念

爬虫定义

爬虫(Web Crawler 或 Spider)是一种自动浏览互联网的程序,它按照一定的算法顺序访问网页,并从中提取信息。爬虫的基本任务是抓取网页内容,这些内容可以是文本、图片、视频等。爬虫在互联网上的应用非常广泛,包括搜索引擎的数据收集、市场研究、数据挖掘等。
在这里插入图片描述

爬虫工作原理

  1. 起始URL:爬虫从一组初始URL开始,这些URL可以是手动指定的种子URL,也可以是自动生成的。
  2. 下载网页:爬虫访问URL,下载对应的网页内容。
  3. 解析内容:爬虫解析下载的网页,提取有用的信息,如文本、链接等。
  4. 提取链接:从解析的内容中提取新的URL,这些URL将作为爬虫下一步访问的对象。
  5. 重复过程:对提取的链接重复下载和解析的过程,直到满足特定条件(如爬取的页面数量、时间限制等)。

爬虫流程

  1. 目标确定:明确爬虫需要抓取的数据类型和范围。
  2. 网站分析:分析目标网站的结构,了解网页的布局和数据的组织方式。
  3. 请求发起:根据分析结果,构造合适的HTTP请求,包括GET或POST请求,以及必要的请求头信息。
  4. 数据获取:服务器响应请求后,爬虫接收数据,这些数据可能是HTML、JSON、XML等格式。
  5. 数据解析:使用正则表达式、BeautifulSoup、lxml等工具,从获取的数据中提取有用的信息。
  6. 数据存储:将解析出的数据存储到数据库或文件中,以便进一步的分析和使用。
  7. 遵守规则:在爬虫的设计和运行过程中,遵守网站的robots.txt协议,尊重版权和隐私政策。

在这里插入图片描述

爬虫类型

  • 通用爬虫:广泛用于搜索引擎,如Google、Baidu,它们抓取互联网上大量的网页。
  • 聚焦爬虫:专注于特定主题或领域的内容,只抓取与特定主题相关的网页。
  • 增量式网络爬虫:增量爬虫,主要是指我们在周期性的爬取一些网站的时候,只是仅仅爬取网站变更的内容,而不是把所有网站数据重新爬取一遍。这样,可以有效的降低运维成本。
  • 深层网络爬虫:深层网络爬虫,主要是指我们不能直接爬取的一些网站。比如,这些网站需要用户登陆,或者填写一些特定的表单,才能继续深入爬取信息。

爬虫面临的挑战

  • 动态内容:现代网页大量使用JavaScript动态生成内容,爬虫需要处理这些动态加载的数据。
  • 反爬机制:许多网站有反爬虫策略,如IP封锁、请求频率限制等。
  • 数据质量:从网页上抓取的数据可能包含噪声,需要进一步清洗和验证。

使用Chrome浏览器抓包

  • 推荐使用Chrome浏览器,避免使用可能存在后门的国产浏览器。
  • 打开Chrome,输入网址(如www.baidu.com),按下F12打开开发者工具。也有些电脑单点f12不管用,那就需要用上Fn+F12的操作了,然后可以看到弹出了一个像下面这样子的界面,那就是了。
    在这里插入图片描述

查看网页HTML代码

  • 在Element标签下查看和修改网页的HTML代码。这个玩意正是我们想要的,可以看到,Element 标签下对应的 HTML 代码,其实就是这个网页的代码,我们可以在这里除了看看它的代码之外,我们还可以修改一些东西,比如我把这个按钮改成世界和平。首先点击左下角的小按钮,然后把我们的鼠标移动到百度一下那里,哎再右键选择编辑属性。ok,我们也算掌握了百度前端的人了(开玩笑)。
  • 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

查看HTTP请求

  • 点击Network标签,刷新页面查看HTTP请求。这里咱是中文的,就点击长得像wifi那个符号就好了。

  • 在这里插入图片描述

  • 常见请求方式:GET, POST, PUT, DELETE, HEAD, OPTIONS, TRACE。

  • GET请求:参数在URL中,如https://www.baidu.com/s?wd=查询内容

  • POST请求:参数在请求体中,常用于信息提交如注册、登录。

HTTP请求是客户端(如浏览器)与服务器之间通信的基础。在进行网页爬取时,了解和分析HTTP请求是至关重要的。以下是对HTTP请求的进一步扩展:

  • HTTP请求方法:不同的请求方法决定了客户端与服务器交互的方式。

    • GET:请求指定的资源。参数附加在URL后面,适用于请求数据且不引起服务器状态变化的场景。
    • POST:向指定资源提交数据进行处理请求(例如提交表单或者上传文件)。参数包含在请求体中,适用于引起服务器状态变化的操作。
    • PUT:更新服务器上的现有资源或新建资源。
    • DELETE:删除指定的资源。
    • HEAD:请求获取与GET请求相同的响应,但没有响应体,用于获取响应头信息。
    • OPTIONS:请求查询服务器支持的通信协议或请求方法。
    • TRACE:请求服务器回送收到的请求信息,用于测试或诊断。
  • 查看HTTP请求的步骤

    1. 打开浏览器的开发者工具(通常通过按F12或右键点击页面元素选择“检查”)。
    2. 点击“Network”(网络)标签。
    3. 刷新页面,观察和分析发出的所有请求。
    4. 点击具体的请求,查看详细信息,包括请求头、请求体、响应头和响应体。
  • GET请求详解

    • GET请求的参数通过URL传递,格式通常为key1=value1&key2=value2
    • 例如,在百度搜索框输入“查询内容”,浏览器会构造如下GET请求:
      https://www.baidu.com/s?wd=查询内容&其它参数
      
    • GET请求的URL长度有限制,且参数直接暴露在URL中,不适合传输敏感信息。
    • 我们来具体尝试一下,比如输入爬虫,我们能看到很多的请求,我峨嵋你再随便点一个看看,在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      这里我们会发现这个get的用法其实就相当于我们在 Python 写 GET 请求的时候
      直接在 URL 后面加个 ?然后添加参数值就好了,不信的话可以复制去试一下,弹出来的界面和在输入框输入“爬虫”是一样的。
https://www.baidu.com/s?ie=utf-8&csq=1&pstg=22&mod=2&isbd=1&cqid=8f6a4386003a1144&istc=1238&ver=0Q6tTQUEQuHajerqoqPYyO9Y2bJzZC7NC9m&chk=66a4eac6&isid=470ACB913FC52189&wd=%E7%88%AC%E8%99%AB&rsv_spt=1&rsv_iqid=0xf1e9644100cf032b&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_dl=ib&rsv_sug3=8&rsv_sug1=7&rsv_sug7=100&_ck=64387.0.-1.-1.-1.-1.-1&rsv_isid=60360_60468_60492_60500_60520&isctg=5&rsv_stat=-2&rsv_sug7=100
  • POST请求详解
    • POST请求的数据不在URL中,而是通过HTTP请求体发送。
    • 常用于表单提交,如注册、登录等,可以传输大量数据。
    • 例如,登录表单可能包含用户名和密码,POST请求的示例如下:
      POST /login HTTP/1.1
      Host: example.com
      Content-Type: application/x-www-form-urlencodedusername=xiaoshuaib&password=加密后的密码
      当我们点击登录的时候,就开始将我们的账号密码请求给百度服务器,可以看到我们请求了 login 这个接口
      在这里插入图片描述

请求方法就是 POST

  • POST请求可以携带复杂的数据格式,如JSON或XML。

  • 请求头(Request Headers)

    • 包含了HTTP请求的元数据,如Accept(客户端可接受的数据类型)、Content-Type(发送的数据类型)、Cookie(会话信息)等。
  • 响应头(Response Headers)

    • 包含了服务器返回的元数据,如Content-Type(响应的数据类型)、Set-Cookie(设置客户端的cookie)等。
  • 响应体(Response Body)

    • 服务器返回的数据本身,可能是HTML页面、JSON对象、图片或视频等。

请求头(Request Header)

  • HTTP请求时定义的头部信息,如Accept、Host、cookie、User-Agent等。
  • 用于告诉服务器请求的上下文信息。
  • 我们在做 HTTP 请求的时候,除了提交一些参数之外,我们还有定义一些 HTTP 请求的头部信息,比如 Accept、Host、cookie、User-Agent等等,这些参数也是我们在做爬虫要用到,通过这些信息,欺骗服务器,告诉它我们是正规请求,比如,我们可以在代码里面设置 cookie 告诉服务器我们就是在这个浏览器请求的会话,User-Agent 告诉服务器我们是浏览器请求的在这里插入图片描述

服务器响应

  • 响应码:如200(成功请求)、404(未找到页面)、502(服务器错误)。
  • 响应头:告诉客户端数据展现形式、cookie设置等。
  • 响应体:服务器返回的数据,可能是HTML、JSON或二进制数据。
  • 当我们请求成功之后,服务器会给我们返回响应码之外,还有响应头,这个头主要是告诉我们数据以什么样的形式展现,告诉我们cookie的设置,还有一个,就是响应体了,说白了,就是服务器返回给我们的数据,我们点击 Response 就可以看到相关的数据了。
    在这里插入图片描述

抓包的意义

  • 抓包是理解浏览器与服务器交互的过程。
  • 通过抓包,可以了解请求方式、参数、请求头定义以及如何获取返回数据。也就是拿到这边响应的数据。
    在这里插入图片描述
    这样子我们就已经离实际爬虫又进一步啦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/51090.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MongoDB教程(二十三):关于MongoDB自增机制

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快! 文章目录 引言一、MongoD…

数字孪生在奥运会上的应用

数字孪生是一种精确的虚拟空间表示,能够实时模拟场馆内的各种变化或场景。国际奥委会正在确定高价值的应用案例和技术要求,将应用案例分为六个主要领域:场馆规划、利益相关者支持与参与、操作准备、粉丝体验、遗产和运营效率。每个案例将基于…

【前端 13】Vue快速入门

Vue快速入门 在现代Web开发中,尽管通过HTML、CSS和JavaScript我们能够构建出美观且功能丰富的页面,但随着项目规模的增大,这种传统的开发方式在效率上逐渐显得力不从心。为了提高开发效率,前端开发者们引入了多种框架和库&#x…

MySQL环境的配置文件json

突然了解到,使用json文件去进行环境的配置,这样修改参数的时候就只需要去改json文件中的内容,不需要去修改代码中的内容,其他人的MySQL和我的MySQL也不同,这时其他人只需要修改json文件中的内容,清晰明了&a…

基于STC8H系列单片机的定时器系统

基于STC8H系列单片机的定时器系统 STC8H4K64TL单片机介绍STC8H4K64TL单片机管脚图(48个引脚)STC8H4K64TL单片机串口仿真与串口通信STC8H4K64TL单片机管脚图(32个引脚)STC8H4K64TL单片机管脚图(20个引脚)STC…

Apollo使用(3):分布式docker部署

Apollo 1.7.0版本开始会默认上传Docker镜像到Docker Hub,可以按照如下步骤获取 一、获取镜像 1、Apollo Config Service 获取镜像 docker pull apolloconfig/apollo-configservice:${version} 我事先下载过该镜像,所以跳过该步骤。 2、Apollo Admin S…

计算机网络-配置路由器ACL(访问控制列表)

配置访问控制列表ACL 拓扑结构 拓扑结构如下: 要配置一个ACL,禁止PC0访问PC3,禁止PC4访问PC0,其它正常。 配置Router0 配置接口IP地址: interface fastethernet 0/0 ip address 192.168.1.1 255.255.255.0 no shu…

第三部分 图论 - 第2章 最小生成树

定义 首先我们先了解下生成树的定义: 无向图中,一个连通图的最小连通子图称作该图的生成树(不能带环,保持连通,但边要尽可能的少)。 有n个顶点的连通图的生成树有n个顶点和n-1条边。 那么最小生成树和生成…

决策树 和 集成学习、随机森林

决策树是非参数学习算法,可以解决分类问题,天然可以解决多分类问题(不同于逻辑回归或者SVM,需要通过OVR,OVO的方法),也可以解决回归问题,甚至是多输出任务,并且决策树有非…

国内NAT服务器docker方式搭建rustdesk服务

前言 如果遇到10054,就不要设置id服务器!!! 由于遇到大带宽,但是又贵,所以就NAT的啦,但是只有ipv4共享和一个ipv6,带宽50MB(活动免费会升130MB~) https://bigchick.xyz/aff.php?aff322 月付-5 循环 :CM-CQ-Monthly-5 年付-60循环:CM-CQ-Annually-60官方…

数据结构第三讲:单链表的实现

数据结构第三讲:单链表的实现 1.什么是单链表2. 节点3.单链表的实现3.1节点的结构3.2打印单链表3.3申请一个新节点3.4单链表尾部插入3.5单链表头部插入3.6单链表的尾部删除3.7单链表头部删除3.8查找3.9在指定位置之前插入数据3.10在指定位置之后插入数据3.11删除pos…

VS+opencv+环境配置

下载opencv库。 版本 - OpenCV 下载完了是一个exe文件,(可以更换目录)直接双击,也就是压缩。 vs配置: 调试-调试属性 点编辑,加入这两个,路径根据自己的opencv库 3、链接器 测试:…

在Postman中引用JS库

前言 在做接口测试时,出于安全因素,请求参数需要做加密或者加上签名才能正常请求,例如:根据填写的请求参数进行hash计算进行签名。postman作为主流的接口调试工具也是支持请求预处理的,即在请求前使用JavaScript脚本对…

Redis:AOF持久化

1. 简介 以日志的形式来记录每个写操作,将redis执行的每个写操作记录下来(读操作不记录),只需追加文件但不可以改写文件,redis启动之初会重新构建数据,即redis重启后会将日志中的所有写指令重新执行一遍以达…

扰动观测器DOB设计及其MATLAB/Simulink实现

扰动观测器(Disturbance Observer, DOB)是一种在控制系统中用于估计和补偿未知扰动的重要工具,以增强系统的鲁棒性和稳定性。其设计过程涉及系统建模、观测器结构设计以及控制律的调整。 扰动观测器设计原理 系统建模: 首先,需要建立被控对象的数学模型,明确系统的状态变…

2024第八届全国职工职业技能大赛“网络与信息安全管理员”赛项技术文件及任务书

2024第八届全国职工职业技能大赛“网络与信息安全管理员”赛项技术文件及任务书 一、赛项概述:二、竞赛形式:三、竞赛规则四、竞赛样题4.1、第一场4.1.2、实操闯关赛4.2、第二场4.3、第三场 需要培训可以私信博主 欢迎交流学习! [X] &#x1…

【深入理解SpringCloud微服务】深入理解nacos

【深入理解SpringCloud微服务】深入理解nacos Nacos服务注册内存注册表内存注册表的更新通知客户端服务变更、服务同步、健康检查2.x版本nacos的变化 Nacos服务注册 spring-cloud-alibaba-nacos-discovery通过实现spring-cloud-commons规范定义的接口,完成nacos接入…

昇思25天学习打卡营第11天|xiaoyushao

今天分享ResNet50迁移学习。 在实际应用场景中,由于训练数据集不足,所以很少有人会从头开始训练整个网络。普遍的做法是,在一个非常大的基础数据集上训练得到一个预训练模型,然后使用该模型来初始化网络的权重参数或作为固定特征提…

论文阅读:Deep_Generic_Dynamic_Object_Detection_Based_on_Dynamic_Grid_Maps

目录 概要 Motivation 整体框架流程 技术细节 小结 不足 论文地址:Deep Generic Dynamic Object Detection Based on Dynamic Grid Maps | IEEE Conference Publication | IEEE Xplore 概要 该文章提出了一种基于动态网格图(Dynamic Grid Maps&a…