Python爬虫入门02:Fiddler下载使用教程

文章目录

  • 手机抓包全攻略:Fiddler 工具深度解析
    • 引言
    • Fiddler 工具简介
      • 为什么选择 Fiddler?
    • 安装与配置 Fiddler
      • 步骤一:下载与安装
      • 步骤二:配置浏览器代理
      • 步骤三:安装 HTTPS 证书
    • 配置手机以使用 Fiddler
      • 步骤一:连接至同一 Wi-Fi 网络
      • 步骤二:设置手机代理
      • 步骤三:安装 Fiddler 证书于手机
      • Android 和 iPhone 的特殊配置
    • 使用 Fiddler 抓取和修改数据
      • 抓取数据
      • 修改数据
    • 查看数据示例:csdn热门内容
      • 步骤一:过滤特定请求
      • 步骤二:拦截数据
      • 步骤三:查看数据
    • 结语


手机抓包全攻略:Fiddler 工具深度解析

引言

在网络世界的探索中,数据的捕获与分析是理解网络通信的基础。抓包技术允许我们深入观察客户端与服务器之间的交互。本文将引导你通过 Fiddler 工具进行手机抓包,揭开网络请求的神秘面纱。注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。如果有大佬知道可以指引一下,就不要嘲笑咱小白不懂啦!
在这里插入图片描述

Fiddler 工具简介

Fiddler 是一款广受好评的网络调试工具,它提供了一个平台来记录、检查和修改所有经过计算机的 HTTP/HTTPS 流量。它不仅支持桌面应用的网络调试,还能扩展到移动设备。

为什么选择 Fiddler?

  • 跨平台支持:支持 Windows、Mac 和 Linux。
  • HTTPS 抓取:内置 SSL 解密功能,可以捕获加密的 HTTPS 流量。
  • 实时分析:能够实时查看和修改请求与响应数据。
  • 强大的过滤和搜索功能:快速定位到感兴趣的请求。

安装与配置 Fiddler

步骤一:下载与安装

访问 Fiddler 官网,根据你的操作系统下载并安装 Fiddler。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

步骤二:配置浏览器代理

打开软件时会弹出一个弹窗:Windows uses an isolation technology called ‘AppContainer’ that may interfere with traffic capture from Immersive Applications and the Edge browser. Use the WinConfig button in Progress Telerik Fiddler’s toolbar to enable teaffic capture.
Would you like to learn more?
To disable this warning. click ‘Cancel’.
大概意思是这样的:

Windows使用称为“AppContainer”的隔离技术,可能会干扰Immersive Applications和Edge浏览器的流量捕获。 使用Progress Telerik Fiddler工具栏中的WinConfig按钮启用茶叶捕获功能。
你想了解更多吗?
要禁用此警告。 点击“取消”
具体看这位博主的链接:https://blog.csdn.net/u011038298/article/details/87879548
在这里插入图片描述

为了让 Fiddler 能够捕获浏览器的 HTTP/HTTPS 请求,
在这里插入图片描述
需要在浏览器中设置代理:

  • 在浏览器设置中找到网络或代理设置部分。
  • 设置代理服务器为 127.0.0.1,端口为 8888

步骤三:安装 HTTPS 证书

由于大量网络通信采用 HTTPS 加密方式,安装 Fiddler 证书是捕获这些请求的前提:

  • 在 Fiddler 中,通过 Tools -> Options -> HTTPS,
  • 在这里插入图片描述
    勾选 “Decrypt HTTPS traffic”。
    在这里插入图片描述
    弹出的弹窗:To intercept HTTPS traffic, Fiddler Classic generates a unique root certificate.

You may configure Windows to trust this root certificate to suppress
security warnings. This is generally safe.

Click ‘Yes’ to reconfigure Windows’ Trusted CA list.
Click ‘No’ if this is all geek to you.
在手动信任证书时,提示Unable to configure Windows to Trust the Fiddler Root certificate.The LOG tab may contain more infor

大致意思是:创建root证书不成功,我点击了yes,弹出了下一个弹窗,继续点击是,弹出了下一个弹窗,最后弹出了ok的弹窗。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点击 “Reset All Certificates” 并重启 Fiddler。

  • 完事之后回到你的浏览器输入:
    localhost:8888
    在这里插入图片描述

  • 访问 localhost:8888 来下载并安装 FiddlerRoot 证书。当然,有些可能像我这样上来就没问题的就不用管了。直接往下走去手机配置。目前 我接触到有两种方式,一种是以下链接的:http://t.csdnimg.cn/bMLha,另一种就是我下面采取的这种。这种时候再看就可以看到抓包的内容了:在这里插入图片描述

配置手机以使用 Fiddler

步骤一:连接至同一 Wi-Fi 网络

确保你的手机和电脑连接到同一个 Wi-Fi 网络。然后电脑端需要进行下面的配置,然后查询电脑的ip地址,在这里插入图片描述
在这里插入图片描述

步骤二:设置手机代理

在手机的 Wi-Fi 设置中,配置代理以指向你的电脑:

  • 代理服务器地址设置为电脑的 IPv4 地址。
  • 端口设置为 8888
  • 在这里插入图片描述

步骤三:安装 Fiddler 证书于手机

  • 访问电脑的 IPv4 地址加 :8888 在手机浏览器中。但是这里我失败了,只能是从电脑导入证书再尝试了。在这里插入图片描述
    在这里插入图片描述

  • 下载并安装 FiddlerRoot 证书。

Android 和 iPhone 的特殊配置

  • Android:安装证书后通常无需额外配置。
  • iPhone:在设置 -> 通用 -> 关于本机 -> 证书信任设置中,信任安装的证书。
    此时我打开小红书就已经获取到数据了。在这里插入图片描述

使用 Fiddler 抓取和修改数据

抓取数据

开启 Fiddler 并确保手机代理设置正确,当你在手机上浏览网页或使用应用时,所有流量将通过 Fiddler,你可以在 Fiddler 界面中看到这些请求和响应。

修改数据

Fiddler 不仅可以捕获数据,还可以修改它们:

  1. 在 Fiddler 界面中找到你想要修改的请求或响应。
  2. 双击打开 Inspectors 面板。
  3. 在 Inspectors 面板中修改请求头、正文或响应数据。
  4. 点击 “Run to Completion” 将修改后的数据发送至客户端。
    注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。

查看数据示例:csdn热门内容

步骤一:过滤特定请求

在 Fiddler 中设置过滤规则,只显示来自或发往 csdn的请求。
在这里插入图片描述

步骤二:拦截数据

使用 ALT+F11 拦截所有返回数据。
在这里插入图片描述

步骤三:查看数据

点击我们要查看的接口,就能在右边看到返回的数据了,上面是请求,下面是返回的数据。
在这里插入图片描述

结语

Fiddler 是网络开发者和安全研究人员的瑞士军刀。通过本文的指南,你现在可以开始自己的网络抓包之旅,探索和理解网络请求的每一个细节。随着实践的深入,你将发现更多 Fiddler 的强大功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/51212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

操作系统面试知识点总结5

#来自ウルトラマンメビウス(梦比优斯) 1 IO管理概述 1.1 I/O 设备 I/O 设备的类型分类。 1.1.1 按使用特性 人机交互类外部设备,例如打印机、显示器等。存储设备,例如磁盘、光盘等。网络通信设备,例如网络接口等。 1…

PHP While循环

PHP 中的 while 循环是一种基本的循环控制结构,它允许你重复执行一段代码块,直到指定的条件不再满足为止。while 循环在需要执行未知次数的代码块时非常有用,特别是当你需要在满足特定条件时继续执行循环时。 基本语法 while (条件表达式) …

21 B端产品经理之技术常识(1)

产品经理需要掌握一些基本的技术知识。 了解公司前端与后端 前端 前端开发:创建WEB页面或APP等前端界面呈现给用户的过程,即前端负责用户界面交互。 前端技能: HTML:一种标记语言,能够实现Web页面并在浏览器中显示。…

【计算机网络】IP地址和子网掩码(IP地址篇)

个人主页:【😊个人主页】 系列专栏:【❤️计算机网络】 文章目录 前言IP地址网络地址网络地址的定义与组成作用分类网络地址的分配与管理 广播地址(Broadcast Address)定义构成类型作用注意事项 广播地址功能 组播地址…

HiveSQL题——炸裂+开窗

一、每个学科的成绩第一名是谁? 0 问题描述 基于学生成绩表输出每个科目的第一名是谁呢? 1 数据准备 with t1 as(selectzs as name,[{"Chinese":80},{"Math":70}],{"English"…

Windows NVM(Node Version Manager)使用指南

Windows NVM(Node Version Manager)使用指南 引言 Node Version Manager (NVM) 是一个用于管理多个 Node.js 版本的工具,它允许开发者在同一台机器上安装和使用不同版本的 Node.js。虽然 NVM 最初是为 Unix-like 系统设计的,但 …

单链表的基本操作

定义一个结点 typedef struct ElemType{char name[20];int sex;int age;char number[11]; };//定义一个结点 typedef struct Lnode{ ElemType data;struct Lnode* next; }LNode,*LinkList;链表的初始化 一般包含两步:给结点分配空间,头指针指针域…

CompletableFuture使用详解

简单的任务,用Future获取结果还好,但我们并行提交的多个异步任务,往往并不是独立的,很多 时候业务逻辑处理存在串行[依赖]、并行、聚合的关系。如果要我们手动用 Future 实现,是非常麻烦的。 CompletableFutur…

JMeter基本使用

一、JMeter线程组相关 进程:正在运行的程序。线程:是进程中的执行线索。线程组:进程中有许多线程,为了方便管理,可以对线程按照性质分组,分组的结果就是线程组。PS:三者关系,一个进…

Pytest设置日志

在 pytest 中,您可以使用内置的日志功能来记录测试过程中的信息。pytest 默认使用了 logging 模块来处理日志记录。此外,您还可以使用 pytest 的插件来增强日志功能,比如 pytest-loguru 插件,它结合了 loguru 库来提供更强大的日志管理能力。 1. 使用内置的日志功能 设置…

【设计模式】(万字总结)深入理解Java中的创建型设计模式

1. 前言 在软件开发的世界里,设计模式是一种被广泛接受并应用的解决方案。它们不仅仅是代码的设计,更是对问题的思考和解决的方法论。在Java开发中,特别是在面向对象的编程中,设计模式尤为重要。创建型设计模式,作为设…

【初阶数据结构篇】实现顺序结构二叉树(堆的实现方法)

文章目录 实现顺序结构二叉树(堆)前言代码位置堆的概念与结构概念 堆的实现堆初始化和销毁堆的插入堆的判空堆的删除数据取堆顶数据 实现顺序结构二叉树(堆) 前言 ​ ⼀般堆使⽤顺序结构的数组来存储数据,堆是⼀种特…

一键生成惊艳图像:使用Stable Diffusion打造惊人视觉效果

一、简介 Stable Diffusion是一种由Stability AI开发的生成式AI模型,能够将文本提示转换为高质量的图像。作为生成式扩散模型的一部分,Stable Diffusion通过解析和理解输入的文本提示,逐步生成与描述相匹配的图像。这一技术不仅在图像生成和…

AUTOSAR从入门到精通-T-Box

目录 前言 算法原理 TBOX主要模块 主控模块 CAN通讯模块 高通4G模块 蓝牙模块 & WIFI & Bluetooth模块 WIFI模块 天线 T-BOX功能 网络接入 车辆信息实时上传 远程诊断 车辆异常告警上传 E/B-call服务 OTA功能 V2X 位置查询/车辆追踪 平台监控/国家监…

树莓派4b的Mysql数据库操作

卸载树莓派中的 MySQL。 停止 MySQL 服务: sudo systemctl stop mysql卸载 MySQL 服务器和客户端: sudo apt-get remove --purge mysql-server mysql-client mysql-common删除 MySQL 数据库和配置文件: sudo rm -rf /etc/mysql /var/lib/mysq…

鸿蒙next ArkUI 单例模式和手游sdk接口设计

前言: 各位同学大家,有段时间没有跟大家见面了,因为最近一直在更新鸿蒙的那个实战课程所以就没有去更新文章实在是不好意思, 所以今天就给大家更新一起鸿蒙里面的案例模式来给大家做一个分享。 作者:徐庆 团队:坚果派 公众号:“大前端之旅” 润开鸿生态技术专家,华为…

Vue3-导出导入excel

功能 主要实现excel导入导出功能,同时具有合并单元格,美化单元格等功能,引用依赖包exceljs、file-saver,好像也没有什么要介绍的,可以看看官网文档然后直接使用了 导入依赖包 pnpm install exceljs file-saver type…

MybatisPlus核心用法

MybatisPlus核心用法 目录 MybatisPlus核心用法1.使用MybatisPlus的基本步骤:2.MybatisPlus是如何获取实现CRUD的数据库表信息的?3.MybatisPlus的常用注解有哪些?如果表名称和实体类名称不符合约定该怎么做?IdType的常见类型有哪些…

漏洞复现-F6-11泛微-E-Cology-SQL

本文来自无问社区,更多漏洞信息可前往查看http://www.wwlib.cn/index.php/artread/artid/15575.html 0x01 产品简介 泛微协同管理应用平台e-cology是一套企业级大型协同管理平台 0x02 漏洞概述 该漏洞是由于泛微e-cology未对用户的输入进行有效的过滤&#xff0…

Python爬虫技术 第17节 使用BeautifulSoup

使用Python进行网页爬取是一个常见的任务,特别是当需要从网站上批量获取数据时。BeautifulSoup是一个非常流行的Python库,用于解析HTML和XML文档,非常适合用来提取网页中的信息。 下面我将通过一个简单的案例来介绍如何使用Python和Beautifu…