Python爬虫入门02:Fiddler下载使用教程

文章目录

  • 手机抓包全攻略:Fiddler 工具深度解析
    • 引言
    • Fiddler 工具简介
      • 为什么选择 Fiddler?
    • 安装与配置 Fiddler
      • 步骤一:下载与安装
      • 步骤二:配置浏览器代理
      • 步骤三:安装 HTTPS 证书
    • 配置手机以使用 Fiddler
      • 步骤一:连接至同一 Wi-Fi 网络
      • 步骤二:设置手机代理
      • 步骤三:安装 Fiddler 证书于手机
      • Android 和 iPhone 的特殊配置
    • 使用 Fiddler 抓取和修改数据
      • 抓取数据
      • 修改数据
    • 查看数据示例:csdn热门内容
      • 步骤一:过滤特定请求
      • 步骤二:拦截数据
      • 步骤三:查看数据
    • 结语


手机抓包全攻略:Fiddler 工具深度解析

引言

在网络世界的探索中,数据的捕获与分析是理解网络通信的基础。抓包技术允许我们深入观察客户端与服务器之间的交互。本文将引导你通过 Fiddler 工具进行手机抓包,揭开网络请求的神秘面纱。注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。如果有大佬知道可以指引一下,就不要嘲笑咱小白不懂啦!
在这里插入图片描述

Fiddler 工具简介

Fiddler 是一款广受好评的网络调试工具,它提供了一个平台来记录、检查和修改所有经过计算机的 HTTP/HTTPS 流量。它不仅支持桌面应用的网络调试,还能扩展到移动设备。

为什么选择 Fiddler?

  • 跨平台支持:支持 Windows、Mac 和 Linux。
  • HTTPS 抓取:内置 SSL 解密功能,可以捕获加密的 HTTPS 流量。
  • 实时分析:能够实时查看和修改请求与响应数据。
  • 强大的过滤和搜索功能:快速定位到感兴趣的请求。

安装与配置 Fiddler

步骤一:下载与安装

访问 Fiddler 官网,根据你的操作系统下载并安装 Fiddler。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

步骤二:配置浏览器代理

打开软件时会弹出一个弹窗:Windows uses an isolation technology called ‘AppContainer’ that may interfere with traffic capture from Immersive Applications and the Edge browser. Use the WinConfig button in Progress Telerik Fiddler’s toolbar to enable teaffic capture.
Would you like to learn more?
To disable this warning. click ‘Cancel’.
大概意思是这样的:

Windows使用称为“AppContainer”的隔离技术,可能会干扰Immersive Applications和Edge浏览器的流量捕获。 使用Progress Telerik Fiddler工具栏中的WinConfig按钮启用茶叶捕获功能。
你想了解更多吗?
要禁用此警告。 点击“取消”
具体看这位博主的链接:https://blog.csdn.net/u011038298/article/details/87879548
在这里插入图片描述

为了让 Fiddler 能够捕获浏览器的 HTTP/HTTPS 请求,
在这里插入图片描述
需要在浏览器中设置代理:

  • 在浏览器设置中找到网络或代理设置部分。
  • 设置代理服务器为 127.0.0.1,端口为 8888

步骤三:安装 HTTPS 证书

由于大量网络通信采用 HTTPS 加密方式,安装 Fiddler 证书是捕获这些请求的前提:

  • 在 Fiddler 中,通过 Tools -> Options -> HTTPS,
  • 在这里插入图片描述
    勾选 “Decrypt HTTPS traffic”。
    在这里插入图片描述
    弹出的弹窗:To intercept HTTPS traffic, Fiddler Classic generates a unique root certificate.

You may configure Windows to trust this root certificate to suppress
security warnings. This is generally safe.

Click ‘Yes’ to reconfigure Windows’ Trusted CA list.
Click ‘No’ if this is all geek to you.
在手动信任证书时,提示Unable to configure Windows to Trust the Fiddler Root certificate.The LOG tab may contain more infor

大致意思是:创建root证书不成功,我点击了yes,弹出了下一个弹窗,继续点击是,弹出了下一个弹窗,最后弹出了ok的弹窗。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点击 “Reset All Certificates” 并重启 Fiddler。

  • 完事之后回到你的浏览器输入:
    localhost:8888
    在这里插入图片描述

  • 访问 localhost:8888 来下载并安装 FiddlerRoot 证书。当然,有些可能像我这样上来就没问题的就不用管了。直接往下走去手机配置。目前 我接触到有两种方式,一种是以下链接的:http://t.csdnimg.cn/bMLha,另一种就是我下面采取的这种。这种时候再看就可以看到抓包的内容了:在这里插入图片描述

配置手机以使用 Fiddler

步骤一:连接至同一 Wi-Fi 网络

确保你的手机和电脑连接到同一个 Wi-Fi 网络。然后电脑端需要进行下面的配置,然后查询电脑的ip地址,在这里插入图片描述
在这里插入图片描述

步骤二:设置手机代理

在手机的 Wi-Fi 设置中,配置代理以指向你的电脑:

  • 代理服务器地址设置为电脑的 IPv4 地址。
  • 端口设置为 8888
  • 在这里插入图片描述

步骤三:安装 Fiddler 证书于手机

  • 访问电脑的 IPv4 地址加 :8888 在手机浏览器中。但是这里我失败了,只能是从电脑导入证书再尝试了。在这里插入图片描述
    在这里插入图片描述

  • 下载并安装 FiddlerRoot 证书。

Android 和 iPhone 的特殊配置

  • Android:安装证书后通常无需额外配置。
  • iPhone:在设置 -> 通用 -> 关于本机 -> 证书信任设置中,信任安装的证书。
    此时我打开小红书就已经获取到数据了。在这里插入图片描述

使用 Fiddler 抓取和修改数据

抓取数据

开启 Fiddler 并确保手机代理设置正确,当你在手机上浏览网页或使用应用时,所有流量将通过 Fiddler,你可以在 Fiddler 界面中看到这些请求和响应。

修改数据

Fiddler 不仅可以捕获数据,还可以修改它们:

  1. 在 Fiddler 界面中找到你想要修改的请求或响应。
  2. 双击打开 Inspectors 面板。
  3. 在 Inspectors 面板中修改请求头、正文或响应数据。
  4. 点击 “Run to Completion” 将修改后的数据发送至客户端。
    注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。

查看数据示例:csdn热门内容

步骤一:过滤特定请求

在 Fiddler 中设置过滤规则,只显示来自或发往 csdn的请求。
在这里插入图片描述

步骤二:拦截数据

使用 ALT+F11 拦截所有返回数据。
在这里插入图片描述

步骤三:查看数据

点击我们要查看的接口,就能在右边看到返回的数据了,上面是请求,下面是返回的数据。
在这里插入图片描述

结语

Fiddler 是网络开发者和安全研究人员的瑞士军刀。通过本文的指南,你现在可以开始自己的网络抓包之旅,探索和理解网络请求的每一个细节。随着实践的深入,你将发现更多 Fiddler 的强大功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/51212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

操作系统面试知识点总结5

#来自ウルトラマンメビウス(梦比优斯) 1 IO管理概述 1.1 I/O 设备 I/O 设备的类型分类。 1.1.1 按使用特性 人机交互类外部设备,例如打印机、显示器等。存储设备,例如磁盘、光盘等。网络通信设备,例如网络接口等。 1…

【计算机网络】IP地址和子网掩码(IP地址篇)

个人主页:【😊个人主页】 系列专栏:【❤️计算机网络】 文章目录 前言IP地址网络地址网络地址的定义与组成作用分类网络地址的分配与管理 广播地址(Broadcast Address)定义构成类型作用注意事项 广播地址功能 组播地址…

HiveSQL题——炸裂+开窗

一、每个学科的成绩第一名是谁? 0 问题描述 基于学生成绩表输出每个科目的第一名是谁呢? 1 数据准备 with t1 as(selectzs as name,[{"Chinese":80},{"Math":70}],{"English"…

CompletableFuture使用详解

简单的任务,用Future获取结果还好,但我们并行提交的多个异步任务,往往并不是独立的,很多 时候业务逻辑处理存在串行[依赖]、并行、聚合的关系。如果要我们手动用 Future 实现,是非常麻烦的。 CompletableFutur…

JMeter基本使用

一、JMeter线程组相关 进程:正在运行的程序。线程:是进程中的执行线索。线程组:进程中有许多线程,为了方便管理,可以对线程按照性质分组,分组的结果就是线程组。PS:三者关系,一个进…

【设计模式】(万字总结)深入理解Java中的创建型设计模式

1. 前言 在软件开发的世界里,设计模式是一种被广泛接受并应用的解决方案。它们不仅仅是代码的设计,更是对问题的思考和解决的方法论。在Java开发中,特别是在面向对象的编程中,设计模式尤为重要。创建型设计模式,作为设…

【初阶数据结构篇】实现顺序结构二叉树(堆的实现方法)

文章目录 实现顺序结构二叉树(堆)前言代码位置堆的概念与结构概念 堆的实现堆初始化和销毁堆的插入堆的判空堆的删除数据取堆顶数据 实现顺序结构二叉树(堆) 前言 ​ ⼀般堆使⽤顺序结构的数组来存储数据,堆是⼀种特…

一键生成惊艳图像:使用Stable Diffusion打造惊人视觉效果

一、简介 Stable Diffusion是一种由Stability AI开发的生成式AI模型,能够将文本提示转换为高质量的图像。作为生成式扩散模型的一部分,Stable Diffusion通过解析和理解输入的文本提示,逐步生成与描述相匹配的图像。这一技术不仅在图像生成和…

MybatisPlus核心用法

MybatisPlus核心用法 目录 MybatisPlus核心用法1.使用MybatisPlus的基本步骤:2.MybatisPlus是如何获取实现CRUD的数据库表信息的?3.MybatisPlus的常用注解有哪些?如果表名称和实体类名称不符合约定该怎么做?IdType的常见类型有哪些…

漏洞复现-F6-11泛微-E-Cology-SQL

本文来自无问社区,更多漏洞信息可前往查看http://www.wwlib.cn/index.php/artread/artid/15575.html 0x01 产品简介 泛微协同管理应用平台e-cology是一套企业级大型协同管理平台 0x02 漏洞概述 该漏洞是由于泛微e-cology未对用户的输入进行有效的过滤&#xff0…

Skyeye云智能制造企业版源代码全部开放

智能制造一体化管理系统 [SpringBoot2 - 快速开发平台],适用于制造业、建筑业、汽车行业、互联网、教育、政府机关等机构的管理。包含文件在线操作、工作日志、多班次考勤、CRM、ERP 进销存、项目管理、EHR、拖拽式生成问卷、日程、笔记、工作计划、行政办公、薪资模…

vue3 快速入门 (六) : vue中调用HTTP请求

1. 本文环境 Vue版本 : 3.4.29Node.js版本 : v20.15.0系统 : Windows11 64位IDE : VsCode 1.91.0 2. 访问HTTP 在Vue中,访问HTTP,可以使用axios第三方库。 axios 是一个基于 promise 的网络请求库,可以用于浏览器和 node.js。 axios使用简…

遗传算法与深度学习实战——进化深度学习

遗传算法与深度学习实战——进化深度学习 0. 前言1. 进化深度学习1.1 进化深度学习简介1.2 进化计算简介 2. 进化深度学习应用场景3. 深度学习优化3.1 优化网络体系结构 4. 通过自动机器学习进行优化4.1 自动机器学习简介4.2 AutoML 工具 5. 进化深度学习应用5.1 模型选择&…

【mybatis的批量操作】

在日常开发中,如果要操作数据库的话,或多或少都会遇到批量数据的处理,我们公司使用的mybaits-plus作为持久层的框架,今天就简单介绍一下mybaits批量操作数据库的几种方式。 1.循环插入 其实这种方式并不是批量插入,只…

功能实现——使用 OpenPDF 将 HTML 转换为 PDF,并将其上传到 FTP 服务器

目录 1.需求分析2.项目环境搭建3.将 HTML 转换为 PDF3.1.代码实现mail.htmlHtmlToPDFController.javaPDFConverterService.javaPDFConverterServiceImpl.java 3.2.测试3.3.注意事项 4.将生成的 PDF 上传到 FTP 服务器4.1.搭建 FTP 服务器4.2.配置文件4.3.代码实现FtpUtil.javaF…

谷粒商城实战笔记-75-商品服务-API-品牌管理-品牌分类关联与级联更新

文章目录 一,引入Mybatis Plus分页插件二,品牌列表的模糊查询三,增加品牌测试数据四,开发后台品牌关联分类接口1,接口product/categorybrandrelation/catelog/list2,接口product/categorybrandrelation/sav…

汽车长翅膀:GPU 是如何加速深度学习模型的训练和推理过程的?

编者按:深度学习的飞速发展离不开硬件技术的突破,而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过,为何一行简单的“.to(‘cuda’)”代码就能让模型的训练速度突飞猛进?本文正是为解答这个疑问而作。 作者以独特的视角&…

数仓架构解析(第45天)

系列文章目录 经典数仓架构传统离线大数据架构 文章目录 系列文章目录烂橙子-终生成长群群主前言1. 经典数仓架构2. 传统离线大数据架构 烂橙子-终生成长群群主 前言 经典数仓架构 传统离线大数据架构 背景解析 1. 经典数仓架构 1991年,比尔恩门(Bill…

牛客算法题解:数字统计、两个数组的交集、点击消除

目录 BC153 [NOIP2010]数字统计 ▐ 题解 NC313 两个数组的交集 ▐ 题解 AB5 点击消除 ▐ 题解 BC153 [NOIP2010]数字统计 题目描述: 题目链接: [NOIP2010]数字统计_牛客题霸_牛客网 (nowcoder.com) ▐ 题解 题目要求统计出某段数组中一共有多少个…

关于Buffer和Channel的注意事项和细节

1.举例 package org.example.demo;import java.io.FileNotFoundException; import java.io.IOException; import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; import java.util.RandomAccess;/*** MappedByteBuffer可…