Python零基础---爬虫技术相关

python 爬虫技术,关于数据相关的拆解:

1.对页面结构的拆解

2.数据包的分析(是否加密了参数)(Md5 aes)难易程度,价格

3.对接客户(433,334)

# 数据库  CSV

4.结单(发一部分数据)截图,录视频

举例如下:分析拆解过程

数据结构分析:

如下:

写爬虫技术

1.确定网址

2.请求(难度在这个过程)

3.刷选数据

4,保存

import requests


#1.确定网址
Url = 'https://liak,envsc,cn/0utInterface/GetpSList,ashx?regionCode=0&psname=&SystemType=C16A8820480E678F&sgn=4a4f94d86e81fc:b99170851369&ts=1698041764795&tc=92501981


ua ={'User-Agent':Mozilla/5.0(windows NT 10.0: Win64,t/537.36(KHTMLlike Gecko)Chrome/119.0.0.0 Safari/537.36'}


# 2.请求
json _data =requests.get(url,headers=ua).json()

print(json_data)

# 3.筛选数据
for res data in json data:
g_name = res_data['ps_name']
x_zheng = res_data['region_iame']
fa_ren = res_data['corporation_name']
shuLiang = res_data['link_info']


# 4.保存
with open('fadianchang2.csv','a+') as file:
file.write(f'ig_name},{x_zheng},ffa_ren},{shuLiang}\n')

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/752515.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Spring Boot 3】整合nacos + Dubbo3 的Spring cloud Alibaba项目

这里写自定义目录标题 前言1、项目结构2、搭建nacos注册中心、配置中心3、项目依赖4、common模块5、provider服务提供者pom文件bootstrap.yml在nacos中添加配置启动类UserServiceImpl consumer服务消费者pom文件bootstrap.ymlnacos配置启动类UserController 测试END 前言 在sp…

【Genetic Load】

1. Intro 遗传负荷(genetic load)是生物群体中由于有害等位基因的存在而使群体适应度下降的现象。1950年由美国遗传学家HJ马勒提出。所谓适应度是指生物能生存并把它们的基因传给后代的相对能力。群体的遗传负荷可用下式表示:遗传负荷=最适基因型的适应度-群体的平均适应度/…

mysql提权总结(自学)

目录 MySQL数据库提权简介 UDF提权 原理 利用条件 利用准备 利用过程 MOF提权 原理 利用条件 利用过程 自启动提权 反弹shell提权 总结 MySQL数据库提权简介 一般数据库提权思路: 检测数据库的存在(探测端口)获取到数据库的权限…

Git——本地使用详解

目录 Git1、开始版本控制1.1、初始化Repository1.2、使目录脱离Git控制 2、把文件交给Git管控2.1、创建文件后交给Git2.2、git add之后再次修改文件2.3、git add "--all"与"."参数区别2.4、把暂存区的内容提交到存储库里存档 3、工作区、暂存区与存储库3.1…

java 如何使用Lambda表达式实现参数化方法

java 如何使用Lambda表达式实现参数化方法 在Java中,你可以使用Lambda表达式与参数化方法(也称为泛型方法)结合,创建灵活且可重用的代码。Lambda表达式允许你以简洁的方式表示函数式接口的实例,而泛型方法则允许你编写…

车规级芯片又添新成员!NCV7520FPR2G 可编程六路低压侧 MOSFET 预驱动器

NCV7520FPR2G是一款可编程六沟道低压侧 MOSFET 预驱动器,是一个 FLEXMOS™ 汽车级产品系列,用于驱动逻辑电平 MOSFET。NCV7520FPR2G可通过串行 SPI 和并行输入组合控制。该器件提供可兼容 3.3 V/5 V 的输入,串行输出驱动器可基于 3.3 V 或 5 …

24年 天软 专业课 C 数据结构

图片有点多,懒得一张一张传,放gayhub了[doge] https://github.com/lf-27/C_DS

Linux常用操作命令和服务器硬件基础知识

🌟 前言 欢迎来到我的技术小宇宙!🌌 这里不仅是我记录技术点滴的后花园,也是我分享学习心得和项目经验的乐园。📚 无论你是技术小白还是资深大牛,这里总有一些内容能触动你的好奇心。🔍 &#x…

【数据库】数据库基本知识

1.数据库的四个基本概念 1.1 数据:描述事务的符号记录 1.2 数据库:概括的说,数据库数据具有永久存储、有组织的、可共享的大量数据的集合,数据库中的数据按一定的数据模型组织、描述和储存,具有较小的冗余度、较高的…

大数据架构设计

本博客地址:https://security.blog.csdn.net/article/details/136657478 一. 基本概念 1、解决传统数据架构无法及时响应用户请求的常用解决方法: ● 增加异步处理队列,通过工作处理层批量处理异步处理队列中的数据修改请求。 ● 建立数据库…

进入docker容器中安装软件失败解,国外源慢,时间不同步,执行命令权限不够等问题解决办法

进入docker容器中安装软件失败解,时间不同步, 国外源慢,执行命令权限不够 等问题解决办法 首先我进入docker容器中,为了安装一个软件,引出了很多报错问题,报错如下: 1、无法用 ifconfig 或者 ip addr 的方…

kubernetes实战(1)之虚拟机centos搭建k8s集群

一,环境准备 centos7系统,每个系统2c2g,40g,centos7下载地址:centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿里云 # 每个节点分别设置对应主机名 hostnamectl set-hostname master hostnamectl set-hostname …

【解读】NIST网络安全框架CSF 2.0

2014年,NIST(美国国家标准与技术研究所,类似于中国的工信部)首次发布了网络安全框架CSF(Cybersecurity Framework),十年后,在2024年2月26日发布了重大更新(CSF 2.0)&…

MATLAB中的符号计算是什么?如何使用它?

一、符号计算概述 符号计算,顾名思义,是一种基于符号而非数值的计算方式。在MATLAB中,符号计算是通过符号表达式来实现的,这些表达式由符号变量、符号运算符和括号等组成。符号变量可以是任何字母或单词,它们代表数学…

第100+2步 ChatGPT文献复现:ARIMAX预测肺结核 vol. 2

基于WIN10的64位系统演示 一、写在前面 各位大佬,不知大家是否把结果一复现出来了呢? 我们继续往下看,首先复习一下: 《PLoS One》杂志的2023年一篇题目为《A comparative study of three models to analyze the impact of ai…

Java进阶-主流框架总结与详解

一、Java框架概述 Java开发领域涵盖了众多框架,这些框架提供了丰富的功能和工具,帮助开发人员更高效地构建应用程序。其中,Spring框架是最为广泛应用的之一,它提供了全方位的解决方案,包括依赖注入、面向切面编程等&a…

HCIP —— 交换 (VLAN)

VLAN --- 虚拟局域网 在 HCIA 中 ,已经学过交换机的一些基础配置,下面进行回顾一些简单的内容。 1.创建VLAN VLAN ID --- 区别和标识不同的VLAN 使用范围:0-4095 , 由12位二进制构成。 0 和 4095 作为 保留的VLAN。 …

【R语言基础操作】

🍉CSDN小墨&晓末:https://blog.csdn.net/jd1813346972 个人介绍: 研一|统计学|干货分享          擅长Python、Matlab、R等主流编程软件          累计十余项国家级比赛奖项,参与研究经费10w、40w级横向 文…

simulink汽车动力特性模型

1、内容简介 略 76-可以交流、咨询、答疑 simulink汽车动力特性模型 节气门、Gasoline Engine、离合器、作动器 2、内容说明 略 齿轮半径1 0.06; 齿轮半径2 0.072; 有效齿轮半径 2/3*(radius2^3 - radius1^3)/(radius2^2 - radius1^2); 输入传动比 2.1; 输出传动比 1…

洛谷——查单词+简单题+火车线路 +无聊的数列+最大数——线段树

一、 线段树 P2412 查单词 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)https://www.luogu.com.cn/problem/P2412 解析&#xff1a; 板子题&#xff0c;区间搜索&#xff0c;不需要区间修改 #include <bits/stdc.h> using namespace std; #define endl \n #define i…