四、（1）网络爬虫入门及准备工作（爬虫及数据可视化）

四、（1）网络爬虫入门及准备工作（爬虫及数据可视化）

  • 1，网络爬虫入门
    • 1.1 百度指数
    • 1.2 天眼查
    • 1.3 爬虫原理
    • 1.4 搜索引擎原理
  • 2，准备工作
    • 2.1 分析爬取页面
    • 2.2 爬虫拿到的不仅是网页还是网页的源代码
    • 2.3 爬虫就是将网页中的内容提取出来。
    • 2.4 爬虫需要找到规律
    • 2.5 使用开发者工具进行调试，找到要寻找的数据位置
    • 2.6 主程序入口（If _name_==”_main_”:）
    • 2.7 引入包或库（from test import t1）
    • 2.8 引入其他模块报错（两种解决方式）
      • （1）使用控制台方式（这里下载可能会因为网络的不稳定而下载失败）
      • （2）可进入setting中的interpreter解释器中添加包
    • 2.9 爬虫需要引入的包

1，网络爬虫入门

主要看课件
在这里插入图片描述

https://movie.douban.com/top250
此次任务只需对表面的也的分析，不用点进去的详细信息

接下来的1-2天进行
大概两天

后面项目做的需要扩展内容（时间充分）

使用程序复制网络上的数据

网络数据非常多，但数据价值，股市、金融数据保险等信息

电影天堂流量很大，可以在百度指数查看每天的访问人次

1.1 百度指数

在这里插入图片描述

电影天堂和吃鸡对比
在这里插入图片描述

可能你觉得很简单的网站流量也是非常大的

如电影天堂网站，很多信息并不是其自己写的，很多信息是来自豆瓣的

很多流量大的网站，

在这里插入图片描述

只需要将内容爬取出来

这么多的流量怎么赚钱，通过视频引流，使用广告变现，如右下角广告变现

搜索引擎就是网络爬虫

1.2 天眼查

在这里插入图片描述

天眼查的网站怎么赢利，有些信息不能看，需要充值才能看，卖的不是信息本身，卖的是信息之间的关系。基于数据分析，提供方案的。就是数据采集聚合。

原来的基本应用产生大量数据，现在要将数据整合，产生新的价值
爬虫可以完成特定行业的。

一些付费视频，前提是付过钱了，然后爬取，可能有加密，反爬取等

浏览器本身展示的看的，写的程序只是将我们看到的东西存起来（我们想要的数据）

爬虫根据每个网页，分析

1.3 爬虫原理

在这里插入图片描述

1.4 搜索引擎原理

在这里插入图片描述

这两天的内容是前半段，将爬取的数据放到数据库中，而搜索引擎在后半段，需要将爬取的东西做一个索引，用户搜索时，可以将索引快速定位到数据库中的数据。
每次搜索不是爬虫再爬取一次，而是数据展现

这里后面没讲索引，只是讲了数据的可视化展现，实际思路是一样的

准备工作：看目标网页，怎么分析，看那些是我们想要的内容，并且找到，还包括写程序的输出框架，问题预防解决的

获取数据：很多的库，发起请求，模拟浏览器发起，获取网页信息

页面解析：页面解析库，正则表达式等库

保存数据：保存到Excel或数据库，需要很多库

2，准备工作

2.1 分析爬取页面

准备工作是用来分析要爬取的页面的

https://movie.douban.com/top250?start=25&filter=

上方连接是第2页
问号后是参数名和参数值是&链接
start=25意思是从26个后提供共25个电影显示到页面
&filter= 可以不要
在这里插入图片描述

上来就看连接的特点，网络爬虫都是根据连接模拟浏览器访问网页，现在看到的所有东西

2.2 爬虫拿到的不仅是网页还是网页的源代码

返回的就是html网页，里面嵌入了js及css代码而已

在这里插入图片描述

2.3 爬虫就是将网页中的内容提取出来。

在这里插入图片描述

2.4 爬虫需要找到规律

在这里插入图片描述

2.5 使用开发者工具进行调试，找到要寻找的数据位置

在这里插入图片描述

在network中，点击刷，可以看到，发起请求到显示结束，中间浏览器向服务器发出了这么多请求，因为这些请求的作用一直延长时间，中间有交互，只要有交互就会延长，可以点击红色圆圈停止记录。

点击刷新，只要内容是想要的就点击停止记录。
比如将鼠标放到开始

在这里插入图片描述

在这里插入图片描述

Response headers是我们发给服务器的，要求服务器的适配，服务器返回的信息就是整个网页

Headers下的所有内容全是浏览器发送给服务器的请求。

在这里插入图片描述
User-agent使用哪个浏览器，需要标明，如果没有，服务器可能不返回信息
Cookie如果是需要一些登录后才能进行的内容的爬取，就必须学会存储cookie和读取cookie
Headers是发送网络请求给服务器的消息，服务器通过此消息来鉴定我们的身份

在这里插入图片描述

Cookie：是服务器能标识客户端信息保存在本地的信息，里面是加密的，登录信息还是客户端行为信息保存在本地的内容。当访问豆瓣时，cookie可能反映了很多我的内容，如地理位置、ip地址、浏览的以前的关键字

记录行为，不仅在本地，每次访问都会给对方法消息，服务器可以通过此进行分析

宏观可以知道有多少人使用谷歌浏览器，多少windows系统，有多少人的分辨率多少

在这里插入图片描述
根据此层级结构可以快速锁定位置

有很多的库，可以通过此路径直接找到内容，甚至批量将剩下内容拿到
在这里插入图片描述

2.6 主程序入口（If name==”main”:）

If _name_==”_main_”:

如果执行主方法，当运行的函数名是main的时候，起始2main就是程序被解释的时候默认的方法名。

定义程序执行的入口

这样写使程序安照自己的组织来，在上面写，程序入口，执行过程看
在这里插入图片描述

2.7 引入包或库（from test import t1）

库就是将别人写好的代码，在当前文件中直接调用，调用如下
在这里插入图片描述
在这里插入图片描述

库的内容如上图所示

引入包或者库，就是别人写好的函数，可以在我们的文件中调用

from test import t1

from的文件夹是包，文件夹中有个具体文件，此文件就是具体的模块，import t1模块
模块中是有函数的，上方就是引入自定义模块

2.8 引入其他模块报错（两种解决方式）

若引入其他模块

最常用引入第三方模块
在这里插入图片描述

（1）使用控制台方式（这里下载可能会因为网络的不稳定而下载失败）

在这里插入图片描述

（2）可进入setting中的interpreter解释器中添加包

下面界面在安装时是可以退出的，不用在控制台安装，可能会安装很长时间，这样就能直接进行其他的操作
在这里插入图片描述

2.9 爬虫需要引入的包

以下的包是我们必须用到的

import urllib.request,urllib.error          #指定url，获取网页数据
from bs4  import  BeautifulSoup         #网页解析，获取数据
import re           #正则表达式，进行文字匹配
import xlwt         #进行Excel操作
import sqlite3       #进行SQLite操作

Python3中将urllib2中的功能整合到urllib中了，使用urllib就可以了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/39760.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据库完整性约束：确保数据准确性的关键

数据库完整性约束：确保数据准确性的关键

目录 🎗一、实体完整性 示例：定义主键 🎊二、参照完整性 示例：定义外键 🎀三、域完整性 示例：定义非空和唯一约束 🎁四、用户定义的完整性 示例：定义自定义约束 &#x1f3…
阅读更多...
arthas监控工具笔记(二)monior等

arthas监控工具笔记(二)monior等

文章目录 monitor/watch/trace 相关monitormonitor例子monitor -c <value>monitor -m <vaule>monitor 条件表达式monitor -b monitor文档(界面描述)monitor文档(help) stack - 输出当前方法被调用的调用路径trace - 方法内部调用路径&#xff0c;并输出方法路径上的…
阅读更多...
c++中c_str()及atof()和stod()的用法详细解析

c++中c_str()及atof()和stod()的用法详细解析

文章目录 函数作用语法及返回值使用方法1使用方法2atof函数的用法std::stod()函数的用法小结 函数作用 功能&#xff1a;c_str() 函数可以将 const string* 类型 转化为 const char* 类型 头文件&#xff1a;#include<cstring> 为了与c语言兼容&#xff0c;在c语言…
阅读更多...
app单页下载页源码带管理后台

app单页下载页源码带管理后台

新版带后台管理APP应用下载页,自动识别安卓苹果下载页&#xff0c;带管理后台&#xff0c;内置带3套App下载模板带中文模板/英文模板随时切换。 app单页下载页源码带管理后台
阅读更多...
nginx 配置文件location块中符号的含义

nginx 配置文件location块中符号的含义

nginx -t 检查配置文件语法问题 nginx -s reload 重新加载conf文件 location 块 表示精确匹配 ~ 这个符号开头表示区分大小写 * 一般和 ~ 公用, ~* 表示不区分大小写 ^ 表示正则的开始 前缀匹配&#xff1a;默认的匹配方式&#xff0c;不带修饰符&#xff0c;匹配…
阅读更多...
自动装配在Spring框架中的原理与实现方式

自动装配在Spring框架中的原理与实现方式

自动装配在Spring框架中的原理与实现方式 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 自动装配的概念与背景 在Spring框架中&#xff0c;自动装配&#x…
阅读更多...
告别PS修图，设计师都在用的AI抠图工具

告别PS修图，设计师都在用的AI抠图工具

引言 大家好&#xff01;如果你是美工或设计师&#xff0c;肯定深知Photoshop修图的繁琐和耗时。现在有一款超方便的工具&#xff0c;让你摆脱这些问题——千鹿设计助手。它不仅是个抠图工具&#xff0c;还能通过先进的AI技术&#xff0c;让抠图变得简单快速&#xff0c;让你专…
阅读更多...
[Leetcode 128][Medium] 最长连续序列

[Leetcode 128][Medium] 最长连续序列

目录 题目描述 整体思路 具体代码 题目描述 原题链接 整体思路 首先看到找连续升序排序的最长序列长度&#xff0c;想到对数组进行排序预处理。但是排序算法时间复杂度需要O(nlogn)&#xff0c;题目要求时间复杂度为O(n)。因此不能进行排序与处理 接着想到数据结构哈希表&a…
阅读更多...
Laravel 文件操作全指南：上传与下载实践

Laravel 文件操作全指南：上传与下载实践

Laravel 提供了一系列强大的工具来简化文件上传和下载的过程&#xff0c;使得在 Web 应用程序中处理文件变得更加容易和安全。本文将详细介绍如何在 Laravel 中实现文件的上传和下载&#xff0c;包括表单创建、路由设置、控制器逻辑以及安全性考虑。 文件上传基础 文件上传是…
阅读更多...
为什么网上商店需要翻译成其他语言

为什么网上商店需要翻译成其他语言

网上商店不仅仅是一个可以买到商品的网站。它是一个完整的电子商务平台&#xff0c;为来自世界各地的用户提供购买所需物品的机会。但是&#xff0c;为了让这些用户舒适地使用网站&#xff0c;需要高质量的翻译和本地化。 本地化是指产品或服务适应特定文化或市场的过程。它包…
阅读更多...
问题 P: 表达式树的值

问题 P: 表达式树的值

问题 P: 表达式树的值 题目描述 读入表达式树的先序遍历字符串&#xff0c;求其值。运算符只可能是加减乘除&#xff0c;保证输入的每个子表达式树的结果都是整数值且可以用C语言的int类型表达。 输入 输入由多组测试数据组成。 每组数据包含一行字符串&#xff0c;即表达式…
阅读更多...
Nginx详解-安装配置等

Nginx详解-安装配置等

目录 一、引言 1.1 代理问题 1.2 负载均衡问题 1.3 资源优化 1.4 Nginx处理 二、Nginx概述 三、Nginx的安装 3.1 安装Nginx 3.2 Nginx的配置文件 四、Nginx的反向代理【重点】 4.1 正向代理和反向代理介绍 4.2 基于Nginx实现反向代理 4.3 关于Nginx的location路径…
阅读更多...
CSS 文本输入框右下角的尺寸控件(三斜线：-webkit-resizer)消除，以及如何配置其样式，添加 resize 让标签元素可进行拖拽放大。

CSS 文本输入框右下角的尺寸控件(三斜线：-webkit-resizer)消除，以及如何配置其样式，添加 resize 让标签元素可进行拖拽放大。

前言&#xff1a;在日常的前端开发中&#xff0c;不管是原始的和 还在在各类组件库中的文本输入框中&#xff0c;元素内容的右下角总是有一个三斜线的样式&#xff0c;本文简单了解它是什么&#xff1f;如何去控制并修改样式&#xff1f; 一、它是&#xff1f; 这三个斜线其实…
阅读更多...
echarts实现3D柱状图(视觉层面)

echarts实现3D柱状图(视觉层面)

一、第一种效果 效果图 使用步骤 完整实例&#xff0c;copy就可直接使用 <template><div :class"className" :style"{height:height,width:width}" /> </template><script>import echarts from echartsrequire(echarts/theme/…
阅读更多...
leetcode基础算法刷题汇总

leetcode基础算法刷题汇总

前言 总结算法刷题的一些模板和刷题规律。 目录 单调栈并查集滑动窗口前缀和 & HASH差分拓扑排序字符串二分查找BFSDFS动态规划贪心算法字典树
阅读更多...
Python面向对象编程：派生

Python面向对象编程：派生

本套课在线学习视频&#xff08;网盘地址&#xff0c;保存到网盘即可免费观看&#xff09;&#xff1a; ​​https://pan.quark.cn/s/69d1cc25d4ba​​ 面向对象编程&#xff08;OOP&#xff09;是一种编程范式&#xff0c;它通过将数据和操作数据的方法封装在一起&#xff0…
阅读更多...
Qt通过句柄获取其它进程控件实例

Qt通过句柄获取其它进程控件实例

1.通过spy获取想要获取控件的句柄id 通过spy获取另一个软件的文本框的句柄 2.Qt写代码&#xff0c; 根据句柄获取文本框的内容 void getTextFromExternalWindow(HWND hwnd) {const int bufferSize 256;TCHAR buffer[bufferSize];// 获取窗口文本内容int length GetWindowT…
阅读更多...
一文读懂企业为什么需要数字工厂管理系统

一文读懂企业为什么需要数字工厂管理系统

在当今这个日新月异的数字化时代&#xff0c;企业面临着前所未有的挑战与机遇。为了在激烈的市场竞争中保持领先地位&#xff0c;实现高效、灵活、可持续的生产运营&#xff0c;企业纷纷转向数字化转型&#xff0c;而数字工厂管理系统作为其中的关键一环&#xff0c;正逐步成为…
阅读更多...
京东e卡怎么用？

京东e卡怎么用？

京东618过去后&#xff0c;就没有多大购物欲望了&#xff0c;最后导致我手里还有好几张200块钱面值的e卡没地方用 本来说送朋友&#xff0c;但是又感觉面值太小了 最后还是在收卡云上把提取出来了&#xff0c;主要回收价格不错&#xff0c;而且到账也快&#xff0c;很方便
阅读更多...
VMware配置Ubuntu

VMware配置Ubuntu

VMware下载官方链接&#xff1a;Download VMware Workstation Player | VMware Ubuntu20.04下载&#xff1a;https://ubuntu.com/download/desktop 安装步骤 点击【浏览】可更改安装位置&#xff08;建议不要安装在C盘&#xff0c;可以在D盘或其它磁盘下新建一个“ubuntu”文…
阅读更多...
最新文章

Copyright @ 2022~2023