爬虫学习 | 02 认识爬虫spider

网络爬虫(Web Crawler),也被称为网页蜘蛛(Spider)、网页机器人(Robot)或爬虫(Crawler),是一种自动浏览互联网的程序。它的主要任务是按照一定的算法扫描和访问网页,从互联网上下载网页内容,然后智能地解析和提取网页中的信息。

认识爬虫

        我们所熟悉的一系列搜索引擎都是大型的网络爬虫,比如百度、搜狗、360浏览器、谷歌搜索等等。每个搜索引擎都拥有自己的爬虫程序,

        百度搜索引擎,其实可以更形象地称之为百度蜘蛛(Baiduspider),它每天会在海量的互联网信息中爬取优质的信息,并进行收录。当用户通过百度检索关键词时,百度首先会对用户输入的关键词进行分析,然后从收录的网页中找出相关的网页,并按照排名规则对网页进行排序,最后将排序后的结果呈现给用户。在这个过程中百度蜘蛛起到了非常关键的作用。

        百度的工程师们为“百度蜘蛛”编写了相应的爬虫算法,通过应用这些算法使得“百度蜘蛛”可以实现相应搜索策略,比如筛除重复网页、筛选优质网页等等。应用不同的算法,爬虫的运行效率,以及爬取结果都会有所差异。

爬虫分类

爬虫可分为三大类:通用网络爬虫、聚焦网络爬虫、增量式网络爬虫。

  1. 通用网络爬虫(General-purpose Crawler 或 Universal Crawler)

    目的:通用网络爬虫的目的是尽可能广泛地收集互联网上的网页,为搜索引擎建立全面的网页索引。通用网络爬虫需要遵守 robots 协议,网站通过此协议告诉搜索引擎哪些页面可以抓取,哪些页面不允许抓取。

    行为:这类爬虫通常从一个或多个种子 URL 开始,通过广度优先搜索(Breadth-First Search, BFS)或其他策略遍历互联网。

    特点:它们通常不区分内容的类型或主题,而是尽可能地收集广泛的信息。

    例子:Google、Bing 和 Yahoo 等大型搜索引擎的爬虫。

  2. 聚焦网络爬虫(Focused Crawler 或 Theme-based Crawler)

    目的:聚焦网络爬虫专注于收集特定主题或领域的网页内容。它与通用爬虫的区别在于,聚焦爬虫在实施网页抓取的时候会对网页内容进行筛选和处理,尽量保证只抓取与需求相关的网页信息。

    行为:这类爬虫使用特定的选择策略来决定哪些网页是与主题相关的,并且只爬取这些网页。

    特点:它们通常使用关键词列表、语义分析或机器学习等技术来识别和筛选相关内容。

    例子:学术搜索引擎(如 Google Scholar)、特定领域的信息聚合器或新闻监测服务。

  3. 增量式网络爬虫(Incremental Crawler)

    目的:增量式网络爬虫旨在定期更新已爬取的网页内容,以反映网页的最新变化;能够在一定程度上保证所爬取的页面是最新的页面。

    行为:这类爬虫会记录每个网页的最后爬取时间,并根据网页的更新频率来决定重新爬取的时间间隔。

    特点:增量式爬虫可以有效地节省资源,因为它们只重新爬取那些可能发生变化的网页。

    策略:它们可能使用网页的 Last-Modified HTTP 头信息或 Etag 来确定是否需要更新内容。

为什么用Python做爬虫

        不止 Python 这一种语言可以做爬虫,诸如 PHP、Java、C/C++ 都可以用来写爬虫程序,但是相比较而言 Python 做爬虫是最简单的。下面对它们的优劣势做简单对比:

PHP:对多线程、异步支持不是很好,并发处理能力较弱;

Java 也经常用来写爬虫程序,但是 Java 语言本身很笨重,代码量很大,因此它对于初学者而言,入门的门槛较高;

C/C++ 运行效率虽然很高,但是学习和开发成本高。写一个小型的爬虫程序就可能花费很长的时间。

        而 Python 语言,其语法优美、代码简洁、开发效率高、支持多个爬虫模块,比如 urllib、requests、Bs4 等。Python 的请求模块和解析模块丰富成熟,并且还提供了强大的 Scrapy 框架,让编写爬虫程序变得更为简单。因此使用 Python 编写爬虫程序是个非常不错的选择。

编写爬虫的流程

 Python 编写爬虫程序的流程:

  • 先由 urllib 模块的 request 方法打开 URL 得到网页 HTML 对象。
  • 使用浏览器打开网页源代码分析网页结构以及元素节点。
  • 通过 Beautiful Soup 或则正则表达式提取数据。
  • 存储数据到本地磁盘或数据库。

当然也不局限于上述一种流程。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/46816.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL篇:主从复制

概述 话不多说,直接上概念: DDL(Data Definition Language)语句: 数据定义语言,主要是进行定义/改变表的结构、数据类型、表之间的链接等操作。常用的语句关键字有 CREATE、DROP、ALTER 等。 DML&#xff…

【测试】总体测试计划(Word直接套用完整版)

测试目标:确保项目的需求分析说明书中的所有功能需求都已实现,且能正常运行;确保项目的业务流程符合用户和产品设计要求;确保项目的界面美观、风格一致、易学习、易操作、易理解。 软件全套文档过去进主页。 一、 前言 &#xff0…

C语言题目之打印菱形

文章目录 一、题目二、思路三、代码实现 提示:以下是本篇文章正文内容,下面案例可供参考 一、题目 二、思路 本题目是要求打印菱形,对于这种打印的题目而言,我们能正确的写出代码,就得找到规律 第一步 我们先对整个菱…

【Python】基础语法(函数、列表和元组、字典、文件)

。一、函数 1、函数是什么 编程中的函数和数学中的函数有一定的相似之处。 数学上的函数,比如 y sin x,x 取不同的值,y 就会得到不同的结果。 编程中的函数是一段可以被重复使用的代码片段。 (1)求数列的和&…

【AI伦理挑战下的应对策略】构建隐私保护、算法公正与深度伪造管控机制

💓 博客主页:倔强的石头的CSDN主页 📝Gitee主页:倔强的石头的gitee主页 ⏩ 文章专栏:《热点时事》 期待您的关注 目录 引言 一、构建可靠的AI隐私保护机制 1.1 隐私保护的重要性 1.2 数据最小化与匿名化处理 1.3 …

【轻松拿捏】Java都有哪些特性?

Java都有哪些特性? 1. 面向对象 2. 平台无关性 3. 简单性 4. 安全性 5. 内存管理 6. 多线程 7. 动态性 8. 分布式计算 9. 健壮性 10. 高性能 11. 丰富的标准库 12. 社区支持和生态系统 13. 可移植性 14. 安全性和强类型 15. 模块化和可扩展性 总结 …

OJ-0716

参考 import java.util.ArrayList; import java.util.Collections; import java.util.List; import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner scanner new Scanner(System.in);int n scanner.nextInt();List<Pair> arr…

贪心,CF 1891C - Smilo and Monsters

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 1891C - Smilo and Monsters 二、解题报告 1、思路分析 操作二显然很划算的&#xff0c;但是操作2有代价&#xff0c;为了更划算&#xff0c;我们要让操作2的操作次数最少 即&#xff0c;操作二尽可能用在…

make2s:自动编译

模板Makefile&#xff0c;编译多个C/C模块成不同优化级别的平台相关的汇编码。

python根据时间浮点数转换成时间格式

# 打印当前时间的floatnow time.time() print(now) #1721022981.0060098 单位是s# 浮点数转换成时间格式import datetime# 假设这是你的浮点数时间戳 timestamp_float 1615128000.0 # 将浮点数转换为整数&#xff08;秒级&#xff09; timestamp_int int(timestamp_float) …

git查看历史记录方法

0 Preface/Foreword 1 git reflog git reflog显示所有的操作&#xff0c;不仅仅是commit&#xff0c;也包括git pull&#xff0c;checout等动作。 1.1 查看本地和远程仓库的区别 远程仓库&#xff1a;中间的提交是直接在web端编辑 远程仓库&#xff1a;最新的提交是在本地编…

网站架构核心要素

高性能 技术指标&#xff1a;响应时间、吞吐量、并发数 前端优化手段 页面布局&#xff1a;css在前&#xff0c;js在后通信数据量&#xff1a;数据尽量精简缓存&#xff1a;浏览器缓存、cdn异步&#xff1a;ajax 后端优化手段 缓存&#xff1a;反向代理、redis异步&#x…

超市管理系统 需求分析与设计 UML 方向

一、项目介绍 1.1项目背景 随着经济一体化和电子商务的迅速发展&#xff0c;网络传播信息的速度打破了传统信息传递的模式&#xff0c;互联网的高速发展和计算机应用在各个高校进展迅速&#xff0c;更多信息化产品的突飞猛进&#xff0c;让现代的管理模式也发生了巨大的变化&…

英文审稿回复用语

目录 开头礼貌用语latex 文本高亮及图表引用格式回复开头礼貌用语 Dear Editors and Reviewers: Thank you for your letter and for the reviewers’ comments concerning our manuscript entitled “论文名”和文章编号. Those comments are all valuable and very helpful …

MacOS安装java.安装openjdk步骤

-----------------最后会有干货----------------- 步骤 1: 安装Homebrew 如果您尚未在您的macOS上安装Homebrew&#xff0c;可以通过打开终端&#xff08;Terminal&#xff09;并运行以下命令来安装&#xff1a; /bin/bash -c "$(curl -fsSL https://raw.githubusercon…

【Linux】04.Linux 下的软件包管理器——yum

一、常见的软件安装方式 yum安装rmp安装源码安装 其中rmp安装较麻烦&#xff0c;源码安装对用户要求较高&#xff0c;因此我们最常用的是yum安装。 二、软件生态 现实中我们如何评估一款操作系统的好坏呢&#xff0c;又如何选择一款操作系统呢&#xff1f; 我们选择操作系统…

[C/C++入门][字符与ASCII码]6、用代码来转换字符与它的ASCII码

序章 这一章节之前&#xff0c;我们先简单的提一嘴&#xff0c;要知道计算机中的所有文字也好&#xff0c;图片也好&#xff0c;都是以2进制显示的。 而多个二进制放在一起&#xff0c;就可以表示更大的数字。因此有了字节&#xff08;不会跳动的&#xff0c;不是会跳动的字节…

Windows上部署springboot项目并挂载后台

文章目录 前言一、准备工作二、步骤1. 构建 Spring Boot 项目2. 下载并安装 NSSM3. 使用 NSSM 安装 Spring Boot 应用作为服务4. 管理 Spring Boot 服务 总结 前言 在 Windows 10 裸机&#xff08;即没有预安装服务器操作系统的普通 Windows 10 桌面版&#xff09;上部署 Sprin…

PostgreSQL 如何应对因大量并发更新导致的锁竞争?

&#x1f345;关注博主&#x1f397;️ 带你畅游技术世界&#xff0c;不错过每一次成长机会&#xff01;&#x1f4da;领书&#xff1a;PostgreSQL 入门到精通.pdf 文章目录 PostgreSQL 如何应对因大量并发更新导致的锁竞争一、锁竞争的原因及影响&#xff08;一&#xff09;什…

国外的一组B端界面,个性化是标配,为什么?

因为国外商务合作关系非常的纯粹&#xff0c;我出钱你出力&#xff0c;你干好我买单&#xff0c;没有这么多弯弯绕。 匠心接单中...8年前端开发和UI设计接单经验&#xff0c;完工项目1000&#xff0c;持续为友友们分享有价值、有见地的干货观点&#xff0c;有业务需求的老铁&am…