北理工爬虫课程学习记录

Requests

 

 

 

post方法如果提交字典会被存到form下,如果直接提交字符串,会被存到data下

put方法和post类似,只不过他会覆盖原始数据

 

               ###各个方法的使用###

 

13个 访问参数

 

url修改的字段

//模拟浏览器进行访问

//模拟不同的IP地址对这个网站进行访问

 

 

 Beauyiful Soup

 

 

 

 

 

tag.a只会找第一个a,》》tag.a.attrs["id"]

 

 

 

 

soup.prettify()
让页面打印的时候,更加清楚的显示

 

###信息提取###

find_all()

#可以find_all(‘a’)/find_all([‘a’,'b'])/find_all(True)#打印出所有标签

 

 #找到id以link开头的所有标签

 

 #由于find_all函数特别常用,因此

 

 

 

正则表达式

 

Match

 re默认贪婪匹配,即如果我调用search,如果如果从索引开始,有多个可匹配项,则它会默认选择会长的匹配

 

 

转载于:https://www.cnblogs.com/ningxinjie/p/11420391.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/386177.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Hibernate学习笔记(二)

Hibernate概述: 什么是Hibernate:是一个持久层的ORM的框架 什么是ORM: ORM:对象关系映射,指的是将一个java中的对象与关系型数据库中的表建立一种映射关系,从而操作对象就可以完成数据库的相关操作为什么学习Hibernate 简化JDBC的开发 性能很好Hibernate…

Java-进阶:多线程1

目录 一、概述 二、Thread 类 三、创建线程:继承 Thread 类 四、创建线程:实现 Runnable 接口 五、线程优先级 六、线程的生命周期 七、同步代码块 一、概述 1. 进程和线程 进程:进程指正在运行的程序。线程:线程是进程中的一个…

Struts2学习笔记(一)--入门常见配置

Struts2框架的学习路线 l 第一天:Struts2的概述、Struts2的入门、Struts2常见的配置、Struts2的Action的编写 l 第二天:Struts2的数据的封装、结果页面配置 l 第三天:Struts2的值栈和OGNL表达式 l 第四天:Struts2的标签库 Struts2…

Java周总结1

一、计算机高级编程语言类型: a.编译型 b.解释型 Hello.java Java源文件 编译 Hello.class 字节码文件 解释 01101100.... (二进制)机器码指令 computer…

MMKV集成与原理,先收藏了

标准文档流 标准文档流,指的是元素排版布局过程中,元素会默认自动从左往右,从上往下的流式排列方式。前面内容发生了变化,后面的内容位置也会随着发生变化。 HTML就是一种标准文档流文件 HTML中的标准文档流特点通过两种方式体现…

Java周总结3

撰写第三周课程总结及实验报告(一) Java实验报告 班级 计科一班 学号 20188375 姓名 汤云云 完成时间 评分等级 实验一 Java开发环境与简单Java程序 一、 实验目的 (1) 熟悉JDK开…

MMKV集成与原理,吊打面试官系列!

前言 校招 -1 年 这个阶段还属于成长期,更需要看重的是你的基础和热情。对于 JS 基础,计算机基础,网络通信,算法等部分的要求会相对高一些。毕竟这个阶段比较难考察你的业务项目中的沉淀,所以只能从基础部分入手考察。…

MMKV集成与原理,成功跳槽阿里!

前言 在初学前端的时候,我们总会遇到一些问题,我们可以在网上看到很多关于前端的这些问题: 你们都是怎么学web前端的? 零基础,怎么自学好前端? 前端需要学多久,都学哪些知识? 想成为…

第四周课程总结试验报告(二)

Java实验报告 实验二 Java简单类与对象 一、 实验目的 (1) 掌握类的定义,熟悉属性、构造函数、方法的作用,掌握用类作为类型声明变量和方法返回值; (2) 理解类和对象的区别,掌握构造…

MMKV集成与原理,薪资翻倍

毕业工作一年之后,有了转行的想法,偶然接触到程序员这方面,产生了浓厚且强烈的兴趣,开始学习前端,成功收割了大厂offer,开始了我的程序员生涯。 在自学过程中有过一些小厂的面试经历,也在一些小…

Spring入门与常用配置

什么是Spring Spring:SE/EE开发的一站式框架。 一站式框架:有EE开发的每一层解决方案。 WEB层 :SpringMVC Service层 :Spring的Bean管理,Spring声明式事务 DAO层 :Spring的Jdbc模板,Spring的ORM…

MMKV集成与原理,详细学习指南

前言 本文主要是javascript和css方面的基础面试题,适合面试前以及平时复习食用。 基础知识是前端一面必问的,如果你在基础知识这一块翻车了,就算你框架玩的再6,webpack、git、node学习的再好也无济于事,因为对方就不…

第五周课程总结实验报告(三)

实验三 String类的应用 一、实验目的 (1) 掌握类String类的使用; (2) 学会使用JDK帮助文档; 二、实验内容 1.已知字符串:"this is a test of java".按要求执行以下操作:&a…

MMKV集成与原理,赶紧学起来

开头 Web前端开发基础知识学习路线分享,前端开发入门学习三大基础:HTML、CSS、JavaScript。除此之外还要学习数据可视化、Vue、React、Angular相关框架,熟练运用框架提升开发效率,提升稳定性。 [外链图片转存失败,源站可能有防盗…

MMKV集成与原理,轻松拿下offer

从事前端开发工作差不多3年了,自己也从一个什么都不懂的小白积累了一定的理论和实践经验,并且自己也对这3年来的学习实践历程有一个梳理,以供后面来细细回忆品味。 1、为什么选择学习前端开发? 你可能是因为兴趣,完成…

React面试题总结,一文说清!

前言 JavaScript是面向 Web 的编程语言,获得了所有网页浏览器的支持,是目前使用最广泛的脚本编程语言之一,也是网页设计和 Web 应用必须掌握的基本工具。 JavaScript主要用途 嵌入动态文本与HTML页面对浏览器时间做出相应读写HTML元素在数…

React面试题总结,含爱奇艺,小米,腾讯,阿里

前言 校招 -1 年 这个阶段还属于成长期,更需要看重的是你的基础和热情。对于 JS 基础,计算机基础,网络通信,算法等部分的要求会相对高一些。毕竟这个阶段比较难考察你的业务项目中的沉淀,所以只能从基础部分入手考察。…

React面试题总结,就是这么简单

前言 昨天有幸去字节面试了,顺便拿到了offer,把还记得的东西写下来,供大家参考一下。 计算机网络篇 HTTP HTTP 报文结构是怎样的?HTTP有哪些请求方法?GET 和 POST 有什么区别?如何理解 URI?如…

CSS清除默认样式,成功入职腾讯

前言 又逢金三银四,拿到大厂的offer一直是程序员朋友的一个目标,我是如何拿到大厂offer的呢,今天给大家分享我拿到大厂offer的利器,前端核心知识面试宝典,内容囊括Html、CSS、Javascript、Vue、HTTP、浏览器面试题\数…

CSS清除默认样式,技术详细介绍

前言 JavaScript是面向 Web 的编程语言,获得了所有网页浏览器的支持,是目前使用最广泛的脚本编程语言之一,也是网页设计和 Web 应用必须掌握的基本工具。 JavaScript主要用途 嵌入动态文本与HTML页面对浏览器时间做出相应读写HTML元素在数…