孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1

孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1

 

(完整学习过程屏幕记录视频地址在文末)

 

感觉用requests获取到网页的html源代码后,更重要的工作其实是分析得到的内容,因此这时候大名鼎鼎的BeautifulSoup模块就可以大展身手了。

 

一、今天已了解到的BeautifulSoup模块中的一些用法小结:

 

1.

BeautifulSoup对象.prettify()  #对html源代码 进行了美化。

 

2.

BeautifulSoup.p

#这种方法将返回html文档中的第一个p标签本身这个对象,不是文本,但Print之后会显示为如:

<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>

 

3.

BeautifulSoup对象.a

#得到了Html文档中的第一个a标签本身这个对象(这是一个Html标签元素对象)

 

4.

Html标签元素对象['href']) 

# 获取Html标签元素对象的 链接地址 这个属性

 

5.

Html标签元素对象.get('href')

# 获取Html标签元素对象的 链接地址 这个属性

 

6.

msgbox(a.string)

#----获取Html标签元素对象的内含文本内容(innertext)

 

 

7.

BeautifulSoup对象.Html标签元素对象.contents 

#---获取一个Html标签元素对象下的所有子对象集

#返回的是列表,列表中的元素,包括了此Html标签元素对象下的直属一级子对象。

 

8.

BeautifulSoup对象.Html标签元素对象.children

#---获取一个Html标签元素对象下的所有子对象集

#返回的是一个迭代器对象,其中的内容与上一个属性获取的一致

 

二、今天主要找到的网文资料

https://blog.csdn.net/qq_42787271/article/details/81612428

感谢博主的分享!

然后我根据这个资料进行了自己的测试。

 

三、我的测试代码:

```

import requests

from bs4 import BeautifulSoup

 

import _mty

 

strHtml='''

<html><head><title>孤荷凌寒的测试网页qq:578652607</title>

<style>

.title{

    font-size:20px;

}

.story{

    font-size:12px;

}

#divfirst{

    font-size:30px;

}

</style>

 

</head>

<body>

现在网页的BODY部分开始:

<div id="divfirst" class="story">

现在第一个p标签马上开始:

<p id="firstptag" class="title"><b>这是在第一个P标签中的TEXT</b></p>

<p class="story">现在分享一些网站链接:

</br>

<a href="http://www.baidu.com/" class="sister"

id="link1">1.百度链接</a>,

<a href="http://www.taobao.com/" class="sister"

id="link2">2.淘宝链接</a> and

<a href="3.http://www.jianshu.com/" class="sister"

id="link3">简书链接</a>;

</br>

所有链接分享完了</p>

现在第一个P标签已结束。

</div>

接下来第二个DIV开始

<div id="divsecond" class="title">

<p class="story">

<a href="http://www.lhghroom.cn/" id="a_ghlh"><span id="spanone">4.孤荷凌寒的小站</span></a>

</p>

</div>

现在body部分结束了

</body>

</html>

'''

 

def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):

    return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

 

def myfirst(s,h):

    #r=requests.get(s,headers=h)

    #print(r.text) #r.text得到的是页面源html代码

    bs=BeautifulSoup(strHtml,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象

    #-----测试用法

    #strnew=bs.prettify()  #对html源代码 进行了美化。

    #print(strnew)

    #-------访问html文档中第一个指定tag标识的html标签元素的方法-----------

    #print(bs.p) #这种方法将返回html文档中的第一个p标签本身这个对象,不是文本,但Print之后会显示为如:【<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>】

    #print(bs.p) #重复执行,也只是返回html文档 中的第一个P标签

    #msgbox(str(bs.a)) #bs.a 返回的是一个对象,而不是文本字符串

    #a=bs.a #得到了Html文档中的第一个a标签本身这个对象

    #-----获取Html标签元素对象的属性,及相关对象--------------

    #---以字典的方式 存放着Html标签元素对象的属性----

    #msgbox(a['href'])  #a的Html标签元素对象的 链接地址 这个属性

    #msgbox(a.get('href'))

    #----标签的内嵌内容(innertext)存放在Html标签元素对象的string属性中

    #msgbox(a.string)

    #---获取一个Html标签元素对象下的所有子对象集-------------------------------------------

    #elements=bs.body.contents  #返回的是列表,列表中的元素,包括了此Html标签元素对象下的直属一级子对象。

    #print(elements)

    elements=bs.body.children #返回的是一个迭代器对象,其中的内容与上一个属性获取 的一致

    print(list(elements))

    #-----------------------




strurl='http://www.dianping.com/'

header={

    'Host':'www.dianping.com',

    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'

}

myfirst(strurl,header)

```

 

其中最后一步修改后的测试结果如下:

['\n现在网页的BODY部分开始:\n', <div class="story" id="divfirst">

现在第一个p标签马上开始:

<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>

<p class="story">现在分享一些网站链接:

 

<a class="sister" href="http://www.baidu.com/" id="link1">1.百度链接</a>,

<a class="sister" href="http://www.taobao.com/" id="link2">2.淘宝链接</a> and

<a class="sister" href="3.http://www.jianshu.com/" id="link3">简书链接</a>;

 

所有链接分享完了</p>

现在第一个P标签已结束。

</div>, '\n接下来第二个DIV开始\n', <div class="title" id="divsecond">

<p class="story">

<a href="http://www.lhghroom.cn/" id="a_ghlh"><span id="spanone">4.孤荷凌寒的小站</span></a>

</p>

</div>, '\n现在body部分结束了\n']

 

——————————

今天整理的学习笔记完成,最后例行说明下我的自学思路:

根据过去多年我自学各种编程语言的经历,认为只有真正体验式,解决实际问题式的学习才会有真正的效果,即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言,没有学习同伴,也没有高师在上,甚至电脑都是孤岛(乡村那时还没有网络),有的只是一本旧书,在痛苦的自学摸索中,我找到适应自己零基础的学习方法:首先是每读书的一小节就作相应的手写笔记,第二步就是上机测试每一个笔记内容是否实现,其中会发现书中讲的其实有出入或错误,第三步就是在上机测试之后,将笔记改为电子版,形成最终的修订好的正确无误的学习笔记 。

通过反复尝试错误,在那个没有分享与交流的黑暗时期我摸黑学会了VB6,尔后接触了其它语言,也曾听过付费视频课程,结果发现也许自己学历果然太低,就算是零基础的入门课程,其实也难以跟上进度,讲师的教学多数出现对初学者的实际情况并不了解的情况,况且学习者的个体也存在差异呢?当然更可怕的是收费课程的价格往往是自己难以承受的。

于是我的所有编程学习都改为了自学,继续自己的三步学习笔记法的学习之路。

当然自学的最大问题是会走那么多的弯路,没有导师直接输入式的教学来得直接,好在网络给我们带来无限搜索的机会,大家在网络上的学习日志带给我们共享交流的机会,而QQ群等交流平台、网络社区的成立,我们可以一起自学,互相批评交流,也可以获得更有效,更自主的自学成果。

于是我以人生已过半的年龄,决定继续我的编程自学之路,开始学习python,只希望与大家共同交流,一个人的独行是可怕的,只有一群人的共同前进才是有希望的。

诚挚期待您的交流分享批评指点!欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在,于是本来在孤独学习之路上的我们变得不再孤独,因为网络就是一个新的客厅,我们时刻都可以进行沙龙活动。

非常乐意能与大家一起交流自己自学心得和发现,更希望大家能够对我学习过程中的错误给予指点——是的,这样我就能有许多免费的高师了——这也是分享时代,社区时代带来的好福利,我相信大家会的,是吧!

 

根据完全共享的精神,开源互助的理念,我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制,但因为4K高清文件太大均超过5G以上,所以无法上传至网络,如有需要可联系我QQ578652607对传,乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

 

我的学习过程录像百度盘地址分享如下:(清晰度:1280x720)

链接:https://pan.baidu.com/s/1JesRSIGxxT33g6xgeUsTDQ

提取码:3mem

 

Bilibili

B站退回了今天视频的发布申请,原因如下:

【7:17-7:25】根据国家相关法律法规政策,加强对时政内容、新闻信息的管理,暂停个人上传时政内容、新闻信息,现将您的稿件予以打回,敬请谅解。

 

喜马拉雅语音笔记:

https://www.ximalaya.com/keji/19103006/152590964

 

转载于:https://www.cnblogs.com/lhghroom/p/10269274.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/364267.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何将h5网页改成微信网页

1、如何将h5网页改成微信网页 1、设置安全域名 先登录微信公众平台进入“公众号设置”的“功能设置”里填写“JS接口安全域名”。 备注&#xff1a;登录后可在“开发者中心”查看对应的接口权限。 2、引用一个js文件 在微信开发者里面 js sdk里面 <sc…

AspNetForums中基于角色的权限控制

AspNetForums中基于角色的权限控制 http://blog.joycode.com/dotey/archive/2005/02/24/44791.aspxasp.net页面如何控制页面依据不同用户权限有不可见、可见、编辑 三种操作权限 http://community.csdn.net/Expert/topic/3436/3436974.xml?temp.0139429做过权限管理和想做权限…

c#a服务器上传文件b服务器,C#_c#批量上传图片到服务器示例分享,客户端代码: 复制代码 代码 - phpStudy...

c#批量上传图片到服务器示例分享客户端代码&#xff1a;/// /// 批量上传图片/// /// 服务器路径/// 图片文件夹路径/// 图片名称public void UpLoadFile(string srcurl, string imagesPath, List files){int count 1;foreach (string imageName in files){string name image…

mysql集群重启offline_mysql集群搭建问题及解决方法集锦

在上一篇博客中写了如何搭建mysql集群&#xff0c;之所以遇到这些问题&#xff0c;是因为刚开始弄mysql集群的时候不熟悉&#xff0c;正是因为这些问题&#xff0c;让我对mysql集群的了解渐渐深入&#xff0c;下面介绍在搭建mysql集群的时候我遇到了一些问题。1、mysql集群安装…

C - CJSON

cJSON API说明cJSON_Version()获得cJSON的版本cJSON_InitHooks();初始化cJSON_Hooks结构体cJSON_Parse();将字符串解析成cJSON结构体cJSON_ParseWithOpts()使用一些配置解析字符串cJSON_Print()将cJSON结构体转换成格式化的字符串cJSON_PrintUnformatted()将cJSON结构体转换成…

Java SE 8新功能导览:Java开发世界中的重大变化

与其他专业团队成员一样&#xff0c;我是采用OpenJDK的成员之一&#xff0c;但是从最近8个月开始加入&#xff0c;我们经历了Java SE 8 开发&#xff0c;编译&#xff0c;编码&#xff0c;讨论等各个阶段&#xff0c;直到将其付诸实践为止。 。 它于2014年3月18日发布&#xff…

蘑菇街一电话面试1

说说你常用的技术栈&#xff1f; ajax解决跨域问题的方法&#xff1f;jsonp的主要实现原理&#xff1f; 点击页面某个按钮&#xff0c;将原本一行显示的内容分成两行&#xff0c;如何实现&#xff1f; 怎样实现段首缩进&#xff1f;值是什么&#xff1f; 如何实现文本限制显示两…

从Java官网下载最新的文档(包含API文档)

Java学习资料(适合c转java的同学)&#xff1a; Java中带包&#xff08;创建及引用&#xff09;的类的编译 - 小明快点跑 JAVA 对象引用&#xff0c;以及对象赋值 - 飘来荡去。 Java官网下载页&#xff1a;https://www.oracle.com/technetwork/java/javase/downloads/index.html…

12121

sdfsfsfdsf转载于:https://www.cnblogs.com/zhongkeruanjian/archive/2006/06/01/414875.html

html option ajax,Ajax实现简单下拉选项效果【推荐】

基本都是固定步骤&#xff01;主要在JAVASCRIPT和PHP中的操作1、HTML代码里就只有两个SELECT标签如下&#xff1a;请选择请选择2、Javascript中进行创建选项和执行AJAX异步请求步骤如下var xhr getXhr();// 第一次执行Ajax异步请求 - 省份window.onload function(){xhr.open(…

svn安装教程 mysql_CentOS6.4 下安装SVN的详细教程(超详细)

1、检查系统是否已经安装如果安装就卸载rpm -qa subversionyum remove subversion2、安装yum install subversion3、建立SVN库mkdir -p /home/svn/repossvnadmin create /home/svn/repos执行上面的命令后&#xff0c;自动建立repositories库&#xff0c;查看/home/svn/repos 文…

babel安装

注意&#xff1a;如果没有装node.js&#xff0c;先去装一个&#xff01;&#xff01;安装node.js时会默认安装npm。 步骤&#xff1a; 1、新建一个文件夹&#xff0c;装接下来的所有东西。我新建了一个learn-es6文件夹 2、在learn-es6项目文件下创建根目录文件&#xff1a; …

针对新手的Java EE7和Maven项目–第1部分–简单的Maven项目结构–父pom

为什么呢 很多时候&#xff0c;我在日常工作中试图解决一些基本或复杂的Maven / Java EE项目结构问题。 为了提供解决方案&#xff0c;我经常最终会尝试项目结构&#xff0c;测试我在不同应用程序服务器上的部署并细化我的配置。 Maven对于新来者来说可能会有陡峭的学习曲线&a…

sql server 学习记录

sql-server 基础&#xff1a; 1、查看sqlserver的数据表 SELECT name,crdate FROM SysObjects Where XTypeU order by crdate desc 查看数据表的字段 SELECT A.name AS table_name,B.name AS column_name,C.value AS column_description FROM sys.tables A INNER JOIN sys.col…

简单对象访问协议

简单对象访问协议 2000年7月11日 SOAP 是“简单对象访问协议”&#xff08;Simple Object Access Protocol&#xff09;的简称&#xff0c;这种方式能够使用现有的 Internet 体系结构&#xff0c;创建运行在 Internet 上的、分布广泛的复杂计算环境。SOAP 所涉及的应用程序以非…

mysql 子字符串函数_MySQL 内置字符串函数

MySQL内置函数concat()用于连接字段LTRIM(),RTRIM(),TRIM()分别用于去除左边空格,右边空格,以及左右空格都去除NOW()放回当前的日期和时间UPPER() 和LOWER()upper():转换为年夜写输出; lower() 转换为小写输出LEFT()返回串左边的字符RIGHT()返回串右边的字符,办法参考LEFT()LOC…

服务器建网站www无法访问,IIS6服务器搭建网站无法访问解决方案总结_DOIT.com.cn...

很多朋友在用IIS6架网站的时候遇到不少问题&#xff0c;而这些问题有些在过去的IIS5里面就遇到过&#xff0c;有些是新出来的&#xff0c;俺忙活了一下午&#xff0c;做了很多次试验&#xff0c;结合以前的排错经验&#xff0c;做出了这个总结&#xff0c;希望能给大家帮上忙。…

弱监督学习下商品识别:CVPR 2018细粒度识别挑战赛获胜方案简介

弱监督学习下商品识别&#xff1a;CVPR 2018细粒度识别挑战赛获胜方案简介 细粒度视觉分类&#xff08;FGCV&#xff0c;Fine-Grained Visual Categorization&#xff09;即识别细分类别的任务&#xff0c;一般它需要同时使用全局图像信息与局部特征信息精确识别图像子类别。细…

JS中apply和call的应用和区别

因为object没有某个方法&#xff0c;但是别的对象有&#xff0c;可以借助apply或call像别的对象借方法来操作。 猫吃鱼&#xff0c;狗吃肉&#xff0c;奥特曼打小怪兽。 有天狗想吃鱼了 猫.吃鱼.call(狗&#xff0c;鱼) 狗就吃到鱼了 猫成精了&#xff0c;想打怪兽 奥特曼.打小…

解题:NOIP 2018 保卫王国

题面 最小支配集全集-最大独立集 所以先把点权改成正无穷/负无穷来保证强制选/不选某个点到独立集里&#xff0c;然后变成了洛谷的动态DP模板 GTMDNOIP2018ZTY 1 #include<stack>2 #include<cstdio>3 #include<cstring>4 #include<algorithm>5 using n…