#url的组成
#协议 http，https，一个安全，一个不安全。
#主机， 端口号 学过java 的肯定知道
沃日，以前面试运维的时候，问到主机地址，我懵逼了下，回了个8080
# 主机地址 80
# https 443
#mysql 3306
#oracle 1521
#redis 6379
学过java应该对这些端口烂熟于心了。
协议 主机 端口号 路径 参数 描点
urlopen方法模拟打开网页
response.read.decode('utf-8') 转换字节码，utf-8懂的都懂
https，安全协议反而爬不了了，只能爬简单的。
UA：特殊字符头，用户代理。
网站通过识别请求头中 User-Agent 信息来判断是否是爬虫访问网站。如果是，网站首先对该 IP 进行预警，对其进行重点监控，当发现该 IP 超过规定时间内的访问次数， 将在一段时间内禁止其再次访问网站。
识别ua，判断是否爬虫访问网站
_
可以标识你的信息
为什么的浏览器ua放的地方和视频不一样？
根据源码说了，可以传入url或者request object对象？
如果按照java的思想，意思是要我们new 一个request对象，我们把参数放进去就可以了？
这个视频感觉讲的不是很清楚，但是我理解的话，因为我们是爬虫发送的请求，是没有携带UA，所以我们无法过第一关的意思，然后就pass了，所以我们要包装下自己，把UA带上，然后再去请求htts。
怎么感觉b站上尚硅谷讲的不咋滴呀，讲的模糊不清，还要自己思考下，才能理解，真的很烦。
但是我好像失败了，这是什么鬼，我有种感觉，尚硅谷资料有点过期了，百度反扒升级了，仅仅是ua似乎不起效了。
