爬虫基础-计算机网络协议

一个数据的传输

这些设备的数据转发是通过协议来完成的，整个互联网可以说是完全由网络协议来维持的
不同的协议分工不同，比如ip协议确保了ip寻址，tcp协议确保了数据完整性

IP地址和URL

ip地址
整个网络传输可以比作快递，数据就是快递包裹
ip地址就是门牌号
URL
url（uniform resource locator）- 统一资源定位符，每一个url指向一个独特的资源，可以是一个html页面、一个css文档、一个图片、文件、js文件等
URL协议

常用协议：http、https、file、ftp
域名：可以看做说ip地址的别名，此次也可以直接填写ip地址

七层网络协议

TCP/IP协议

TCP协议
Tcp(传输控制协议)是一种面向连接、可可靠的基于字节流的传输层协议
理解:
tcp协议负责把需要传输的数据分解成一定长度的“片段”。
IP协议
Ip协议用于将多个数据包交换网络连接起来，它在源地址和目的地址之间传输数据包
理解
ip协议负责将数据“片段”贴上标签，成为数据包，标签包括“源ip地址”和“目标ip地址”。这些标签将决定数据传输的路径。Ip协议负责传送的道路被称为“路由功能”
路由器
路由器，是连接互联网各局域网、广域网的设备，他会根据信道的情况自动选择和设置路由，以最佳路径，按前后顺序发送数据
理解:
每个节点上的路由器都记录着与自己相邻的路由器地址，并形成一个表格-路由表，路由表是一个动态数据库，并在网络活动中不断更新。
数据包达到一个路由器后，该路由器会根据数据包的地址信息，查询路由表，然后选择一个最佳的路径发送数据包。

TCP是一种面向连接的单播协议，在发送数据前，通信双方必须在彼此间建立一条连接。所谓的“连接”，其实是客户端和服务器的内存里保存的一份关于对方的信息，如ip地址、端口号等。
TCP可以看成是一种字节流，它会处理IP层或以下的层的丢包、重复以及错误问题。在连接的建立过程中，双方需要交换一些连接的参数。这些参数可以放在TCP头部。
TCP提供了一种可靠、面向连接、字节流、传输层的服务，采用三次握手建立一个连接。采用4次挥手来关闭一个连接。

Socket

Socket可以用英文概念理解:插座
电力公司给你家送电是通过电线，但是电送到你家还不够，家里还得有个插座(socket),这样你才能用上电,插座上有火线、地线和中线。可以理解为ip地址/端口等。
Socket本身并不是一个协议，是一个套接字，操作系统为了方便大家直接使用tcp协议而存在的一个抽象层，它把复杂的tcp/ip协议隐藏在接口后面。

socket_server

#socket服务端
import socket
import threading
server = socket.socket()
#绑定到0.0.0.0:8000端口上
server.bind(('0.0.0.0', 8000))
server.listen()def handle_sock(sock, addr):while True:# recv方法是阻塞的tmp_data = sock.recv(1024)print(tmp_data.decode("utf8"))input_data = input()sock.send(input_data.encode("utf8"))#获取客户端连接并启动线程去处理
while True:# 阻塞等待连接sock, addr = server.accept()#启动一个线程去处理新的用户连接client_thread = threading.Thread(target=handle_sock, args=(sock, addr))client_thread.start()#体验到直接获取原始数据,裸数据# if tmp_data:#     data += tmp_data.decode("utf8")#     if tmp_data.decode("utf8").endswith("#"):#         break# else:#     break;# print(data)
# sock.close()

socket_client

#socket客户端
import socket
client = socket.socket()
client.connect(('127.0.0.1', 8000))# client.send(b"bobby")
#当输出完成以后 以#结尾就代码提交完成
# server_data = client.recv(1024)
# print("server response: {}".format(server_data.decode("utf8")))
while True:input_data = input()client.send(input_data.encode("utf8"))server_data = client.recv(1024)print("server response: {}".format(server_data.decode("utf8")))# client.close()

模拟qq服务器和客户端
server

#qq服务器
#1. 转发消息
#2. 处理登录
#3. 处理退出
#4. 维护历史消息， 维护在线用户和维护用户的连接
import socket
import json
from collections import defaultdict
import threading#1. 维护用户连接
online_users = defaultdict(dict)#2. 维护用户的历史消息
user_msgs = defaultdict(list)server = socket.socket()#绑定ip
server.bind(("0.0.0.0", 8000))
server.listen()def handle_sock(sock, addr):while True:data = sock.recv(1024)json_data = json.loads(data.decode("utf8"))action = json_data.get("action", "")if action == "login":online_users[json_data["user"]] = socksock.send("登录成功!".encode("utf8"))elif action == "list_user":#获取当前在线用户all_users = [user for user, sock in online_users.items()]sock.send(json.dumps(all_users).encode("utf8"))elif action == "history_msg":sock.send(json.dumps(user_msgs.get(json_data["user"], [])).encode("utf8"))elif action == "send_msg":if json_data["to"] in online_users:online_users[json_data["to"]].send(json.dumps(json_data).encode("utf8"))user_msgs[json_data["to"]].append(json_data)elif action == "exit":del online_users[json_data["user"]]sock.send("退出成功!".encode("utf8"))while True:#阻塞等待连接sock, addr = server.accept()#启动一个线程去处理新的用户连接client_thread = threading.Thread(target=handle_sock, args=(sock, addr))client_thread.start()#1. 多线程去处理每个用户连接，防止主线程阻塞住
#2. 自定义了消息协议并且自己完成了消息协议的解析

client

#qq客户端
import socket
import json
import threadingclient = socket.socket()
client.connect(("127.0.0.1", 8000))user = "bobby1"#1. 登录
login_template = {"action":"login","user":user
}
client.send(json.dumps(login_template).encode("utf8"))
res = client.recv(1024)
print(res.decode("utf8"))#2. 获取在线用户
get_user_template = {"action":"list_user"
}
client.send(json.dumps(get_user_template).encode("utf8"))
res = client.recv(1024)
print("当前在线用户:{}".format(res.decode("utf8")))#2. 获取历史消息
offline_msg_template = {"action":"history_msg","user":user
}
client.send(json.dumps(offline_msg_template).encode("utf8"))
res = client.recv(1024)
print("历史消息:{}".format(res.decode("utf8")))exit = False
def hanle_receive():#处理接收请求while True:if not exit:try:res = client.recv(1024)except:breakres = res.decode("utf8")try:res_json = json.loads(res)msg = res_json["data"]from_user = res_json["from"]print("")print("收到来自({})的消息: {}".format(from_user, msg))except:print("")print(res)else:breakdef handle_send():while True:#1. 随时可以发送消息#2. 有新消息随时能接收到op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")if op_type not in ["1","2","3"]:print("不支持该操作!!!")op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")elif op_type == "1":to_user = input("请输入你要发送的用户:")msg = input("请输入你要发送的消息")send_data_template = {"action": "send_msg","to": to_user,"from": user,"data": msg}client.send(json.dumps(send_data_template).encode("utf8"))elif op_type == "2":exit_template = {"action": "exit","user": user}client.send(json.dumps(exit_template).encode("utf8"))exit = Trueclient.close()breakelif op_type == "3":get_user_template = {"action": "list_user"}client.send(json.dumps(get_user_template).encode("utf8"))if __name__ == "__main__":send_thread = threading.Thread(target=handle_send)receive_thread = threading.Thread(target=hanle_receive)send_thread.start()receive_thread.start()

#qq客户端
import socket
import json
import threadingclient = socket.socket()
client.connect(("127.0.0.1", 8000))user = "bobby2"#1. 登录
login_template = {"action":"login","user":user
}
client.send(json.dumps(login_template).encode("utf8"))
res = client.recv(1024)
print(res.decode("utf8"))#2. 获取在线用户
get_user_template = {"action":"list_user"
}
client.send(json.dumps(get_user_template).encode("utf8"))
res = client.recv(1024)
print("当前在线用户:{}".format(res.decode("utf8")))#2. 获取历史消息
offline_msg_template = {"action":"history_msg","user":user
}
client.send(json.dumps(offline_msg_template).encode("utf8"))
res = client.recv(1024)
print("历史消息:{}".format(res.decode("utf8")))exit = False
def hanle_receive():#处理接收请求while True:if not exit:try:res = client.recv(1024)except:breakres = res.decode("utf8")try:res_json = json.loads(res)msg = res_json["data"]from_user = res_json["from"]print("")print("收到来自({})的消息: {}".format(from_user, msg))except:print("")print(res)else:breakdef handle_send():while True:#1. 随时可以发送消息#2. 有新消息随时能接收到op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")if op_type not in ["1","2","3"]:print("不支持该操作!!!")op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")elif op_type == "1":to_user = input("请输入你要发送的用户:")msg = input("请输入你要发送的消息")send_data_template = {"action": "send_msg","to": to_user,"from": user,"data": msg}client.send(json.dumps(send_data_template).encode("utf8"))elif op_type == "2":exit_template = {"action": "exit","user": user}client.send(json.dumps(exit_template).encode("utf8"))exit = Trueclient.close()breakelif op_type == "3":get_user_template = {"action": "list_user"}client.send(json.dumps(get_user_template).encode("utf8"))if __name__ == "__main__":send_thread = threading.Thread(target=handle_send)receive_thread = threading.Thread(target=hanle_receive)send_thread.start()receive_thread.start()

http协议

HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写。它的发展是万维网协会(World Wide Web Consortium)和Internet工作小组IETF(Internet Engineering Task Force)合作的结果，(他们)最终发布了一系列的RFC。http是应用层协议。
HTTP协议永远都是客户端发起请求，服务器回送响应，这样就限制了使用HTTP协议，无法实现在客户端没有发起请求的时候，服务器将消息推送给客户端。HTTP协议是一个无状态的协议，同一个客户端的这次请求和上次请求是没有对应关系。http协议是单向的。
HTTP 协议是个纯文本的协议，:这意味着我们直接传递纯文本就可以了换句话说，一个 Web 服务器其实就是根据约定好的方法生成对应的 HTTP 消息内容然后传输给对方。

http协议格式

简单快速:只需要传递请求方法和路径。
灵活:http可以传递任意类型的数据对象。通过content-type指定
无连接:无连接意味着每次连接处理一个请求，服务器返回之后断开连接，节省传输时间和服务器压力。
无状态:无状态是指协议对于事物处理没有记忆能力,需要通过cookie和session来加以区别。
支持B/S和C/S模式