爬虫基础-计算机网络协议

一个数据的传输
image.png
这些设备的数据转发是通过协议来完成的，整个互联网可以说是完全由网络协议来维持的
不同的协议分工不同，比如ip协议确保了ip寻址，tcp协议确保了数据完整性

IP地址和URL

ip地址
整个网络传输可以比作快递，数据就是快递包裹
ip地址就是门牌号
URL
url（uniform resource locator）- 统一资源定位符，每一个url指向一个独特的资源，可以是一个html页面、一个css文档、一个图片、文件、js文件等
URL协议
image.png
常用协议：http、https、file、ftp
域名：可以看做说ip地址的别名，此次也可以直接填写ip地址

七层网络协议

image.png
image.png
image.png

TCP/IP协议

TCP协议
Tcp(传输控制协议)是一种面向连接、可可靠的基于字节流的传输层协议
理解:
tcp协议负责把需要传输的数据分解成一定长度的“片段”。
IP协议
Ip协议用于将多个数据包交换网络连接起来，它在源地址和目的地址之间传输数据包
理解
ip协议负责将数据“片段”贴上标签，成为数据包，标签包括“源ip地址”和“目标ip地址”。这些标签将决定数据传输的路径。Ip协议负责传送的道路被称为“路由功能”
路由器
路由器，是连接互联网各局域网、广域网的设备，他会根据信道的情况自动选择和设置路由，以最佳路径，按前后顺序发送数据
理解:
每个节点上的路由器都记录着与自己相邻的路由器地址，并形成一个表格-路由表，路由表是一个动态数据库，并在网络活动中不断更新。
数据包达到一个路由器后，该路由器会根据数据包的地址信息，查询路由表，然后选择一个最佳的路径发送数据包。

TCP是一种面向连接的单播协议，在发送数据前，通信双方必须在彼此间建立一条连接。所谓的“连接”，其实是客户端和服务器的内存里保存的一份关于对方的信息，如ip地址、端口号等。
TCP可以看成是一种字节流，它会处理IP层或以下的层的丢包、重复以及错误问题。在连接的建立过程中，双方需要交换一些连接的参数。这些参数可以放在TCP头部。
TCP提供了一种可靠、面向连接、字节流、传输层的服务，采用三次握手建立一个连接。采用4次挥手来关闭一个连接。

Socket

Socket可以用英文概念理解:插座
电力公司给你家送电是通过电线，但是电送到你家还不够，家里还得有个插座(socket),这样你才能用上电,插座上有火线、地线和中线。 可以理解为ip地址/端口等。
Socket本身并不是一个协议，是一个套接字，操作系统为了方便大家直接使用tcp协议而存在的一个抽象层，它把复杂的tcp/ip协议隐藏在接口后面。
image.png
image.png
socket_server

#socket服务端
import socket
import threading
server = socket.socket()
#绑定到0.0.0.0:8000端口上
server.bind(('0.0.0.0', 8000))
server.listen()def handle_sock(sock, addr):while True:# recv方法是阻塞的tmp_data = sock.recv(1024)print(tmp_data.decode("utf8"))input_data = input()sock.send(input_data.encode("utf8"))#获取客户端连接并启动线程去处理
while True:# 阻塞等待连接sock, addr = server.accept()#启动一个线程去处理新的用户连接client_thread = threading.Thread(target=handle_sock, args=(sock, addr))client_thread.start()#体验到直接获取原始数据,裸数据# if tmp_data:#     data += tmp_data.decode("utf8")#     if tmp_data.decode("utf8").endswith("#"):#         break# else:#     break;# print(data)
# sock.close()

socket_client

#socket客户端
import socket
client = socket.socket()
client.connect(('127.0.0.1', 8000))# client.send(b"bobby")
#当输出完成以后 以#结尾就代码提交完成
# server_data = client.recv(1024)
# print("server response: {}".format(server_data.decode("utf8")))
while True:input_data = input()client.send(input_data.encode("utf8"))server_data = client.recv(1024)print("server response: {}".format(server_data.decode("utf8")))# client.close()

模拟qq服务器和客户端
server

#qq服务器
#1. 转发消息
#2. 处理登录
#3. 处理退出
#4. 维护历史消息， 维护在线用户和维护用户的连接
import socket
import json
from collections import defaultdict
import threading#1. 维护用户连接
online_users = defaultdict(dict)#2. 维护用户的历史消息
user_msgs = defaultdict(list)server = socket.socket()#绑定ip
server.bind(("0.0.0.0", 8000))
server.listen()def handle_sock(sock, addr):while True:data = sock.recv(1024)json_data = json.loads(data.decode("utf8"))action = json_data.get("action", "")if action == "login":online_users[json_data["user"]] = socksock.send("登录成功!".encode("utf8"))elif action == "list_user":#获取当前在线用户all_users = [user for user, sock in online_users.items()]sock.send(json.dumps(all_users).encode("utf8"))elif action == "history_msg":sock.send(json.dumps(user_msgs.get(json_data["user"], [])).encode("utf8"))elif action == "send_msg":if json_data["to"] in online_users:online_users[json_data["to"]].send(json.dumps(json_data).encode("utf8"))user_msgs[json_data["to"]].append(json_data)elif action == "exit":del online_users[json_data["user"]]sock.send("退出成功!".encode("utf8"))while True:#阻塞等待连接sock, addr = server.accept()#启动一个线程去处理新的用户连接client_thread = threading.Thread(target=handle_sock, args=(sock, addr))client_thread.start()#1. 多线程去处理每个用户连接，防止主线程阻塞住
#2. 自定义了消息协议并且自己完成了消息协议的解析

client

#qq客户端
import socket
import json
import threadingclient = socket.socket()
client.connect(("127.0.0.1", 8000))user = "bobby1"#1. 登录
login_template = {"action":"login","user":user
}
client.send(json.dumps(login_template).encode("utf8"))
res = client.recv(1024)
print(res.decode("utf8"))#2. 获取在线用户
get_user_template = {"action":"list_user"
}
client.send(json.dumps(get_user_template).encode("utf8"))
res = client.recv(1024)
print("当前在线用户:{}".format(res.decode("utf8")))#2. 获取历史消息
offline_msg_template = {"action":"history_msg","user":user
}
client.send(json.dumps(offline_msg_template).encode("utf8"))
res = client.recv(1024)
print("历史消息:{}".format(res.decode("utf8")))exit = False
def hanle_receive():#处理接收请求while True:if not exit:try:res = client.recv(1024)except:breakres = res.decode("utf8")try:res_json = json.loads(res)msg = res_json["data"]from_user = res_json["from"]print("")print("收到来自({})的消息: {}".format(from_user, msg))except:print("")print(res)else:breakdef handle_send():while True:#1. 随时可以发送消息#2. 有新消息随时能接收到op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")if op_type not in ["1","2","3"]:print("不支持该操作!!!")op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")elif op_type == "1":to_user = input("请输入你要发送的用户:")msg = input("请输入你要发送的消息")send_data_template = {"action": "send_msg","to": to_user,"from": user,"data": msg}client.send(json.dumps(send_data_template).encode("utf8"))elif op_type == "2":exit_template = {"action": "exit","user": user}client.send(json.dumps(exit_template).encode("utf8"))exit = Trueclient.close()breakelif op_type == "3":get_user_template = {"action": "list_user"}client.send(json.dumps(get_user_template).encode("utf8"))if __name__ == "__main__":send_thread = threading.Thread(target=handle_send)receive_thread = threading.Thread(target=hanle_receive)send_thread.start()receive_thread.start()
#qq客户端
import socket
import json
import threadingclient = socket.socket()
client.connect(("127.0.0.1", 8000))user = "bobby2"#1. 登录
login_template = {"action":"login","user":user
}
client.send(json.dumps(login_template).encode("utf8"))
res = client.recv(1024)
print(res.decode("utf8"))#2. 获取在线用户
get_user_template = {"action":"list_user"
}
client.send(json.dumps(get_user_template).encode("utf8"))
res = client.recv(1024)
print("当前在线用户:{}".format(res.decode("utf8")))#2. 获取历史消息
offline_msg_template = {"action":"history_msg","user":user
}
client.send(json.dumps(offline_msg_template).encode("utf8"))
res = client.recv(1024)
print("历史消息:{}".format(res.decode("utf8")))exit = False
def hanle_receive():#处理接收请求while True:if not exit:try:res = client.recv(1024)except:breakres = res.decode("utf8")try:res_json = json.loads(res)msg = res_json["data"]from_user = res_json["from"]print("")print("收到来自({})的消息: {}".format(from_user, msg))except:print("")print(res)else:breakdef handle_send():while True:#1. 随时可以发送消息#2. 有新消息随时能接收到op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")if op_type not in ["1","2","3"]:print("不支持该操作!!!")op_type = input("请输入你要进行的操作: 1. 发送消息, 2. 退出, 3. 获取在线用户")elif op_type == "1":to_user = input("请输入你要发送的用户:")msg = input("请输入你要发送的消息")send_data_template = {"action": "send_msg","to": to_user,"from": user,"data": msg}client.send(json.dumps(send_data_template).encode("utf8"))elif op_type == "2":exit_template = {"action": "exit","user": user}client.send(json.dumps(exit_template).encode("utf8"))exit = Trueclient.close()breakelif op_type == "3":get_user_template = {"action": "list_user"}client.send(json.dumps(get_user_template).encode("utf8"))if __name__ == "__main__":send_thread = threading.Thread(target=handle_send)receive_thread = threading.Thread(target=hanle_receive)send_thread.start()receive_thread.start()

http协议

HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写。它的发展是万维网协会(World Wide Web Consortium)和Internet工作小组IETF(Internet Engineering Task Force)合作的结果，(他们)最终发布了一系列的RFC。http是应用层协议。
HTTP协议永远都是客户端发起请求，服务器回送响应，这样就限制了使用HTTP协议，无法实现在客户端没有发起请求的时候，服务器将消息推送给客户端。HTTP协议是一个无状态的协议，同一个客户端的这次请求和上次请求是没有对应关系。http协议是单向的。
HTTP 协议是个纯文本的协议，:这意味着我们直接传递纯文本就可以了换句话说，一个 Web 服务器其实就是根据约定好的方法生成对应的 HTTP 消息内容然后传输给对方。

http协议格式

简单快速:只需要传递请求方法和路径。
灵活:http可以传递任意类型的数据对象。通过content-type指定
无连接:无连接意味着每次连接处理一个请求，服务器返回之后断开连接，节省传输时间和服务器压力。
无状态:无状态是指协议对于事物处理没有记忆能力,需要通过cookie和session来加以区别。
支持B/S和C/S模式
image.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/653689.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

使用毫米波雷达传感器的功能安全兼容系统设计指南1（TI文档）

使用毫米波雷达传感器的功能安全兼容系统设计指南1（TI文档）

摘要 功能安全标准规定了在系统中实施安全的要求，并有助于概括该系统要达到的安全目标。包括功能安全的系统设计不仅要降低操作不当的风险，还要检测故障并将其影响降到最低。随着汽车和工业系统的自主性越来越强，严格的功能安全要求被强制执行…
阅读更多...
（28）Linux 信号保存 信号处理 不可重入函数

（28）Linux 信号保存 信号处理 不可重入函数

首先介绍几个新的概念： 信号递达(Delivery)：实际执行信号的处理动作。信号未决(Pending)：信号从产生到递达之间的状态。信号阻塞(Block)：被阻塞的信号产生时将保持在未决状态，直达解除对该信号的阻塞，才执…
阅读更多...
【大厂AI课学习笔记】1.2 人工智能的应用（1）

【大厂AI课学习笔记】1.2 人工智能的应用（1）

目录 1.2 人工智能的应用 1.2.1 产业中人工智能的应用 金融 教育 医疗 交通 制造 ——智慧金融 智能风控 智能理赔 智能投研 （声明：本学习笔记学习原始资料来自于腾讯，截图等资料，如有不合适摘录的，请与我联…
阅读更多...
基于SpringBoot+Redis的前后端分离外卖项目-苍穹外卖微信小程序端(十五)

基于SpringBoot+Redis的前后端分离外卖项目-苍穹外卖微信小程序端(十五)

用户端历史订单模块 1. 查询历史订单1.1 需求分析和设计1.2 代码实现1.2.1 user/OrderController1.2.2 OrderService1.2.3 OrderServiceImpl1.2.4 OrderMapper1.2.5 OrderMapper.xml1.2.6 OrderDetailMapper 2. 查询订单详情2.1 需求分析和设计2.2 代码实现2.2.1 user/OrderCon…
阅读更多...
SpringBoot常见错误

SpringBoot常见错误

SpringBoot常见错误 1、SpringBoot启动时报错 错误: 找不到或无法加载主类 com.xxx.xxx.Application springboot启动时报错错误：找不到或无法加载主类 com.xxx.xxx.Application。 解决方法就是打开idea的控制台，输入以下三行命令： mvn cl…
阅读更多...
nginx安装ssl模块http_ssl_module

nginx安装ssl模块http_ssl_module

查看nginx安装的模块 /usr/local/nginx/sbin/nginx -V若出现“–with-http_ssl_module”说明已经安装过，否则继续执行下列步骤 进入nginx源文件目录 cd /usr/local/nginx/nginx-1.20.2重新编译nginx ./configure --with-http_ssl_module如果组件linux缺少&…
阅读更多...
综合案例 - 商品列表

综合案例 - 商品列表

文章目录 需求说明1.my-tag组件封装（完成初始化）2.may-tag封装（控制显示隐藏）3.my-tag组件封装（v-model处理：信息修改）4.my-table组件封装（整个表格）①数据不能写死&…
阅读更多...
《HTML 简易速速上手小册》第3章：HTML 的列表与表格（2024 最新版）

《HTML 简易速速上手小册》第3章：HTML 的列表与表格（2024 最新版）

文章目录 3.1 创建无序和有序列表（📝🌟👍 信息的时尚搭配师）3.1.1 基础示例：创建一个简单的购物清单3.1.2 案例扩展一：创建一个旅行计划清单3.1.3 案例扩展二：创建一个混合列表 3.2 …
阅读更多...
【数据分享】1929-2023年全球站点的逐年平均气温数据（Shp\Excel\免费获取）

【数据分享】1929-2023年全球站点的逐年平均气温数据（Shp\Excel\免费获取）

气象数据是在各项研究中都经常使用的数据，气象指标包括气温、风速、降水、湿度等指标，其中又以气温指标最为常用！说到气温数据，最详细的气温数据是具体到气象监测站点的气温数据！本次我们为大家带来的就是具体到气象监…
阅读更多...
win11 系统 WSL2 备份与还原

win11 系统 WSL2 备份与还原

win11 系统想要使用 linu 开发环境，除了虚拟机，就是 wsl 好使了。 但是 wsl 如过用了一段时间里面环境工程配置迁移麻烦如果重装系统后能直接备份还原就方便了。 确定你的版本 使用 WinR 打开输入框 输入 cmd 命令 打开命令提示符界面 wsl -l -v查看…
阅读更多...
【备战蓝桥杯】——循环结构

【备战蓝桥杯】——循环结构

🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 ​💫个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-bFHV3Dz5xMe6d3NB {font-family:"trebuchet ms",verdana,arial,sans-serif;font-siz…
阅读更多...
QT tcp与udp网络通信以及定时器的使用 (7)

QT tcp与udp网络通信以及定时器的使用 (7)

QT tcp与udp网络通信以及定时器的使用 文章目录 QT tcp与udp网络通信以及定时器的使用1、QT网络与通信简单介绍2、QT TCP通信1、 服务器的流程2、 客户端的流程3、服务器的编写4、客户端的编写 3、QT UDP通信1、客户端流程2、客户端编写3、UDP广播4、UDP组播 4、定时器的用法1、…
阅读更多...
【ArcGIS微课1000例】0098：查询河流流经过的格网

【ArcGIS微课1000例】0098：查询河流流经过的格网

本实验讲述，ArcGIS中查询河流流经过的格网，如黄河流经过的格网、县城、乡镇、省份等。 文章目录 一、加载数据二、空间查询三、结果导出四、注意事项一、加载数据 加载实验配套数据0098.rar中的河流（黄河）和格网数据，如下图所示： 接下来，将查询河流流经过的格网有哪些并…
阅读更多...
SpringBoot将第三方的jar中的bean对象自动注入到ioc容器中

SpringBoot将第三方的jar中的bean对象自动注入到ioc容器中

新建一个模块，做自动配置 config：需要准备两个类，一个自动配置类，一个配置类 CommonAutoConfig：此类用于做自动配置类它会去读取resoutces下的META-INF.spring下的org.springframework.boot.autoconfigure.AutoConfig…
阅读更多...
LabVIEW探测器CAN总线系统

LabVIEW探测器CAN总线系统

介绍了一个基于FPGA和LabVIEW的CAN总线通信系统，该系统专为与各单机进行系统联调测试而设计。通过设计FPGA的CAN总线功能模块和USB功能模块，以及利用LabVIEW开发的上位机程序，系统成功实现了CAN总线信息的收发、存储、解析及显示功能。测试结…
阅读更多...
嘿嘿，vue之输出土味情话

嘿嘿，vue之输出土味情话

有点好玩&#xff0c;记录一下。通过按钮调用网站接口&#xff0c;然后解构数据输出土味情话。 lovetalk.vue: <!--vue简单框架--> <template> <!-- 这是一个div容器&#xff0c;用于显示土味情话 --> <div class"talk"> <!-- 当点…
阅读更多...
回归预测 | Matlab实现CPO-LSSVM【24年新算法】冠豪猪优化最小二乘支持向量机多变量回归预测

回归预测 | Matlab实现CPO-LSSVM【24年新算法】冠豪猪优化最小二乘支持向量机多变量回归预测

回归预测 | Matlab实现CPO-LSSVM【24年新算法】冠豪猪优化最小二乘支持向量机多变量回归预测 目录 回归预测 | Matlab实现CPO-LSSVM【24年新算法】冠豪猪优化最小二乘支持向量机多变量回归预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab实现CPO-LSSVM【24年…
阅读更多...
K个一组翻转链表---链表OJ

K个一组翻转链表---链表OJ

https://leetcode.cn/problems/reverse-nodes-in-k-group/?envType=study-plan-v2&envId=top-100-liked K个一组进行翻转，大体上是和前面两两翻转是类似的，区别就在于，这里需要自己判断是否需要翻转，如何翻转，怎么记录。这里我们用递归来实现。 是否需要翻转…
阅读更多...
数据结构·单链表经典例题

数据结构·单链表经典例题

1. 移除链表元素 OJ链接&#xff1a;力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 本题是说给出一个链表的头节点head和一个整数val&#xff0c;如果发现节点中存的数据有val就删掉它&#xff0c;最后返回修改后的链表头节点地址 如果题目中没有明确…
阅读更多...
第十八讲_HarmonyOS应用开发实战（实现电商首页）

第十八讲_HarmonyOS应用开发实战（实现电商首页）

HarmonyOS应用开发实战&#xff08;实现电商首页&#xff09; 1. 项目涉及知识点罗列2. 项目目录结构介绍3. 最终的效果图4. 部分源码展示 1. 项目涉及知识点罗列 掌握HUAWEI DevEco Studio开发工具掌握创建HarmonyOS应用工程掌握ArkUI自定义组件掌握Entry、Component、Builde…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023