Nginx+Tomcat负载均衡、动静分离群集方案

一、Tomcat简介

在现代 Web 服务架构中，Tomcat 和 Nginx 是两个至关重要的组件，负责处理用户请求并实现高性能的服务。本篇博客将深入探讨这些技术的原理和部署配置方法。

  • 最初是由Sun的软件构架师詹姆斯·邓肯·戴维森开发。
  • 安装Tomcat后，安装路径下面的目录和文件，是使用或者配置Tomcat的重要文件。

二、Nginx负载均衡原理

Nginx应用

  • 1、Nginx是一款非常优秀的HTTP服务器软件
    • 支持高达50 000个并发连接数的响应
    • 拥有强大的静态资源处理能力
    • 运行稳定
    • 内存、CPU等系统资源消耗非常低
  • 2、目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，提升整个站点的负载并发能力

Nginx实现负载均衡的原理主要通过以下几个关键步骤

负载均衡原理

反向代理原理

具体过程

  1. 接收请求：Nginx作为反向代理服务器，接收客户端的请求。
  2. 选择后端服务器：根据预先配置的负载均衡算法，Nginx选择一个后端服务器来处理请求。
  3. 转发请求：Nginx将接收到的请求转发给选定的后端服务器。
  4. 返回响应：后端服务器处理请求并生成响应，将响应发送回Nginx。
  5. 返回客户端：Nginx将接收到的响应返回给客户端。

当使用Nginx服务器作为前端时，可以配置Nginx来进行静态页面的处理，而将动态页面请求转发给后端的Tomcat服务器来处理。由于Tomcat是轻量级应用服务器，可能无法满足所有访问量，因此需要多台Tomcat服务器，并通过Nginx的配置权重来进行负载均衡，以确保请求能够被分发到不同的Tomcat服务器上。

Nginx配置反向代理的主要参数

  • upstream 服务池名{}
    • 配置后端服务器池，以提供响应数据
  • proxy pass http://服务池名
    • 配置将访问请求转发给后端服务器池的服务器处理

三、Nginx 负载均衡模式

  • 轮询（默认）：

每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测。

  • 加权轮询：

根据服务器的权重分配请求，权重越高的服务器获得更多的请求。优先将客户端请求调度到当前连接最少的服务器。

  • ip_hash ：

每个请求按访问ip的hash哈希值结果分配，将同一客户端的请求总是发往同一个后端服务器，除非该服务器不可用，可以解决session的问题。但是ip_hash如下问题：当后端服务器宕机后，session会丢失；来自同一局域网的客户端会被转发到同一个后端服务器，可能导致负载不均。

  • ●air（第三方）：

按后端服务器的响应时间来分配请求，响应时间短的优先分配。需要安装upstream_fair模块才能实现。

  • url_hash（第三方）：

基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好，可以提高后端缓存服务器的效率。


session 共享问题还可以使用sticky_cookie_insert启用会话亲缘关系，基于cookie来判断，使来自同一客户端的请求被传递到一组服务器在同一台服务器。也可用后端服务的 session 共享代替 nginx 的 ip_hash（使用后端服务器自身通过相关机制保持session同步）。

upstream backend {server backend1.example.com;server backend2.example.com;sticky_cookie_insert srv_id expires=1h domain=www.xy101.com path=/;
}

#说明：需要引入第三方sticky模块才能实现；expires：设置浏览器中保持cookie的时间；domain：定义cookie的域；path：为cookie定义路径

Nginx 四层代理配置：
./configure --with-stream和http同等级：所以一般配置位置只在http上面一段设置，

stream {upstream appserver {server 192.168.80.100:8080 weight=1;server 192.168.80.101:8080 weight=1;server 192.168.80.101:8081 weight=1;}server {listen 8080;proxy_pass appserver;}
}http {
......

四、Nginx动静分离原理

动静分离原理
服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由Nginx提供服务，动态资源Nginx转发至后端

Nginx静态处理优势

  • Nginx处理静态页面的效率远高于Tomcat的处理能力
  • 若Tomcat的请求量为1000次，则Nginx的请求量为6000次
  • Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M
  • Nginx处理静态资源的能力是Tomcat处理的6倍

Nginx 服务器：192.168.80.10:80
Tomcat服务器1：192.168.80.100:80
Tomcat服务器2：192.168.80.101:8080  192.168.80.101:8081

4.1 部署Nginx 负载均衡器

systemctl stop firewalld
setenforce 0#安装所需开发包和编译环境、编译器
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make#创建程序用户，便于准确控制访问
useradd -M -s /sbin/nologin nginx#解压nginx文件
cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/cd nginx-1.12.0/
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \                                    #启用文件修改支持
--with-http_stub_status_module \                    #启用状态统计
--with-http_gzip_static_module \                    #启用 gzip静态压缩
--with-http_flv_module \                            #启用 flv模块，提供对 flv 视频的伪流支持
--with-http_ssl_module                                #启用 SSL模块，提供SSL加密功能
--with-stream                                        #启用 stream模块，提供4层调度
----------------------------------------------------------------------------------------------------------
./configure \
--prefix=/usr/local/nginx \                           # 指定安装目录为 /usr/local/nginx
--user=nginx \                                         # 指定运行 nginx 的用户为 nginx
--group=nginx \                                        # 指定运行 nginx 的用户组为 nginx
--with-file-aio \                                      # 启用文件异步IO支持
--with-http_stub_status_module \                       # 启用 HTTP Stub 状态模块，用于获取 nginx 的运行状态
--with-http_gzip_static_module \                       # 启用 HTTP gzip 静态压缩模块，用于对静态文件进行 gzip 压缩
--with-http_flv_module \                               # 启用 HTTP FLV 模块，提供对 FLV 视频的伪流支持
--with-http_ssl_module \                               # 启用 HTTP SSL 模块，提供 SSL 加密功能
--with-stream                                           # 启用 Stream 模块，提供 4 层调度功
#编译及安装
make && make install#软链接便于系统识别nginx操作命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

#添加nginx系统服务以便系统管理启动、停止、重启
vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target#赋权及开启服务、开启开机自启
chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service

4.2 nginx一键部署脚本

#!/bin/bash
#======编译安装nginx服务======
#安装所需开发包和编译环境、编译器
yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make
#创建程序用户，便于准确控制访问
useradd -M -s /sbin/nologin nginx#解压安装包
cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/#指定安装路径、指定用户名、组名、启用模块以支持统计状态
cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-file-aio --with-http_gzip_static_module --with-http_flv_module --with-http_ssl_module --with-stream#编译及安装
make && make install#软链接便于系统识别nginx操作命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/#添加nginx系统服务
echo '[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target' > /lib/systemd/system/nginx.service#赋权及开启服务、开启开机自启
chmod 754 /lib/systemd/system/nginx.service
systemctl daemon-reload
systemctl start nginx
systemctl enable nginx

五、部署Tomcat

1.部署2台Tomcat 应用服务器（两台相同操作）

systemctl stop firewalld
setenforce 0#解压安装JDK
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/#设置JDK环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH#刷新配置文件，使配置生效
source /etc/profile#解压tomcat
tar zxvf apache-tomcat-8.5.16.tar.gz#将文件移动至/usr/local/下并重命名
mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcat#tomcat启动关闭脚本位置
/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh#重新加载服务，并开启，查看是否成功启动
/usr/local/tomcat/bin/startup.sh 
lsof -i:8080
netstat -ntap | grep 8080

六、配置Nginx动静分离

6.1.动静分离配置

（1）Tomcat1 server 配置
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test1 page</title>   #指定为 test1 页面
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>（2）Tomcat1 server 配置
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test2 page</title>   #指定为 test2 页面
</head>
<body>
<% out.println("动态页面 2,http://www.test2.com");%>
</body>
</html>
vim /usr/local/tomcat/conf/server.xml
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false"><Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true" />
</Host>

这段配置是用来定义 Tomcat 服务器的主机（Host）配置。在这里，<Host> 元素定义了 Tomcat 主机的一些属性，其中包括：

  • name="localhost": 定义了主机的名称为 "localhost"。
  • appBase="webapps": 指定了存放 Web 应用程序的基本目录为 "webapps"，这是 Tomcat 默认的应用程序部署目录。
  • unpackWARs="true": 表示当部署 WAR 文件时，自动将其解压缩。
  • autoDeploy="true": 表示自动部署 WAR 文件，如果设置为 true，则 Tomcat 会监视 appBase 目录中的新应用程序并自动部署它们。
  • xmlValidation="false" 和 xmlNamespaceAware="false": 关闭对 web.xml 文件的 XML 验证，以及关闭对 XML 命名空间的感知。

在 <Host> 元素内部，<Context> 元素用于定义单个 Web 应用程序的上下文配置。在这里，它指定了一个名为 "test" 的Web应用程序的部署路径为根路径（""），并且启用了自动重载（reloadable="true"）。

#重启两台服务
/usr/local/tomcat/bin/shutdown.sh
/usr/local/tomcat/bin/startup.sh

6.2Nginx server 配置

#准备静态页面和静态图片
echo '<html><body><h1>这是默认目录静态页面</h1></body></html>' > /usr/local/nginx/html/index.html
mkdir /usr/local/nginx/html/kiki#编辑nginx配置文件
​vim /usr/local/nginx/conf/nginx.conf......
http {
......
#gzip on;
#后端负载服务器的地址
upstream tomcat_server {server 192.168.1.20:8080 weight=1;server 192.168.1.30:8080 weight=1;
}server {listen 80;server_name www.tong.com;charset utf-8;#access_log logs/host.access.log main;#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理location ~ .*.jsp$ {proxy_pass http://tomcat_server;  proxy_set_header HOST $host;    proxy_set_header X-Real-IP $remote_addr;            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  }#配置Nginx处理静态图片请求location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {root /usr/local/nginx/html/kiki;expires 10d;}location / {root html;index index.html index.htm;}
......

七、总结

Nginx与Tomcat的结合可以实现负载均衡和动静分离，同时构建一个高性能的群集系统。

  1. 负载均衡：Nginx作为反向代理服务器，可以将请求分发到多个Tomcat服务器上，以实现负载均衡。通过配置Nginx的upstream模块，可以指定多个Tomcat服务器作为后端服务器，Nginx会根据一定的策略（如轮询、权重等）将请求分发给这些Tomcat服务器，从而提高整个系统的吞吐量和可用性。

  2. 动静分离：Nginx可以将动态请求（如JSP、Servlet等）和静态请求（如HTML、CSS、JavaScript等）分开处理。静态资源由Nginx直接响应，避免了Tomcat的负担，提高了静态资源的访问速度；动态请求则转发至Tomcat服务器进行处理，保证了动态内容的正确性。

  3. 群集系统：通过将多个Tomcat服务器与Nginx结合，可以构建一个高性能的群集系统。Nginx负责接收和分发请求，而Tomcat服务器则负责处理业务逻辑。当集群中的某个Tomcat发生故障时，Nginx可以自动将请求转发到其他正常运行的Tomcat服务器上，保证了系统的稳定性和可靠性。

总之，Nginx与Tomcat结合可以实现负载均衡、动静分离和构建高性能的群集系统，为Web应用程序提供了强大的性能和可用性支持。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/27205.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

立项 |上海城投《污染土壤修复工厂设计指南》

立项 |上海城投《污染土壤修复工厂设计指南》

由上海城投上境生态修复科技有限公司提出申请 主要起草单位有上海城投上境生态修复科技有限公司、上海大学、中华环保联合会水环境治理专业委员会、中华环保联合会固危废及土壤污染治理专业委员会等单位 本指南规定了污染土壤修复工厂设计的技术要求。 本指南适用于国内污染土…
阅读更多...
基于Matlab的纸币币值检测系统设计(GUI界面) 【含Matlab源码 MX_004期】

基于Matlab的纸币币值检测系统设计(GUI界面) 【含Matlab源码 MX_004期】

简介&#xff1a; 基于Matlab的纸币币值检测系统是一种利用数字图像处理技术来自动识别和鉴别纸币面额的系统。 图像获取&#xff1a;获取纸币的图像。 预处理&#xff1a;对获取到的图像进行预处理&#xff0c;包括去噪、灰度化、边缘检测等操作&#xff0c;以便后续的处理。…
阅读更多...
哈尔滨等保测评驱动下的智慧城市建设思考

哈尔滨等保测评驱动下的智慧城市建设思考

面对滚滚而来的大数据时代&#xff0c;信息安全等级保护测评&#xff08;简称等保测评&#xff09;对城市发展的推动作用不容忽视。作为黑龙江省的省会&#xff0c;哈尔滨在智慧城市建设上的积极探索和实践&#xff0c;必须以完善的等保测评体系为前提&#xff0c;确保信息的安…
阅读更多...
算法day30

算法day30

第一题 433. 最小基因变化 题型转化&#xff1a;可以转化为边权为一的最短路问题 将最开始的字符串定义为起点&#xff0c;我们将初识字符串每一个元素改变一次定义为移动一个位置&#xff0c;最后的字符串定义为中点&#xff0c;就这样每一次改变一个元素&#xff0c;最后成功…
阅读更多...
aac如何转化mp3？超好用的四种音频转换方法！

aac如何转化mp3？超好用的四种音频转换方法！

aac如何转化mp3&#xff1f;AAC格式可能鲜为人知&#xff0c;但实际上它是一种音频文件格式&#xff0c;然而&#xff0c;AAC的应用却不太广泛&#xff0c;这并非偶然&#xff0c;首先&#xff0c;使用AAC需要支付专利费用&#xff0c;这对于个人和公司都可能是一笔不小的开支&…
阅读更多...
2024【大模型】国内市场如何？程序员该何时入局？

2024【大模型】国内市场如何？程序员该何时入局？

1.市场形势 根据最新的市场研究报告&#xff0c;2023年中国的大模型市场呈现出显著的发展趋势和广阔的前景。以下是关于中国大模型市场的几个关键点&#xff1a; 市场规模和增长&#xff1a;2023年&#xff0c;中国AI大模型行业的市场规模达到了147亿元人民币&#xff0c;预计…
阅读更多...
【星海随笔】云解决方案学习日志篇(三) 工作原理篇

【星海随笔】云解决方案学习日志篇(三) 工作原理篇

Filebeat工作原理 Filebeat 是使用 Golang 实现的轻量型日志采集器,也是 Elasticsearch stack 里面的一员。本质上是一个 agent ,可以安装在各个节点上,根据配置读取对应位置的日志,并上报到相应的地方去。 使用了背压敏感协议，因此不会使管道过载。当Logstash数据处理繁忙时，…
阅读更多...
HCIA 10 网络安全之结合ACL访问控制列表登录Telnet及FTP

HCIA 10 网络安全之结合ACL访问控制列表登录Telnet及FTP

ACL 本质上是一种报文过滤器&#xff0c;规则是过滤器的滤芯。设备基于这些规则进行报文匹配&#xff0c;可以过滤出特定的报文&#xff0c;并根据应用 ACL 的业务模块的处理策略来允许或阻止该报文通过。 1.实验介绍及拓扑 R3 为telnet服务器&#xff0c;R1 为客户端&#…
阅读更多...
BFT机器人采购，是制造业最适合的选择！

BFT机器人采购，是制造业最适合的选择！

随着制造业的转型升级&#xff0c;越来越多的企业开始认识到引入机器人技术的重要性。那么面临选择在哪里购&#xff0c;哪里可以安心购&#xff0c;就成为了大家所关注的热点。 BFT为您提供一站式的机器人采购服务&#xff0c;凭借独特的优势和全面且专业的服务&#xff0c;正…
阅读更多...
Java多线程-StampedLock(原子读写锁)

Java多线程-StampedLock(原子读写锁)

StampedLock 是读写锁的实现&#xff0c;对比 ReentrantReadWriteLock 主要不同是该锁不允许重入&#xff0c;多了乐观读的功能&#xff0c;使用上会更加复杂一些&#xff0c;但是具有更好的性能表现。StampedLock 的状态由版本和读写锁持有计数组成。 获取锁方法返回一个邮戳&…
阅读更多...
LogicFlow 学习笔记——4. LogicFlow 基础 边 Edge

LogicFlow 学习笔记——4. LogicFlow 基础 边 Edge

边 Edge 和节点一样&#xff0c;LogicFlow 也内置一些基础的边。LogicFlow 的内置边包括&#xff1a; 直线 - line直角折现 - polyline贝塞尔曲线 - bezier 新建 src/views/Example/LogicFlow/Example08.vue 并编写如下代码&#xff1a; <script setup lang"ts&quo…
阅读更多...
图解系列 图解Kafka之Consumer

图解系列 图解Kafka之Consumer

文章目录 术语消息主题和分区集群和分区副本消费者组重新平衡组/分区再均衡消费者的分区策略群组协调者Coordinator 和群组领导者 Group Leader 流程初始化流程消费流程Consumer重平衡 消费者核心配置示例代码高级提交偏移量的几种方式自动提交手动同步提交手动异步提交提交特定…
阅读更多...
深入解析 Java 标准库：构建高效应用的基石

深入解析 Java 标准库：构建高效应用的基石

Java 标准库&#xff0c;也称为 Java API&#xff0c;是一组预先编写的类和接口&#xff0c;为 Java 应用程序提供了一系列丰富的功能。这些库被组织成包&#xff08;packages&#xff09;&#xff0c;每个包都包含了一组相关的类和接口&#xff0c;用于处理特定的任务&#xf…
阅读更多...
Python使用策略模式实现绘图功能

Python使用策略模式实现绘图功能

策略模式&#xff08;Strategy Pattern&#xff09;:允许定义一系列算法&#xff0c;将它们封装起来&#xff0c;使得它们可以互换。 实现绘制不同类型的图表&#xff08;如折线图、柱状图和饼图&#xff09;功能。 下面是一个示例&#xff0c;展示如何传入横坐标和纵坐标内容…
阅读更多...
人工智能技术应用笔记（十二）：搭建自带大模型微信，完美对接GPT-4o，Kimi等大模型，智能体平台Coze也能接

人工智能技术应用笔记（十二）：搭建自带大模型微信，完美对接GPT-4o，Kimi等大模型，智能体平台Coze也能接

许多朋友对如何搭建自己的微信机器人非常感兴趣。今天就来教大家如何操作。 一、 准备工作 一台电脑或者云服务器&#xff0c;对配置要求不高&#xff0c;一般的电脑就行 大模型API调用的Key&#xff0c;比如GPT-4o&#xff0c;Kimi&#xff0c;Deepseek&#xff08;不知道怎…
阅读更多...
使用Omnipeek进行Wifi/P2P抓包

使用Omnipeek进行Wifi/P2P抓包

前言 工作中解决Mirracast投屏连接失败的问题时&#xff0c;遇到了需要抓取wifi数据包的情况&#xff0c;记录一下配置和使用过程。 一、Omnipeek 的安装和配置 1.1 Omnipeek 安装 双击 setup.exe 进行安装 1.2 注册 注册时&#xff0c;版本写 71 &#xff0c;产生序列号和…
阅读更多...
代码随想录算法训练营第36期 last day

代码随想录算法训练营第36期 last day

最后一次更新&#xff0c;之后去复习专业课和简历 583两个字符串的删除操作 自己做出来了&#xff1a; Code: class Solution {public://找到公共子序列的最大长度dp 最小步数串1.size-dp串2.size-dp int minDistance(string word1, string word2) { vector<v…
阅读更多...
node 中间件使用例子

node 中间件使用例子

NodeJS在中间件领域有着较为广泛的应用&#xff0c;他能做一些中间层事件&#xff0c;把服务端一部分的代码抽出来&#xff0c;减少处理冗余事情付出的代价&#xff0c;同时让服务真正做业务处理而不用关心页面的事情 常见的应用场景有&#xff1a; 跨域&#xff1a;解决跨域问…
阅读更多...
二叉树左右树交换

二叉树左右树交换

leetcode 226题 翻转二叉树 题目描述 给你一棵二叉树的根节点 root &#xff0c;翻转这棵二叉树&#xff0c;并返回其根节点。 示例 1&#xff1a; 输入&#xff1a;root [4,2,7,1,3,6,9] 输出&#xff1a;[4,7,2,9,6,3,1]示例 2&#xff1a; 输入&#xff1a;root [2,1,3]…
阅读更多...
背就有效！2024下《系统架构设计师》50个高频考点汇总

背就有效！2024下《系统架构设计师》50个高频考点汇总

宝子们&#xff01;上半年软考已经结束一段时间了&#xff0c;准备备考下半年软考高级-系统架构设计师的小伙伴可以开始准备了&#xff0c;毕竟高级科目的难度可是不低的&#xff0c;相信参加过上半年架构的小伙伴深有体会。 这里给大家整理了50个高频考点&#xff0c;涵盖全书…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023