文章目录
- 前置知识
- 一、Deployment脚本部署Tomcat集群
- 二、外部访问Tomcat集群
- 三、利用Rinted对外提供Service负载均衡支持
- 1、创建服务
- 2、端口转发工具Rinetd
- 3、定义jsp文件查看转发到哪个节点
- 四、部署配置挂载点
- 五、基于NFS实现集群文件共享
- 1、master
- 2、node
- 3、验证
- 六、集群配置调整与资源限定
- 1、增加资源限定
- 2、调整节点
- 总结
- 1、ERROR: cannot verify www.boutell.co.uk's certificate, issued by ‘/C=US/O=Let's Encrypt/CN=R3’:Issued certificate has expired.To connect to www.boutell.co.uk insecurely, use `--no-check-certificate'.
- 2、k8s的master无法ping通ClusterIP
前置知识
Deployment脚本是一种用于自动化应用程序部署过程的脚本。它包含一系列命令和配置,用于将应用程序从开发环境部署到生产环境或其他目标环境。
部署相对于Kubernetes向Node节点发送指令,创建容器的过程,Kubernetes支持yml格式的部署脚本
与部署相关常用命令:
- 创建部署:
kubectl create -f 部署yml文件
- 更新部署配置:
kubectl apply -f 部署yml文件
- 查看已部署pod:
kubectl get pod [-o wide]
,-o wide表示详细信息 - 查看Pod详细信息:
kubectl describe pod pod名称
- 查看pod输出日志:
kubectl logs [-f] pod名称
,-f表示是否实时更新 - 删除部署服务:
kubectl delete service <service-name>
一、Deployment脚本部署Tomcat集群
master执行即可
设置部署文件,vi tomcat-deploy.yml
,内容如下:
apiVersion: extensions/v1beta1
kind: Deployment
metadata: name: tomcat-deploy
spec:replicas: 2 template: metadata:labels:app: tomcat-clusterspec:containers:- name: tomcat-clusterimage: tomcat:latestports:- containerPort: 8080
创建部署:kubectl create -f tomcat-deploy.yml
[root@master k8s]# kubectl create -f tomcat-deploy.yml
deployment.extensions/tomcat-deploy created
看看是否配置正确:kubectl get deployment
[root@master k8s]# kubectl get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
tomcat-deploy 2/2 2 2 6m34s
二、外部访问Tomcat集群
设置服务文件,vi tomcat-service.yml
,内容如下:
apiVersion: v1
kind: Service
metadata:name: tomcat-servicelabels:app: tomcat-service
spec:type: NodePortselector:app: tomcat-clusterports:- port: 8000targetPort: 8080nodePort: 32500
参数说明:spec.selector.app就是我们之前部署的集群标签名
创建部署:kubectl create -f tomcat-service.yml
[root@master k8s]# kubectl create -f tomcat-service.yml
service/tomcat-service created
看看是否配置正确:kubectl get service
[root@master forlan-test]# kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 173m
tomcat-service ClusterIP 10.110.88.125 <none> 8000/TCP 159m
访问验证:此时,我们就可以通过node节点的ip+暴露的nodePort进行访问,http://192.168.56.201:32500 或 http://192.168.56.202:32500,打开界面,第一次比较慢,会出现404表示成功
三、利用Rinted对外提供Service负载均衡支持
上面主要通过节点和暴露的端口访问,无法进行负载均衡,没有利用起集群这个利器,我们通过Rinted,我们直接访问master节点即可,还可以实现负载均衡,下面就来操作实现下
1、创建服务
删除之前部署的服务
[root@master k8s]# kubectl delete service tomcat-service
service "tomcat-service" deleted
编辑服务文件,vi tomcat-service.yml
,调整内容,主要注释掉type: NodePort
和nodePort: 32500
apiVersion: v1
kind: Service
metadata:name: tomcat-servicelabels:app: tomcat-service
spec:
# type: NodePortselector:app: tomcat-clusterports:- port: 8000targetPort: 8080
# nodePort: 32500
重新创建服务:kubectl create -f tomcat-service.yml
[root@master k8s]# kubectl create -f tomcat-service.yml
service/tomcat-service created
看看是否配置正确:kubectl get service
[root@master forlan-test]# kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 173m
tomcat-service ClusterIP 10.110.88.125 <none> 8000/TCP 159m
查看详细的服务信息:kubectl describe service tomcat-service
[root@master forlan-test]# kubectl describe service tomcat-service
Name: tomcat-service
Namespace: default
Labels: app=tomcat-service
Annotations: <none>
Selector: app=tomcat-cluster
Type: ClusterIP
IP: 10.110.88.125
Port: <unset> 8000/TCP
TargetPort: 8080/TCP
Endpoints: 10.244.1.10:8080,10.244.2.9:8080
Session Affinity: None
Events: <none>
验证一下,正常情况下,在master发生请求,应该返回404才对,但是这里很奇怪,在node节点发送请求,返回404,待解决
[root@node2 forlan-web]# curl 10.110.88.125:8000
<!doctype html><html lang="en"><head><title>HTTP Status 404 – Not Found</title><style type="text/css">body {font-family:Tahoma,Arial,sans-serif;} h1, h2, h3, b {color:white;background-color:#525D76;} h1 {font-size:22px;} h2 {font-size:16px;} h3 {font-size:14px;} p {font-size:12px;} a {color:black;} .line {height:1px;background-color:#525D76;border:none;}</style></head><body><h1>HTTP Status 404 – Not Found</h1><hr class="line" /><p><b>Type</b> Status Report</p><p><b>Description</b> The origin server did not find a current representation for the target resource or is not willing to disclose that one exists.</p><hr class="line" /><h3>Apache Tomcat/10.0.14</h3></body></html>[root@node2 forlan-web]#
2、端口转发工具Rinetd
上面只是实现在节点内访问,想在外部访问,往下操作
下载rinetd工具包,解压
[root@master k8s]# wget http://www.boutell.com/rinetd/http/rinetd.tar.gz --no-check-certificate
[root@master k8s]# tar -xzvf rinetd.tar.gz
进入rinetd目录,修改 rinetd.c 文件,将文件中的所有 65536 替换为 65535
cd rinetd
sed -i 's/65536/65535/g' rinetd.c
注:"s"表示替换操作,"65536"是要被替换的内容,"65535"是替换后的内容,"g"表示全局替换
创建rinetd要求的目录/usr/man,安装gcc编译器,编译并安装程序
mkdir -p /usr/man
yum install -y gcc
make && make install
进行端口映射
编辑配置文件:vi /etc/rinetd.conf
,0.0.0.0表示所有ip都转发
0.0.0.0 8000 10.110.88.125 8000
让配置生效
rinetd -c /etc/rinetd.conf
查看是否有监听8000端口:netstat -tulpn|grep 8000
[root@master rinetd]# netstat -tulpn|grep 8000
tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN 25126/rinetd
访问masterIp:8000验证,出现404表示成功
3、定义jsp文件查看转发到哪个节点
在node节点查看当前运行的容器
[root@node1 /]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e704f7fd1af2 tomcat "catalina.sh run" 54 minutes ago Up 54 minutes k8s_tomcat-cluster_tomcat-deploy-5fd4fc7ddb-d2cx8_default_b62cd02c-8a8d-11ee-bab1-5254004d77d3_0
进入容器内部:docker exec -it <container_id> /bin/bash
[root@node1 /]# docker exec -it e704f7fd1af2 /bin/bash
root@tomcat-deploy-5fd4fc7ddb-d2cx8:/usr/local/tomcat# ls
BUILDING.txt CONTRIBUTING.md LICENSE NOTICE README.md RELEASE-NOTES RUNNING.txt bin conf lib logs native-jni-lib temp webapps webapps.dist work
在webapps下新建我们的jsp文件,vi index.jsp,发现命令不支持,也安装不了相关的命令
root@tomcat-deploy-5fd4fc7ddb-d2cx8:/usr/local/tomcat/webapps# vi index.jsp
bash: vi: command not found
root@tomcat-deploy-5fd4fc7ddb-d2cx8:/usr/local/tomcat/webapps# yum install vi
bash: yum: command not found
上面的情况,目前有2种解决方案:
- 通过Dockerfile自定义构建镜像,安装相关的指令
- 通过挂载宿主机目录到容器
第1种方式可以参考:https://blog.csdn.net/qq_36433289/article/details/134731875
下面我们来介绍下第2种方式
四、部署配置挂载点
主要是把宿主机的/forlan-web目录挂载到容器内的/usr/local/tomcat/webapps目录,调整我们之前定义的部署文件:vi tomcat-deploy.yml
,调整内容如下:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:name: tomcat-deploy
spec:replicas: 2template:metadata:labels:app: tomcat-clusterspec:volumes:- name: web-apphostPath:path: /forlan-webcontainers:- name: tomcat-clusterimage: tomcat:latestports:- containerPort: 8080volumeMounts:- name: web-appmountPath: /usr/local/tomcat/webapps
更新集群配置:kubectl apply -f tomcat-deploy.yml
[root@master k8s]# kubectl apply -f tomcat-deploy.yml
deployment.extensions/tomcat-deploy configured
测试在宿主机/forlan-web/forlan-test下新增index.jsp文件,进入容器查看有同步即可,至此,就说明挂载成功了
[root@node1 mnt]# vi /forlan-web/forlan-test/index.jsp
<%=request.getLocalAddr()%>
[root@node1 mnt]# docker ps|grep tomcat-cluster
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b064bbacaf00 tomcat "catalina.sh run" 2 minutes ago Up 2 minutes k8s_tomcat-cluster_tomcat-deploy-6678dccdc9-gjd9r_default_b5c19b2c-8aa4-11ee-bab1-5254004d77d3_0
[root@node1 mnt]# docker exec -it b064bbacaf00 /bin/bash
root@tomcat-deploy-6678dccdc9-gjd9r:/usr/local/tomcat# cd webapps
root@tomcat-deploy-6678dccdc9-gjd9r:/usr/local/tomcat/webapps# cat forlan-test/index.jsp
<%=request.getLocalAddr()%>
验证一下,访问masterIp:8000验证,出现10.244.2.9 或 10.244.1.10,就说明请求到了node1 或 node2
五、基于NFS实现集群文件共享
前面的index.jsp,是单独维护在node节点的机器,如果多个node节点存在相同文件,可以怎么处理?那就可以使用NFS来实现集群文件共享了
Network File System - NFS
NFS,是由SUN公司研制的文件传输协议
NFS主要是采用远程过程调用RPC机制实现文件传输
NFS允许一台服务器在网络上共享文件和资源。/etc/exports 文件是 NFS 的主要配置文件,用于定义哪些目录或文件系统可以被哪些客户端共享
1、master
安装组件
yum install -y nfs-utils rpcbind
创建共享目录
cd /usr/local
mkdir forlan-data
编辑暴露文件:vi /etc/exports
/usr/local/forlan-data 192.168.56.200/24(rw,sync)
参数说明:
- /24表示子网掩码,它指示前24位是网络地址,剩下的8位是主机地址,这意味着这个IP地址范围内有256个可用的IP地址(因为2的8次方等于256)
- 192.168.56.200/24表示的确是从192.168.56.0到192.168.56.255的IP地址范围
(rw,sync)是访问模式 - rw 表示客户端可读写共享的目录。
- sync 表示数据在写入后会被同步刷新到磁盘上,以保证数据的持久性。
启动服务并设置开机自动启动
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
验证是否配置成功:exportfs
,看到配置说明成功
[root@master local]# exportfs
/usr/local/forlan-data192.168.56.200/24
后续暴露文件有变动,执行exportfs -ra
重新加载NFS服务
2、node
安装组件
yum install -y nfs-utils rpcbind
验证是否暴露了:showmount -e 192.168.56.200
[root@node1 /]# showmount -e 192.168.56.200
Export list for 192.168.56.200:
/usr/local/forlan-data 192.168.56.200/24
进行挂载:
mount 192.168.56.200:/usr/local/forlan-data /forlan-web
3、验证
master的共享目录增加文件index.jsp,node目录看得到,说明成功,如下:
[root@master forlan-data]# ll
total 0
[root@master forlan-data]# vi /usr/local/forlan-data/index.jsp
[root@master forlan-data]# ls
index.jsp[root@node1 forlan-web]# ls
index.jsp[root@node2 forlan-web]# ls
index.jsp
六、集群配置调整与资源限定
原来部署了2个,现在需要部署3个Tomcat?你起码得满足什么配置才能操作?
1、增加资源限定
- 最低要求requests
- 最大限制limits
- cpu不一定是整数,0.5也可以,指的是核数
2、调整节点
编辑部署文件:vi /k8s/tomcat-deploy.yml,更改replicas: 3
apiVersion: extensions/v1beta1
kind: Deployment
metadata: name: tomcat-deploy
spec:replicas: 3 template: metadata:labels:app: tomcat-clusterspec:volumes: - name: web-apphostPath:path: /mntcontainers:- name: tomcat-clusterimage: tomcat:latestresources:requests:cpu: 1memory: 500Milimits:cpu: 2memory: 1024Miports:- containerPort: 8080volumeMounts:- name: web-appmountPath: /usr/local/tomcat/webapps
更新集群配置:kubectl apply -f tomcat-deploy.yml
[root@master k8s]# kubectl apply -f tomcat-deploy.yml
deployment.extensions/tomcat-deploy configured
查看部署:kubectl get deployment,可以看到从2变为3台了
[root@master k8s]# kubectl get deployment
NAME READY UP-TO-DATE AVAILABLE AGE
tomcat-deploy 3/3 3 3 100m
注:k8s默认是在负载低的节点新增pod
总结
1、ERROR: cannot verify www.boutell.co.uk’s certificate, issued by ‘/C=US/O=Let’s Encrypt/CN=R3’:Issued certificate has expired.To connect to www.boutell.co.uk insecurely, use `–no-check-certificate’.
解决:指令后面加上wget http://www.boutell.com/rinetd/http/rinetd.tar.gz --no-check-certificate
2、k8s的master无法ping通ClusterIP
问题明细:
W1124 14:24:05.207176 1 proxier.go:493] Failed to load kernel module ip_vs with modprobe. You can ignore this message when kube-proxy is running inside container without mounting /lib/modules
W1124 14:24:05.208150 1 proxier.go:493] Failed to load kernel module ip_vs_rr with modprobe. You can ignore this message when kube-proxy is running inside container without mounting /lib/modules
W1124 14:24:05.208974 1 proxier.go:493] Failed to load kernel module ip_vs_wrr with modprobe. You can ignore this message when kube-proxy is running inside container without mounting /lib/modules
W1124 14:24:05.209778 1 proxier.go:493] Failed to load kernel module ip_vs_sh with modprobe. You can ignore this message when kube-proxy is running inside container without mounting /lib/modules
W1124 14:24:05.214337 1 server_others.go:267] Flag proxy-mode=“” unknown, assuming iptables proxy
解决:
- 添加IPV4模块
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
- 修改kupe-proxy的模式
mode:"ipvs"
- 重启kupe-proxy
kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'