【K8S 云原生】K8S的对外服务

一、K8S的Service

1、Service的作用

2、Service类型：

二、ingress

1、ingress的组成：

2、ingress资源的定义项：

三、nginx-ingress-controller暴露服务端的方式

1、Deployment+LoadBalancer模式：

1、工作流程图：

2、Daemonset+hostnetwork+nodeSelector模式：

1、工作流程图

2、实验：

3、deployment+NodePort

1、实验：

4、通过虚拟主机的方式实现http代理

5、ingress实现https代理访问：

5.1、nginx的登录账户认证：

5.2、nginx的重写：

6、总结：

四、traefik-ingress暴露服务端的方式：

1、概念

2、工作流程图

3、traefik-ingress暴露服务端的方式

3.1、Daemonset模式：

3.2、deployment模式：

4、traefik-ingress和nginx-ingress的区别：

5、实验：

1、deployment模式：

2、Daemonset模式：

五、总结：

一、K8S的Service

1、Service的作用

Service的作用体现在两个方面：

1、集群内部：不断跟踪pod的变化，更新endpoints中的pod对象，基于pod的IP地址不断变化的一种服务发现机制

2、集群外部：类似负载均衡器，可以把流量IP+端口，不涉及转发url（http、https），把请求转发到pod中

2、Service类型：

NodePort：容器端口—Service端口—NodePort映射。设定了NodePort之后每个节点都会有一个端口被打开30000-32767

LoadBalancer：云平台上的Service服务。由云平台提供负载均衡的IP地址

ExternalName：域名映射

ingress：基于域名进行映射，转发的是url请求（http、https）转发到Service，再由Service转发到每一个pod

ingress只需要一个或者是少量的公网IP或者LB，可以把多个http请求暴露到外网

他是七层反向代理

可以将ingress理解为，Service的Service。是一组基于域名和url路径把请求转发到一个或者多个请求转发到Service的规则

ingress先七层转发转发都Service，Service再四层转发转发到pod

二、ingress

1、ingress的组成：

ingress是一个api对象，通过yaml文件来进行配置。ingress作用就是定义请求如何转发到Service的规则

ingress通过http和https暴露集群内部的Service，给Service提供一个外部的url、负载均衡、ssl/tls（https）的能力，实现一个基于域名的负载均衡

ingress-controller：由这个组件来具体的实现反向代理和负载均衡的程序，以及对ingress定义的规则进行解析，根据ingress的配置的规则进行请求的转发。

但是这个ingress-controller不是K8S自带的组件功能，ingress-controller是一个统称（一系列工具）

比如nginx ingress-controller、traefik都是ingress-controller，开源的软件

ingress-controller是pod的方式运行在节点上

2、ingress资源的定义项：

定义外部流量的路由规则
定义的服务暴露的方式、主机名、访问的路径和其他的一些选项
负载均衡（ingress-controller实现）

三、nginx-ingress-controller暴露服务端的方式

1、Deployment+LoadBalancer模式：

ingress部署在公有云。ingress配置文件中会有type。type：LoadBalancer。公有云平台会为这个LoadBalancer的Service自动创建一个负载均衡器。绑定公网地址

通过域名指向公网地址，实现集群对外暴露

1、工作流程图：

2、Daemonset+hostnetwork+nodeSelector模式：

Daemonset：在每个节点都会创建一个pod

hostnetwork：共享节点主机的网络命名空间。容器内直接使用节点主机的IP+端口。pod上的容器可以直接访问主机上的网络资源

nodeSelector：根据标签选择部署的节点。选择nginx-ingress-controller部署的节点

缺点：直接利用节点主机的网络和端口资源，一个node只能部署一个ingress-controller的pod

适用场景：大并发场景的生产环境。性能是最好的

1、工作流程图

Service和endpoints来发现节点

最终转发是由ingress-controller来转发请求（http）和负载均衡

用DaemonSet结合nodeselector来部署ingress-controller到特定的node上，然后使用HostNetwork直接把该pod与宿主机node的网络打通，直接使用宿主机的80/433端口就能访问服务。这时，ingress-controller所在的node机器就很类似传统架构的边缘节点，比如机房入口的nginx服务器。该方式整个请求链路最简单，性能相对NodePort模式更好。

缺点是由于直接利用宿主机节点的网络和端口，一个node只能部署一个ingress-controller pod。比较适合大并发的生产环境使用。

2、实验：

#mandatory.yaml文件中包含了很多资源的创建，包括namespace、ConfigMap、role，ServiceAccount等等所有部署ingress-controller需要的资源。官方下载地址：
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.25.0/deploy/static/mandatory.yaml上面可能无法下载，可用国内的 gitee
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.25.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml

DaemonSet+HostNetwork具体的部署过程

下载安装ingress-controller pod及相关资源

每个节点上，上传ingress-contro控制器

解压安装
tar -xf ingree.contro-0.30.0.tar.gz
docker load -i ingree.contro-0.30.0.tar#节点打标签，用于选择节点部署ingress-controller
kubectl label nodes node02 ingress=true

192-215行修改配置文件

启动 nginx-ingress-controller，并检查该pod的运行状况

kubectl apply -f mandatory.yaml#nginx-ingress-controller 已经运行 node02 节点
kubectl get pod -n ingress-nginx -o widekubectl get cm,daemonset -n ingress-nginx -o wide#到 node02 节点查看
netstat -lntp | grep nginx

由于配置了 hostnetwork，nginx 已经在 node 主机本地监听 80/443/8181 端口。其中 8181 是 nginx-controller 默认配置的一个 default backend（Ingress 资源没有匹配的 rule 对象时，流量就会被导向这个 default backend）。

这样，只要访问 node 主机有公网 IP，就可以直接映射域名来对外网暴露服务了。如果要 nginx 高可用的话，可以在多个 node

上部署，并在前面再搭建一套 LVS+keepalived 做负载均衡。

创建 ingress 规则

创建一个业务pod和svc资源和ingress规则：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: nfs-pvc
spec:accessModes:- ReadWriteManystorageClassName: nfs-client-storageclassresources:requests:storage: 2Gi---
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-applabels:app: nginx1
spec:replicas: 3selector:matchLabels:app: nginx1template:metadata:labels:app: nginx1spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nfs-pvcmountPath: /usr/share/nginx/htmlvolumes:- name: nfs-pvcpersistentVolumeClaim:claimName: nfs-pvc---
apiVersion: v1
kind: Service
metadata:name: nginx-app-svc
spec:ports:- protocol: TCPport: 80targetPort: 80selector:app: nginx1---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress
spec:rules:- host: www.test1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-app-svcport:number: 80

#选择一台客户机，直接添加node02的节点的IP与pod的域名进行映射
vim /etc/hosts
20.0.0.63 www.test1.com访问curl www.test1.com

3、deployment+NodePort

同样用deployment模式部署ingress-controller，并创建对应的service，但是type为NodePort。这样，ingress就会暴露在集群节点ip的特定端口上。由于nodeport暴露的端口是随机端口，一般会在前面再搭建一套负载均衡器来转发请求。该方式一般用于宿主机是相对固定的环境ip地址不变的场景

NodePort方式暴露ingress虽然简单方便，但是NodePort多了一层NAT，在请求量级很大时可能对性能会有一定影响

1、实验：

如果做了上一个操作，就将所有的yaml文件通过delete进行清除。继续下面的操作

下载相关的ingress和service-nodeport模板
mkdir /opt/ingress/test
cd /opt/ingress/test
#官方下载地址：
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml#国内 gitee 资源地址：
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/mandatory.yaml
wget https://gitee.com/mirrors/ingress-nginx/raw/nginx-0.30.0/deploy/static/provider/baremetal/service-nodeport.yaml#在所有 node 节点上传镜像包 ingress-controller-0.30.0.tar 到 /opt/ingress-nodeport 目录，并加载镜像
docker load -i ingress-controller-0.30.0.tar

直接启动官方模板即可使用

#若是新的mandatory.yaml文件，直接启动即可，若是用上个实验的，要还原到最初始
kubectl apply -f mandatory.yaml

还原脚本如下：

在所有节点上部署ingress-controller

#启用Service-nodeport
kubectl apply -f service-nodeport.yaml

#//如果K8S Pod 调度失败，在 kubectl describe pod资源时显示：
Warning  FailedScheduling  18s (x2 over 18s)  default-scheduler  0/2 nodes are available: 2 node(s) didn't match node selector解决方案：
1. 给需要调度的node加上对应标签
# 相对上面这个Yaml文件的例子
kubectl label nodes node_name kubernetes.io/os=linux
2. 删除Yaml文件中的nodeSelector，如果对节点没有要求的话，直接删除节点选择器即可

进行Ingress Http代理访问的操作演示

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: nfs-pvc
spec:accessModes:- ReadWriteManystorageClassName: nfs-client-storageclassresources:requests:storage: 2Gi---
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-applabels:app: nginx1
spec:replicas: 3selector:matchLabels:app: nginx1template:metadata:labels:app: nginx1spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nfs-pvcmountPath: /usr/share/nginx/htmlvolumes:- name: nfs-pvcpersistentVolumeClaim:claimName: nfs-pvc---
apiVersion: v1
kind: Service
metadata:name: nginx-app-svc
spec:ports:- protocol: TCPport: 80targetPort: 80selector:app: nginx1---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress
spec:rules:- host: www.test1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-app-svcport:number: 80

访问IP+NodePort端口

工作流程：

每个节点都是从controller----接收到解析后的请求IP+端口----ingress-----Service----pod

总结：

nginx-ingress-controller

host—>ingresss的配置找到pod—>controller—>请求发到pod

nodeport--->controller--->ingress--->service--->pod

NodePort暴露端口的方式最简单的方法，NodePort多了一层nat（地址转换）

并发量大的对性能会有一定影响，内部都会用nodePort

4、通过虚拟主机的方式实现http代理

通过ingress的方式实现：一个ingress可以访问不同的主机

我们知道nginx和apache能够设置三种虚拟主机，分别为：基于IP，基于域名，基于端口。同样ingress-nginx这里也可以设置出这三种虚拟主机。下面将以最常用的基于域名的虚拟主机为例子，进行操作演示

先创建两个pod和Service

虚拟主机1：

apiVersion: apps/v1
kind: Deployment
metadata:name: deployment1labels:test: nginx1
spec:replicas: 1selector:matchLabels:test: nginx1template:metadata:labels:test: nginx1spec:containers:- name: nginx1image: nginx:1.22
---
apiVersion: v1
kind: Service
metadata:name: svc-1
spec:ports:- port: 80targetPort: 80protocol: TCPselector:test: nginx1

虚拟主机2将上面标签全部替换

再创建ingress资源

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress1
spec:rules:- host: www1.test.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-1port:number: 80---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress2
spec:rules:- host: www2.test.comhttp:paths:- path: /pathType: Prefixbackend:service:name: svc-2port:number: 80

映射域名：
vim /etc/hosts#这里任意填写一个node节点的IP即可
20.0.0.62 www.test.com www.abc.com

然后就可以基于域名+NodePort端口进行访问了

5、ingress实现https代理访问：

需要证书和秘钥

创建证书秘钥

secrets保存密钥信息，部署pod时把secrets挂载到pod

openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc"req：生成证书文件的
x509：生成x.509自签名的证书
-sha256：表示使用sha-256散列算法
-nodes：表示生成到的秘钥不加密
-day 365：证书有效期365天
-newkey rsa:2048：RSA的密钥对，长度2048为位
-keyout tls.key -out tls.crt：密钥文件key，证书文件crt
-subj "/CN=nginxsvc/O=nginxsvc"：主题，CN： common name O：

kubectl create secret tls tls-secret --key tls.key --cert tls.crt
kubectl describe secrets tls-secret

创建deployment、service、ingress

vim traefik-nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-httpslabels:app: httpsspec:replicas: 3selector:matchLabels:app: httpstemplate:metadata:labels:app: httpsspec:containers:- name: nginximage: nginx:1.22---apiVersion: v1
kind: Service
metadata:name: nginx-svc
spec:ports:- port: 80targetPort: 80selector:app: https---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-ingress-https
spec:tls:- hosts:- www.123ccc.comsecretName: tls-secretrules:- host: www.123ccc.comhttp:paths:- pathType: Prefixpath: "/"backend:service:name: nginx-svcport:number: 80

访问测试
域名:https端口
curl -k https://www.123ccc.com:32561

是基于service-nodeport.yaml完成的，首先要有ingress-nginx

5.1、nginx的登录账户认证：

下载http，用htpasswd生成密钥（这里秘钥的名字只能值auth）

创建秘钥

生成新的ingress：

htpasswd -c auth koeda
New password: 123456
Re-type new password: 123456kubectl create secret generic basic-auth --from-file=authvim ingress-auth.yamlapiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress-authannotations:
#开启认证模块的配置nginx.ingress.kubernetes.io/auth-type: basic
#设置认证类型为basic。是k8s自带的认证加密模块nginx.ingress.kubernetes.io/auth-secret: basic-auth
#把认证的加密模块导入到ingress当中nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required-zyg'
#设置认证窗口的提示信息。
spec:rules:- host: www.zyg.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-svcport:number: 80
#使用http创建basic-auth
#开启认证加密的文件
#创建ingress开启认证模式
#将auth配置文件导入ingress当中

做映射www.koeda.com

在虚拟机访问测试

5.2、nginx的重写：

vim ingress-rewrite.yaml（要进入加入https端口）

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-rewriteannotations:nginx.ingress.kubernetes.io/rewrite-target: https://www.123ccc.com:32561
spec:rules:- host: www.ddd.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-svcport:number: 80

自定义域名需要映射

通过www.ddd.com+http端口访问

容器内页面跳转

到此nginx-ingress-controller全部介绍完毕

6、总结：

ingress两个重要的组件：

nginx-ingress-controller

traefik-ingress-controller

都是开源的ingress-controller

三种工作方式：

1、deployment+LoadBalancer，需要云平台提供一个负载均衡的公网地址，公有云上做

2、Daemonset+hostnetwork+nodeSelector，指定节点部署controller，缺点就是和宿主机共享网络，只能是一个controller的pod

hostnetwork这个配置回合宿主机共享网络资源

3、deployment+NodePort，最常见，最常用，也是最简单的方式。他是集中一个NodePort端口，所有的ingress的请求都会转发到NodePort，然后由Service把流量转发到pod

一个ingress的NodePort可以实现访问多个虚拟主机（域名），和nginx是一样的

四、traefik-ingress暴露服务端的方式：

1、概念

traefik是一个为了让部署微服务更加快捷而诞生的一个http反向代理，负载均衡

traefik设计时就能实时的和K8S的api交互，可以感知后端service以及pod的变化，还可以自动更新配置和重载

pod内nginx容器，80 8081

traefik的部署方式：

Daemonset和deployment

缺点：资源占用，大型集群中，Daemonset可能会运行多个traefik的实例，尤其是在节点上不需要大量容器运行的情况下。他是没有办法扩所容器的

适用于部署对外集群：因为对外的业务会经常变更，使用Daemonset模式可以更好的、自动的发现服务配置变更

3.2、deployment模式：

用的还是NodePort网络模式

优点：集中控制，可以使用少量的实例来运行处理整个集群的流量，更容易升级和维护。

缺点：

deployment负载均衡不会均匀地分布到每个节点。

需要手动更新，他无法感知容器的配置变化

适用于部署对内集群：对内的业务相对稳定，更新和变化也比较少，适合deployment的方式

一般部署的时候会设置标签：

traffic-type:internal 声明对内服务

traffic-type:external 声明对外服务

4、traefik-ingress和nginx-ingress的区别：

没有大区别

工作原理都一样，都是七层代理，都可以动态的更新配置，都可以自动发现服务

nginx-ingress：

自动更新的重载模块相对较慢

traefik-ingress

自动更新的重载模块更快、更方便

traefik的并发能力只有nginx-ingress的6成 60%

工作中见得最多的就是nginx-ingress-controller

5、实验：

1、deployment模式：

wget  https://gitee.com/mirrors/traefik/raw/v1.7/examples/k8s/traefik-deployment.yaml
wget  https://gitee.com/mirrors/traefik/raw/v1.7/examples/k8s/traefik-rbac.yaml
wget  https://gitee.com/mirrors/traefik/raw/v1.7/examples/k8s/traefik-ds.yaml
wget  https://gitee.com/mirrors/traefik/raw/v1.7/examples/k8s/ui.yaml

#先启动rbac权限配置
kubectl apply -f traefik-rbac.yaml#再启动deployment或者Daemonset
kubectl apply -f traefik-deployment.yaml#最后启动ui工具
kubectl apply -f ui.yaml

vim traefik-ingress-nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-traefiklabels:nginx: traefik
spec:replicas: 3selector:matchLabels:nginx: traefiktemplate:metadata:labels:nginx: traefikspec:containers:- name: nginximage: nginx:1.22---apiVersion: v1
kind: Service
metadata:name: nginx-traefik-svc1
spec:ports:- port: 80targetPort: 80protocol: TCPselector:nginx: traefik---apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-traefik-test1
spec:rules:- host: www.yyw.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-traefik-svc1port:number: 80

ui查看发现

2、Daemonset模式：

Daemonset，以及配置更新的自动重载

先运行traefik-ds.yaml，使用traefik的Daemonset+hostnetwork模式

创建configmap，挂载

worker_processes  2;
events {worker_connections  1024;
}
http {default_type  application/octet-stream;sendfile        on;keepalive_timeout  65;server {listen       80;server_name  localhost;charset utf-8;location / {root   /usr/share/nginx/html;index  index.html index.php;}error_page   500 502 503 504  /50x.html;location = /50x.html {root   html;}
}
}kubectl create configmap nginx-con --from-file=/opt/nginx-configmap/nginx.conf

创建业务资源，service和ingress

apiVersion: apps/v1
kind: DaemonSet
metadata:name: nginx-applabels:app: nginx1
spec:selector:matchLabels:app: nginx1template:metadata:labels:app: nginx1spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nginx-configmountPath: /etc/nginx/- name: nginx-mountmountPath: /usr/share/nginx/htmlvolumes:- name: nginx-configconfigMap:name: nginx-con- name: nginx-mounthostPath:path: /opt/htmltype: DirectoryOrCreate---apiVersion: v1
kind: Service
metadata:name: nginx-app-svc
spec:ports:- protocol: TCPport: 80targetPort: 80selector:app: nginx1---apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress
spec:rules:- host: www.test1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-app-svcport:number: 80

hostnetwork端口80，nginx监听端口也是80

自动发现，ingress

apiVersion: apps/v1
kind: DaemonSet
metadata:name: nginx-applabels:app: nginx1
spec:selector:matchLabels:app: nginx1template:metadata:labels:app: nginx1spec:containers:- name: nginximage: nginx:1.22volumeMounts:- name: nginx-configmountPath: /etc/nginx/- name: nginx-mountmountPath: /usr/share/nginx/htmlvolumes:- name: nginx-configconfigMap:name: nginx-con- name: nginx-mounthostPath:path: /opt/htmltype: DirectoryOrCreate---apiVersion: v1
kind: Service
metadata:name: nginx-app-svc
spec:ports:- protocol: TCPport: 8081targetPort: 8081selector:app: nginx1---apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: nginx-app-ingress
spec:rules:- host: www.test1.comhttp:paths:- path: /pathType: Prefixbackend:service:name: nginx-app-svcport:number: 8081

重新运行，将hostnetwork的监听端口改成8081