1 安装Redis
1.1创建配置文件redis.conf
切换到自己的目录下如本文是放在/home/ubuntu下
cd /home/ubuntu
vim redis.conf
bind 0.0.0.0
protected-mode yes
port 6379
requirepass qwe123456
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile "/tmp/redis.log"
databases 16
always-show-logo no
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /data
1.2创建deployment配置文件
vim redis.yaml
apiVersion: apps/v1
kind: Deployment
metadata:labels:app: redis-single-nodename: redis-single-node
spec:progressDeadlineSeconds: 600 #部署进度截止时间replicas: 1 #副本数revisionHistoryLimit: 10 #修订历史记录限制数selector:matchLabels:app: redis-single-node #选择器,用于选择匹配的Podstrategy:rollingUpdate:maxSurge: 1maxUnavailable: 0type: RollingUpdatetemplate:metadata:creationTimestamp: nulllabels:app: redis-single-nodespec:containers:- command:- sh- -c- redis-server "/mnt/redis.conf"env:- name: TZvalue: Asia/Shanghai- name: LANGvalue: C.UTF-8image: redis:5.0.4-alpine #Redis镜像版本imagePullPolicy: IfNotPresentlifecycle: {}livenessProbe:failureThreshold: 2 #失败的最大次数2次initialDelaySeconds: 10 #启动容器后10秒开始检测periodSeconds: 10 #每过10s检测一次successThreshold: 1 #只要成功了1次,就表示成功了。tcpSocket:port: 6379timeoutSeconds: 2name: redis-single-nodeports:- containerPort: 6379name: webprotocol: TCPreadinessProbe:failureThreshold: 2initialDelaySeconds: 10periodSeconds: 10successThreshold: 1tcpSocket:port: 6379timeoutSeconds: 2resources: #资源限制limits: #最多可使用的资源cpu: 100m #CPU的计量单位叫毫核(m)。一个节点的CPU核心数量乘以1000,得到的就是节点总的CPU总数量。如,一个节点有两个核,那么该节点的CPU总量为2000mmemory: 339Mirequests: #代表容器启动请求的资源限制,分配的资源必须要达到此要求 cpu: 10mmemory: 10MisecurityContext: #上下文参数privileged: false #特权,最高权限runAsNonRoot: false #禁止以root用户启动容器 true为禁止terminationMessagePath: /dev/termination-log #表示容器的异常终止消息的路径,默认在 /dev/termination-log 下。当容器退出时,可以通过容器的状态看到退出信息。terminationMessagePolicy: File #默认情况容器退出时,退出信息会从文件中读取。 可以修改为 FallbackToLogsOnError 从日志中读取volumeMounts:- mountPath: /usr/share/zoneinfo/Asia/Shanghainame: tz-config- mountPath: /etc/localtimename: tz-config- mountPath: /etc/timezonename: timezone- mountPath: /mntname: redis-confreadOnly: truednsPolicy: ClusterFirstrestartPolicy: AlwaysschedulerName: default-schedulersecurityContext: {}terminationGracePeriodSeconds: 30 #在规定的terminationGracePeriodSeconds优雅时间内完成Pod优雅终止动作。默认是30秒tolerations: #零容忍设置- effect: NoExecute #即使在节点上存在污点,也不会将Pod从该节点上删除key: node.kubernetes.io/unreachableoperator: ExiststolerationSeconds: 30- effect: NoExecutekey: node.kubernetes.io/not-readyoperator: ExiststolerationSeconds: 30volumes:- hostPath:path: /usr/share/zoneinfo/Asia/Shanghaitype: ""name: tz-config- hostPath:path: /etc/timezonetype: ""name: timezone- configMap:defaultMode: 420name: redis-confname: redis-conf
- 1.创建k8sConfig Maps配置文件
kubectl create cm redis-conf --from-file=redis.conf
- 2.部署redis Deployments
kubectl create -f redis.yaml
- 3.将资源公开一个新的服务service`kubectl expose deploy redis-single-node --port 6379
- 4.对外开放6379端口找到service编辑type为NodePort,设置nodePort: 6379
- 到此安装完成之后就可以使用可视化工具(如AnotherRedisDesktopManager)或者代码进行测试连接。
2 安装MongoDB
这里使用Helm安装所以需要先安装一下Helm,如果已经安装跳过2.1这个小步骤
2.1 安装Helm
- 下载安装包https://github.com/helm/helm/releases,打开地址后选择适合自己的版本一般选择最新版本。本文使用的是ubuntu服务器下载命令如下
wget https://get.helm.sh/helm-v3.12.1-linux-amd64.tar.gz
,如果遇到卡主那就是需要翻墙 - 下载完后解压
tar -zxvf helm-v3.12.1-linux-amd64.tar.gz
- 移动到安装目标
mv linux-amd64/helm /usr/local/bin/helm
- 初始化仓库
helm repo add bitnami https://charts.bitnami.com/bitnami
,这边如果要添加找其他仓库地址可以去Artifact Hub搜索相对于的仓库地址。
2.2开始MongoDB安装
- 创建pv
vim mongodb-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: mongodb-pv
spec:capacity:storage: 5GiaccessModes:- ReadWriteOncehostPath:path: /bitnami/mongodb/data
以上内容中/bitnami/mongodb/data是主机真实路径,小提示如果没有权限需要赋权限给uid为1001
- 创建pvc
vim mongodb-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: mongodb-pvc
spec:accessModes:- ReadWriteOnceresources:requests:storage: 5GivolumeName: mongodb-pv
- 创建配置文件
vim mongodb-values.yaml
persistence:enabled: trueexistingClaim: "mongodb-pvc"
securityContext:privileged: truerunAsUser: 1001runAsGroup: 1001fsGroup: 1001
auth:rootPassword: "自定义密码"
创建完以上三个文件之后按顺序执行如下:
①kubectl apply -f mongodb-pv.yaml
②kubectl apply -f mongodb-pvc.yaml
③helm install my-mongodb bitnami/mongodb -f mongodb-values.yaml --set volumePermissions.enabled=true
提示–set volumePermissions.enabled=true第③必须加这个不然pod创建的时候没有权限创建文件夹及文件会报错mkdir: cannot create directory ‘/bitnami/mongodb/data’: Permission denied
安装成功之后如果想让外网访问跟上面redis一样service编辑type为NodePort,设置nodePort: 27017,端口号自定义只要防火墙对外开放就行
卸载使用helm uninstall my-mongodb
- 用navicat测试连接能否成功
也可以用MongoDB Compass,;连接地址格式为:mongodb://root:密码@ip:端口
- 修改用户密码,如下图可以使用工具直接执行命令
先切换至admin库use admin
再执行修改 db.changeUserPassword("用户名","密码")
3 安装kafka
前置条件参考第2步安装MongoDB中的创建pv跟pvc命名为kafka-pv和kafka-pvc
3.1 Helm部署kafka
- 创建配置文件kafka-values.yaml内容如下
replicaCount: 1 # kafka 副本数
#global:
# storageClass: nfs-client # kafka 和 zookeeper 使用的存储heapOpts: "-Xmx1024m -Xms1024m" # kafka 启动的 jvm 参数persistence: # kafka 每个副本的存储空间enabled: trueexistingClaim: "kafka-pvc"resources:limits:cpu: 1000mmemory: 2Girequests:cpu: 100mmemory: 100Mizookeeper:replicaCount: 1 # zookeeper 的副本数persistence:enabled: trueexistingClaim: "kafka-pvc"resources:limits:cpu: 2000mmemory: 2GiexternalAccess:enabled: true # 开启外部访问autoDiscovery:enabled: trueservice:type: NodePort # 开启 nodeport ports:external: 9094nodePorts: # nodeport 对应的端口,多少个 kafka 副本对应多少个端口- 30001
# - 30002
# - 30003
执行部署helm install my-kafka bitnami/kafka -f kafka-values.yaml --set volumePermissions.enabled=true --set rbac.create=true
3.1 安装简洁版的管理界面kafka-console-ui
- 创建kafka-console-ui-deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: kafka-console-uinamespace: default
spec:replicas: 1selector:matchLabels:app: kafka-console-uitemplate:metadata:labels:app: kafka-console-uispec:containers:- name: kafka-console-uiresources:limits:cpu: 1000mmemory: 1Girequests:cpu: 10mmemory: 10Miimage: wdkang/kafka-console-ui:latestvolumeMounts:- mountPath: /etc/localtimereadOnly: truename: time-datavolumes:- name: time-datahostPath:path: /usr/share/zoneinfo/Asia/Shanghai
- 创建kafka-console-ui-service.yaml
kind: Service
apiVersion: v1
metadata:labels:app: kafka-console-uiname: kafka-console-uinamespace: default
spec:ports:- port: 7766targetPort: 7766nodePort: 30088selector:app: kafka-console-uitype: NodePort
- 执行部署命令
①kubectl apply -f kafka-console-ui-service.yaml
②kubectl apply -f kafka-console-ui-deploy.yaml
- 部署完之后访问地址http://1.xx.1xx.80:30088进入界面
- 进入运维添加集群
- 如果是用的云服务器会发现这时候连接上了但是监听Topic的时候跑到了内网IP,需要修改configmap的配置这里都是建立在之前的k8s上所以直接进入k8s后台找到并修改如下图
- 重启
kubectl rollout restart statefulset my-kafka -n default