spinnaker简介

Spinnaker 是一个开源、多云持续交付平台，它将强大而灵活的管道管理系统与主要云提供商的集成相结合。Spinnaker 提供应用程序管理和部署，帮助您快速、自信地发布软件变更。
Spinnaker 提供了两组核心的功能： 应用管理与应用程序部署。

Spinnaker 由 Netflix 创建，已经过数百个团队在生产中经过数百万次部署的实际考验。它将强大而灵活的管道管理系统与主要云提供商的集成相结合。

官方网站：https://spinnaker.io/

项目地址：https://github.com/spinnaker/spinnaker

安装和配置 Spinnaker

本篇文章介绍如何通过配置代理方式在kubernetes集群中安装和设置 Spinnaker，以便将其配置为在生产中使用。

安装要求：

• 用于安装 Halyard 的机器：可以是本地计算机或 VM（Ubuntu 18.04 或更高版本、Debian 10 或更高版本）。
• 用于安装 Spinnaker 本身的 Kubernetes 集群：建议集群中至少有 4 个核心和 16GB 可用 RAM。

安装完整的 Spinnaker 涉及以下步骤：

1. 安装Halyard
2. 选择云提供商
3. 选择环境
4. 选择存储服务
5. 部署 Spinnaker
6. 备份您的配置

节点清单如下：

节点IP	节点角色	OS版本	CPU	内存	组件版本
192.168.72.30	halyard	ubuntu 22.04 LTS	4C	8G	halyard 1.62.2
192.168.72.40	kubernetes-master spinnaker	ubuntu 22.04 LTS	4C	16G	kubernetes v1.27.7 spinnaker 1.32.2

说明：halyard也可以与kubernetes节点合并部署。

安装Halyard

Halyard 是一个命令行管理工具，用于管理 Spinnaker 部署的生命周期，包括编写和验证部署的配置、部署 Spinnaker 的每个微服务以及更新部署。

Spinnaker 的所有可生产部署都需要 Halyard 才能安装、配置和更新 Spinnaker。虽然可以在没有 Halyard 的情况下安装 Spinnaker，但不推荐这样做，如果遇到困难，官方只针对halyard的部署方式提供支持。

可以通过两种方式安装 Halyard：

• 本地 Debian/Ubuntu：这可以在台式机或笔记本电脑上，也可以在虚拟机上。

• 在 Docker 上：建议在至少具有 12GB RAM 的计算机上安装 Halyard。

这里以在 Ubuntu 虚拟机上直接安装halyard为例。

首先配置HTTP代理。

cat >/etc/profile.d/proxy.sh<<EOF
export http_proxy="http://192.168.72.1:7890"
export https_proxy="http://192.168.72.1:7890"
export no_proxy="localhost,127.0.0.0/8,10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,.svc,.cluster.local"
EOF
source /etc/profile.d/proxy.sh

从github获取最新版本的 Halyard 安装脚本：

curl -O \
https://raw.githubusercontent.com/spinnaker/halyard/master/install/debian/InstallHalyard.sh

查看执行脚本的命令帮助

bash InstallHalyard.sh  --help

配置apt代理

cat >/etc/apt/apt.conf.d/proxy.conf<<EOF
Acquire::http::proxy "http://192.168.72.1:7890";
Acquire::https::proxy "http://192.168.72.1:7890";
EOF

安装halyard，默认会系统提示输入确认信息，这里使用 -y 参数避免交互式安装。

$ bash InstallHalyard.sh -y

或者安装指定版本，halyard版本可以在 github release 页面查询(可选)

bash InstallHalyard.sh --version 1.62.0

检查 Halyard 是否安装正确：

root@ubuntu:~# hal --version
1.62.0

确认halyard daemon服务是否ready，返回状态码0说明正常

hal --ready

或者使用curl进行测试

root@ubuntu:~# curl http://192.168.72.30:8064/health
{"status" : "UP"
}root@ubuntu:~# 

查看halyard安装位置及配置文件路径

root@ubuntu:~# ls /opt/halyard/bin/
hal  hal.bat  halyard  halyard.batroot@ubuntu:~# ls /opt/halyard/config/
halyard.yml

配置halyard的代理

修改/opt/halyard/bin/halyard文件(最后一定要给localhost和example.com设置不代理，其中example.com即为最终想要访问Spinnaker集群的域名。

$ vim /opt/halyard/bin/halyard
DEFAULT_JVM_OPTS='"-Djava.security.egd=file:/dev/./urandom" "-Dspring.config.import=optional:/opt/spinnaker/config/" \
"-Dhttp.proxyHost=192.168.72.1" "-Dhttp.proxyPort=7890" \
"-Dhttps.proxyHost=192.168.72.1" "-Dhttps.proxyPort=7890" \
"-Dhttp.nonProxyHosts=\"localhost|*.example.com\""'

或者单独创建/etc/default/spinnaker配置文件，无需手动编辑/opt/halyard/bin/halyard

mkdir -p /etc/default/
cat >/etc/default/spinnaker<<EOF
HALYARD_OPTS='"-Dhttp.proxyHost=192.168.72.1" "-Dhttp.proxyPort=7890" \
"-Dhttps.proxyHost=192.168.72.1" "-Dhttps.proxyPort=7890" \
"-Dhttp.nonProxyHosts=\"localhost|*.example.com\""'
EOF

修改配置后需要重启hal服务，任意hal命令启动服务。

hal shutdown && hal

查看当前hal版本支持的Spinnaker版本(能正常获取到Spinnaker版本说明正常)

root@ubuntu:~# hal version list
+ Get current deploymentSuccess
+ Get Spinnaker versionSuccess
+ Get released versionsSuccess
+ You are on version "", and the following are available:- 1.30.4 (v1.30.4):Changelog: https://spinnaker.io/changelogs/1.30.4-changelog/Published: Sat Sep 09 05:14:15 CST 2023(Requires Halyard >= 1.45)- 1.31.2 (v1.31.2):Changelog: https://spinnaker.io/changelogs/1.31.2-changelog/Published: Sat Sep 09 01:49:51 CST 2023(Requires Halyard >= 1.45)- 1.32.2 (v1.32.2):Changelog: https://spinnaker.io/changelogs/1.32.2-changelog/Published: Thu Sep 21 04:55:55 CST 2023(Requires Halyard >= 1.45)

注意：每个hal的版本都会对应一个可用的Spinnaker的版本列表。

或者查看spinnaker最新稳定版本

root@ubuntu:~# hal version latest -q
1.32.2

复制kubeconfig文件

安装kubectl

curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.27.7/bin/linux/amd64/kubectl
chmod +x ./kubectl
mv ./kubectl /usr/local/bin/kubectl

复制/root/.kube/config文件到spinnaker

mkdir -p /home/spinnaker/.kube
cp config /home/spinnaker/.kube/config
chown -R spinnaker:spinnaker /home/spinnaker/.kube/

切换到spinaker用户，并验证与远程集群连接是否正常

root@ubuntu:~# su - spinnaker 
spinnaker@ubuntu:~$ kubectl get nodes
NAME     STATUS   ROLES           AGE   VERSION
node40   Ready    control-plane   11d   v1.27.7

容器运行时配置代理

由于后续部署spinnaker时需要连接外网仓库拉取docker镜像，连接到kubernetes节点192.168.72.40，提前为containerd容器运行时配置代理。

mkdir -p /etc/systemd/system/containerd.service.dcat >/etc/systemd/system/containerd.service.d/10-default-env.conf<<EOF
[Service]
Environment="HTTP_PROXY=http://192.168.72.1:7890"
Environment="HTTPS_PROXY=http://192.168.72.1:7890"
Environment=NO_PROXY=192.168.0.0/16,10.233.0.0/16,.cluster.local,.svc,127.0.0.1/8,localhost,master,node1,node2,.kubesphere.local
Environment="NO_PROXY=localhost,127.0.0.0/8,10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,.svc,.cluster.local"
EOFsystemctl daemon-reload
systemctl restart containerd

使用crictl命令测试是否能够拉取镜像

$ crictl pull us-docker.pkg.dev/spinnaker-community/docker/deck:3.15.1
Image is up to date for sha256:90ef47bcfda64698abe817f30b5d00da1baaa0a55ce8bfd14b3ce4305b8000cd

halyard配置spinnaker

后续所有操作切换到默认的spinnaker用户执行。

su - spinnaker

指定 Spinnaker 版本

列出当前halyard可用的spinnaker版本。

spinnaker@ubuntu:~$ hal version list
+ Get current deploymentSuccess
+ Get Spinnaker versionSuccess
+ Get released versionsSuccess
+ You are on version "", and the following are available:- 1.30.4 (v1.30.4):Changelog: https://spinnaker.io/changelogs/1.30.4-changelog/Published: Sat Sep 09 05:14:15 CST 2023(Requires Halyard >= 1.45)- 1.31.2 (v1.31.2):Changelog: https://spinnaker.io/changelogs/1.31.2-changelog/Published: Sat Sep 09 01:49:51 CST 2023(Requires Halyard >= 1.45)- 1.32.2 (v1.32.2):Changelog: https://spinnaker.io/changelogs/1.32.2-changelog/Published: Thu Sep 21 04:55:55 CST 2023(Requires Halyard >= 1.45)

选择一个版本，设置您要使用的版本：

hal config version edit --version 1.32.2

或者直接使用最新版本

hal config version edit --version $(hal version latest -q)

命令执行示例如下

spinnaker@ubuntu:~$ hal config version edit --version 1.32.2
+ Get current deploymentSuccess
+ Edit Spinnaker versionSuccess
+ Spinnaker has been configured to update/install version "1.32.2".Deploy this version of Spinnaker with `hal deploy apply`.

此时在会生成.hal目录以及config配置文件，后续所有hal命令操作都会写入该config文件。

spinnaker@ubuntu:~$ cat .hal/config 

添加spinnaker账户：

使用cluster-admin作为spinnaker账户

hal config provider kubernetes account add spinnaker-admin \
--context $(kubectl config current-context)

命令执行示例如下

spinnaker@ubuntu:~$ hal config provider kubernetes account add spinnaker-admin \
--context $(kubectl config current-context)
+ Get current deploymentSuccess
+ Add the spinnaker-admin accountSuccess
+ Successfully added account spinnaker-admin for providerkubernetes.

设置时区

spinnaker@ubuntu:~$ hal config edit --timezone Asia/Shanghai
+ Get current deploymentSuccess
+ Get deployment configurationSuccess
+ Edit deployment configurationSuccess
Validation in default.stats:
- INFO Stats are currently ENABLED. Usage statistics are beingcollected. Thank you! These stats inform improvements to the product, and thathelps the community. To disable, run `hal config stats disable`. To learn moreabout what and how stats data is used, please seehttps://spinnaker.io/docs/community/stay-informed/stats.+ Successfully edited your deployment configuration

指定providers

在 Spinnaker 中，提供程序是与您部署应用程序的云平台的集成。

在本部分中，您将注册云平台的凭据。这些凭证在 Spinnaker 中称为帐户，Spinnaker 通过这些帐户部署您的应用程序。

Spinnaker 的所有抽象和功能都构建在其支持的云提供商之上。因此，要使 Spinnaker 执行任何操作，您必须至少启用一个提供商，并为其添加一个帐户。

根据需要添加任意数量的以下提供程序。

• AWS
• Kubernetes
• Azure
• Cloud Foundry
• DC/OS
• Docker Registry
• Google App Engine
• Google Compute Engine
• Oracle

配置提供程序，指定为kubernetes

spinnaker@ubuntu:~$ hal config provider kubernetes enable
+ Get current deploymentSuccess
+ Edit the kubernetes providerSuccess
+ Successfully enabled kubernetes

选择安装环境

根据您的使用案例，选择您想要安装 Spinnaker 的方式。

在此步骤中，您将告诉 Halyard 在什么类型的环境中安装 Spinnaker。

推荐的路径是分布式安装到 Kubernetes 集群上，但所有这些方法都受支持：

• Kubernetes 上的分布式安装

  Halyard 单独部署 Spinnaker 的每个 微服务 。强烈建议在生产中使用。

• Debian 软件包的本地安装

  Spinnaker 部署在单台机器上。这对于较小的 Spinnaker 部署来说是可以的，但 Spinnaker 在更新时将不可用。

• 来自 GitHub 的本地 git 安装

  这是为 Spinnaker 项目做出贡献的开发人员提供的。如果您是一名贡献者，您可能会拥有两个独立的安装 - 一个用于在生产中使用 Spinnaker 的分布式安装，另一个用于开发 Spinnaker 贡献的本地 Git 安装。

分布式安装适用于资源占用量较大的开发组织，以及那些无法承受 Spinnaker 更新期间停机的情况。

Spinnaker 部署到远程云，每个 微服务 独立部署。Halyard 创建了一个更小的无头 Spinnaker 来更新 Spinnaker 及其微服务，确保零停机更新。

$ACCOUNT使用您在配置提供程序时创建的名称运行以下命令：

spinnaker@ubuntu:~$ hal config deploy edit --type distributed --account-name spinnaker-admin
+ Get current deploymentSuccess
+ Get the deployment environmentSuccess
+ Edit the deployment environmentSuccess
+ Successfully updated your deployment environment.

指定外置储存

Spinnaker 需要外部存储提供商来保存您的应用程序设置和配置的管道。由于这些数据非常敏感，并且丢失的代价可能会很高，因此我们建议您使用您有信心的托管存储解决方案。

Spinnaker 支持下列存储提供商。无论您选择哪个选项，都不会影响您对云提供商的选择。也就是说，您可以使用 Google Cloud Storage 作为存储源，但仍部署到 Microsoft Azure。

支持的存储解决方案,通过选择以下选项之一为您的 Spinnaker 实例设置持久存储。

• Azure Storage
• Google Cloud Storage
• Minio
• Redis (Not recommended for production environments)
• S3
• Oracle Object Storage

Minio

Spinnaker 支持使用 Minio 来保存您的应用程序设置和配置的管道。

警告：丢失 Minio 的数据将意味着丢失所有 Spinnaker 应用程序元数据和配置的管道。

Minio 是一个与 S3 兼容的对象存储，您可以自行托管。当您不想依赖云提供商来托管 Spinnaker 数据时，这是我们推荐的持久存储解决方案。

先决条件

按照 Minio 主页上的说明安装 Minio，确保其在 Spinnaker 可访问的端点上运行。记录以下值：

• ENDPOINT ：完全限定的端点 Minio 是可访问的。如果 Minio 与 Spinnaker 在同一台计算机上运行，​​则这可能是 http://127.0.0.1:9001 （请注意，使用 localhost 而不是 127.0.0.1 不起作用，因为 AWS 开发工具包将然后尝试连接到 http://.localhost:9001）。
• MINIO_ACCESS_KEY 、 MINIO_SECRET_KEY ：您配置 Minio 的访问/秘密密钥对。这些环境变量需要对 Minio 进程可见才能工作。

记录值如下

export ENDPOINT="http://minio.minio:9000"
export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=minio123

编辑您的存储设置

鉴于 Minio 不支持版本控制对象，我们需要在 Spinnaker 中禁用它。将以下行添加到 ~/.hal/$DEPLOYMENT/profiles/front50-local.yml ：

DEPLOYMENT=default
mkdir -p ~/.hal/$DEPLOYMENT/profiles
echo "spinnaker.s3.versioning: false" > ~/.hal/$DEPLOYMENT/profiles/front50-local.yml

$DEPLOYMENT 通常是 default 。在这里here内容。如果该文件不存在，则可能需要创建它。

运行以下命令（请注意，我们选择 S3 作为存储类型，因为 Minio 实现了 S3 API）：

Ubuntu安装

echo $MINIO_SECRET_KEY | hal config storage s3 edit --path-style-access=true \--endpoint $ENDPOINT \--access-key-id $MINIO_ACCESS_KEY \--secret-access-key
hal config storage edit --type s3

示例命令如下

spinnaker@ubuntu:~$ echo $MINIO_SECRET_KEY | hal config storage s3 edit --path-style-access=true \--endpoint $ENDPOINT \--access-key-id $MINIO_ACCESS_KEY \--secret-access-key
hal config storage edit --type s3
+ Get current deploymentSuccess
+ Get persistent storeSuccess
Generated bucket name: spin-ef45eb85-4a52-4825-a989-ccab7623e704
+ Edit persistent storeSuccess
Validation in default.persistentStorage:
- WARNING Your deployment will most likely fail until you configureand enable a persistent store.+ Successfully edited persistent store "s3".
+ Get current deploymentSuccess
+ Get persistent storage settingsSuccess
+ Edit persistent storage settingsSuccess
+ Successfully edited persistent storage.

警告: 除非您已将 Minio 配置为支持虚拟主机样式请求，否则您需要启用路径样式访问模式： hal config storage s3 edit --path-style-access true 。否则，Front50 将失败并出现 java.net.UnknownHostException: $BUCKET_NAME.localhost 异常。

配置UI

修改Spinnaker Deck和Gate的域名配置

hal config security ui edit --override-base-url http://spinnaker.example.com
hal config security api edit --override-base-url http://spinnaker.example.com/api/v1

修改gate组件配置，与override-base-url和ingress规则一致

mkdir -p /home/spinnaker/.hal/default/profiles
cat >/home/spinnaker/.hal/default/profiles/gate-local.yml<<EOF
server:servlet:context-path: /api/v1
EOFmkdir -p /home/spinnaker/.hal/default/service-settings
cat >/home/spinnaker/.hal/default/service-settings/gate.yml<<EOF
healthEndpoint: /api/v1/health
EOF

部署 Spinnaker

完成 Spinnaker 配置后，将其部署并连接到 Deck（即 Spinnaker UI）。

现在我们已经启用了一个或多个云提供商、选择了部署环境并配置了持久存储，我们准备好选择 Spinnaker 的一个版本、部署它并连接到它。

部署Spinnaker

hal deploy apply

示例输出结果如下：

spinnaker@ubuntu:~$ hal deploy apply
+ Get current deploymentSuccess
+ Prep deploymentSuccess
Validation in default.stats:
- INFO Stats are currently ENABLED. Usage statistics are beingcollected. Thank you! These stats inform improvements to the product, and thathelps the community. To disable, run `hal config stats disable`. To learn moreabout what and how stats data is used, please seehttps://spinnaker.io/docs/community/stay-informed/stats.+ Preparation complete... deploying Spinnaker
+ Get current deploymentSuccess
+ Apply deploymentSuccess
+ Deploy spin-redisSuccess
+ Deploy spin-clouddriverSuccess
+ Deploy spin-front50Success
+ Deploy spin-orcaSuccess
+ Deploy spin-deckSuccess
+ Deploy spin-echoSuccess
+ Deploy spin-gateSuccess
+ Deploy spin-roscoSuccess
+ Run `hal deploy connect` to connect to Spinnaker.

查看创建的pods

root@ubuntu:~# kubectl -n spinnaker get pods
NAME                                READY   STATUS    RESTARTS   AGE
spin-clouddriver-654cb6c4d5-zq8m6   1/1     Running   0          16m
spin-deck-79f4b7967-85hdx           1/1     Running   0          16m
spin-echo-77fd648ff9-bgd85          1/1     Running   0          16m
spin-front50-7fcb6777b6-bcrrp       1/1     Running   0          16m
spin-gate-5dddccf759-85mx7          1/1     Running   0          16m
spin-igor-7f8fc7f6cf-n2scq          1/1     Running   0          16m
spin-orca-8ddb6cf89-j648t           1/1     Running   0          16m
spin-redis-f4b9686d9-p28wd          1/1     Running   0          96m
spin-rosco-56547f965d-nfr2m         1/1     Running   0          16m

查看创建的service

root@ubuntu:~# kubectl -n spinnaker get svc
NAME               TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
spin-clouddriver   ClusterIP   10.96.3.24    <none>        7002/TCP   4h38m
spin-deck          ClusterIP   10.96.3.182   <none>        9000/TCP   4h38m
spin-echo          ClusterIP   10.96.3.176   <none>        8089/TCP   4h38m
spin-front50       ClusterIP   10.96.1.117   <none>        8080/TCP   4h38m
spin-gate          ClusterIP   10.96.3.20    <none>        8084/TCP   4h38m
spin-igor          ClusterIP   10.96.1.10    <none>        8088/TCP   4h38m
spin-orca          ClusterIP   10.96.0.105   <none>        8083/TCP   4h38m
spin-redis         ClusterIP   10.96.3.162   <none>        6379/TCP   4h38m
spin-rosco         ClusterIP   10.96.1.165   <none>        8087/TCP   4h38m

连接到 Spinnaker UI

浏览器必须能够与 Gate 端点通信，此端点默认为 http://localhost:8084 ，但可以自定义。如果通过默认的 http://localhost:9000 访问 Spinnaker，请检查您是否已将 Gate 的端口（默认为 8084）转发到运行浏览器的计算机。

如果您通过自定义 URL 访问 Spinnaker，请确保已为 UI (Deck) 和 API (Gate) 服务设置 override-base-url ，如下面的问题所述。这些设置将在您的 Gate 和 Deck 端点之间配置跨域资源共享 (CORS)；如果配置不正确，您的浏览器将拒绝来自 Deck to Gate 的请求。

使用ingress连接spinnaker UI

部署ingress-nginx以及metallb，创建Ingress规则

# spinnakerIngress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: spin-decknamespace: spinnaker
spec:rules:- host: spinnaker.example.comhttp:paths:- path: /pathType: Prefixbackend:service:name: spin-deckport:number: 9000- host: spin-gate.example.comhttp:paths:- path: /pathType: Prefixbackend:service:name: spin-gateport:number: 8084

本地配置hosts解析，其中 192.168.72.250 为ingress服务绑定的 EXTERNAL-IP

192.168.72.250 spinnaker.example.com

浏览器访问spinnaker

http://spinnaker.spinbook.local

卸载halyard及spinnaker

从 Debian/Ubuntu 卸载 Halyard

重要提示：卸载 Halyard 会删除 ~/.hal 目录的全部内容。除非您准备好丢失配置，否则不要这样做。

如果您使用 Halyard 部署 Spinnaker，并且想要清除该部署，请运行以下命令：

hal deploy clean -q

然后可以安全地卸载 Halyard：

sudo ~/.hal/uninstall.sh