【详细版】基于AWS EC2使用Docker安装部署Superset v2.0

文章目录

- 1. SuperSet介绍
- 2. 实验说明
- 3. 实验配置
- 4. SSH连接云实例
- 5. 系统版本查看
- 6. 主机名映射
- 7. Docker安装
- [可选] Docker Compose安装
- 8. 安装superset
- 9. 初始化superset容器
- 10. 为superset加入连接Athena需要的依赖
- 11. 为superset准备一个具有权限的IAM用户
- 12. 添加此IAM用户的权限策略
- 13. 登录Superset控制面板
- 14. 使用superset与Athena连接
- 15. 导入数据集
- 16. 制作Charts
- 17. 开启并嵌入仪表盘Dashboard
- 18. 常见报错问题
- 19. 参考链接

1. SuperSet介绍

Apache Superset是一个开源的数据可视化和数据探索工具，它可以帮助用户通过创建交互式仪表板来探索和呈现数据。Superset最初由Airbnb开发，后来成为Apache软件基金会的一个孵化项目，目前是Apache顶级项目之一。

以下是Apache Superset的一些关键特点和功能：

数据连接：Superset支持多种不同类型的数据源，包括关系型数据库（如MySQL、PostgreSQL、SQL Server）、NoSQL数据库（如MongoDB）、云服务（如Amazon Redshift、Google BigQuery）以及文件格式（如CSV、Excel等）。
仪表板创建：用户可以使用Superset创建交互式仪表板，将数据可视化呈现为各种图表类型，包括柱状图、折线图、饼图、地图、热力图等。
数据探索：Superset提供了一个探索功能，允许用户探索和分析数据，执行数据切片和切块操作，以便更深入地了解数据。
自定义查询：用户可以使用SQL或图形化界面创建自定义查询，并将结果可视化为图表。
安全性：Superset提供了许多安全性功能，包括身份验证和授权，以确保只有授权的用户可以访问敏感数据。
集成：Superset可以与其他工具和平台集成，如Apache Druid、Apache Kafka、以及各种BI工具和数据存储系统。
社区支持：由于Superset是一个开源项目，它有一个活跃的社区，不断更新和改进软件，提供文档和支持。

总的来说，Apache Superset是一个功能强大的数据可视化和探索工具，可以帮助数据分析师、数据科学家和决策者更好地理解数据，从而做出更明智的决策。它的灵活性和可扩展性使其成为各种组织和项目的理想选择。

2. 实验说明

本实验是基于Amazon EC2实例，基于CentOS 7.9系统以Docker的安装方式，部署搭建Superset 2.0 版本。用于实现数据库接入、数据采集、数据图表制作、数据控制面板制作，数据可视化展示等相关功能。

3. 实验配置

云主机	操作系统	系统配置	Docker版本	Superset版本	Superset访问端口
Amazon EC2	CentOS 7.9	8C16GB	v24.0.7	v 2.0	8088

4. SSH连接云实例

ssh -i <密钥>  centos@<ip地址>

5. 系统版本查看

[root@superset ~]# cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

6. 主机名映射

$ sudo vim /etc/hosts
# 添加如下：
172.31.23.163   superset
52.82.109.114   superset
按:wq保存退出。

7. Docker安装

✨Docker安装参考链接：https://docs.docker.com/engine/install/centos/

卸载旧版Docker

# Images, containers, volumes, and networks stored in /var/lib/docker/ aren't automatically removed when you uninstall Docker.
$ sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine

安装Docker

# 安装yum-utils包（它提供yum-config-manager实用程序）
$ sudo yum install -y yum-utils# 设置存储库
$ sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo# 安装Docker Engine、containerd和Docker Compose
$ sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin# 启动docker服务
$ systemctl start docker && systemctl enable docker
$ systemctl status docker#　查看docker信息
$ docker version
Client: Docker Engine - CommunityVersion:           24.0.7API version:       1.43Go version:        go1.20.10Git commit:        afdd53bBuilt:             Thu Oct 26 09:11:35 2023OS/Arch:           linux/amd64Context:           default

[可选] Docker Compose安装

# 安装
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-composesudo curl -L https://github.com/docker/compose/releases/download/v2.21.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose# 授权
sudo chmod +x /usr/local/bin/docker-compose# 添加环境变量并生效
$ sudo vim .bashrc
# 添加内容如下：
export PATH=/usr/local/bin:$PATH
按:wq保存退出即可。$ source .bashrc# 查看docker-compose版本
$ docker-compose version

8. 安装superset

# 从互联网下载Superset docker镜像
$ sudo docker pull amancevice/superset:2.0.0【此实验使用的是2.0版本】
amancevice/superset:1.4.2
amancevice/superset:2.0.0
amancevice/superset:3.0.0# 检查是否已经完成镜像的下载
$ sudo docker images
REPOSITORY            TAG       IMAGE ID       CREATED         SIZE
amancevice/superset   3.0.0     4988654f9c90   6 weeks ago     2.49GB
amancevice/superset   2.0.0     893d72bb0d3a   11 months ago   2.54GB# 启动superset容器
`$ sudo docker run -p 8088:8088 -d amancevice/superset:2.0.0`$ docker run -d --name superset -u root  -p 8088:8088 -v /opt/module/docker/superset/conf:/etc/superset -v /opt/module/docker/superset/data:/var/lib/superset amancevice/superset:2.0.0# 更新数据库
$ docker exec -it superset superset db upgrade# 创建superset管理员用户
$ docker exec -it superset superset fab create-admin# 初始化
$ docker exec -it superset superset init# 查看Superset容器运行状态
$ sudo docker psdocker exec -it superset superset run --with-threads --reload --debugger

9. 初始化superset容器

# 执行docker exec -it CONTAINERID superset-init
$ sudo docker exec -it superset superset-init
Username [admin]: admin
User first name [admin]: admin
User last name [user]: admin
Email [admin@fab.org]: admin
Password:
Repeat for confirmation:
logging was configured successfully

10. 为superset加入连接Athena需要的依赖

# docker exec -it CONTAINERID pip install PyAthenaJDBC/PyAthena
$ sudo docker exec -it a00173a7f026 pip install PyAthenaJDBC
或
$ sudo docker exec -it superset pip install PyAthena# 重启系统生效
$ reboot

至此，完成了Superset的安装和对接Athena的准备工作。

11. 为superset准备一个具有权限的IAM用户

开通此用户superset访问密钥。

12. 添加此IAM用户的权限策略

AmazonAthenaFullAccess、AmazonS3FullAccess、AWSGlueConsoleFullAccess

13. 登录Superset控制面板

14. 使用superset与Athena连接

在添加数据库页面，需要填写Database名称，和SQLAlchemy URI，SQLAlchemy URI格式组成如下：

awsathena+rest://{aws_access_key_id}:{aws_secret_access_key}@athena.{region_name}.amazonaws.com.cn/{schema_name}?s3_staging_dir={s3_staging_dir}&…

{aws_access_key_id}:{aws_secret_access_key}是刚刚创建的IAM ASSK
{region_name}是Athena所在区域
{schema_name}是Glue中存放表元数据的数据库名称
{s3_staging_dir}是保存查询结果和记录的桶名称和路径（可以填写Athena结果保存路径，或是创建一个新的桶路径填在这里）

例如最终拼接出中国区域的连接地址示例：

awsathena+rest://AKIASJCHSJHN87DXD980:XXXXXXXXXX@athena.cn-northwest-1.amazonaws.com.cn/ml-data-lake?s3_staging_dir=s3://aws-athena-query-results-xx/

全球区域的连接地址示例：

awsathena+rest://AKIAT2RQT5XMNQINWOG7:xxxxxxxxxx@athena.us-east-2.amazonaws.com/ml-data-lake?s3_staging_dir=s3://tmp-263168716248/athena-output/

15. 导入数据集

16. 制作Charts

17. 开启并嵌入仪表盘Dashboard

# 进入super容器
[root@superset ~]# docker images
REPOSITORY            TAG       IMAGE ID       CREATED         SIZE
amancevice/superset   2.0.0     893d72bb0d3a   11 months ago   2.54GB[root@superset ~]# docker ps
CONTAINER ID   IMAGE                       COMMAND                  CREATED      STATUS                    PORTS                                       NAMES
f7a2d51fe3aa   amancevice/superset:2.0.0   "gunicorn superset.a…"   3 days ago   Up 23 minutes (healthy)   0.0.0.0:8088->8088/tcp, :::8088->8088/tcp   superset[root@superset ~]# docker exec -it superset /bin/bash
root@f7a2d51fe3aa:/home/superset## 修改config.py配置文件
root@f7a2d51fe3aa:/home/superset# vim /usr/local/lib/python3.8/site-packages/superset/config.py# 若执行vim命令失效，安装即可。
apt-get update
apt-get install vimroot@f7a2d51fe3aa:/home/superset# vim /usr/local/lib/python3.8/site-packages/superset/config.py
将EMNEDDED_SUPWESET的值由"False"修改成"True"。# 重启Superset
$ sudo systemctl daemon-reload
$ sudo docker restart superset

18. 常见报错问题

报错一：Refusing to start due to insecure SECRET_KEY

# 生成密钥
$ sudo openssl rand -base64 42
21flr4CawbRD+RwMcXJ6xN5DSJVWjMnt63TLZ+uLibtVTl/DqRKjY1Qq
1lQxdjKhLYa0DFjWQKVi6sS2bOMCOBKPgOiaO1wd6f1dlAfEpySPDRqg# 查看容器
$ docker ps# 进入容器
$ sudo docker exec -it -u root superset /bin/bash
或
$ sudo docker exec -it -u root a00173a7f026 /bin/bash# 进入容器内superset安装目录
$ cd /usr/local/lib/python3.9/site-packages/superset# 修改config.py文件中的SECRET_KEY
$ sed -i 's@SECRET_KEY = os.environ.get("SUPERSET_SECRET_KEY") or CHANGE_ME_SECRET_KEY@SECRET_KEY = "1lQxdjKhLYa0DFjWQKVi6sS2bOMCOBKPgOiaO1wd6f1dlAfEpySPDRqg"@' config.py# 查看原来的SECRET_KEY配置信息
$ cat config.py | grep SECRET_KEY
SECRET_KEY = os.environ.get("SUPERSET_SECRET_KEY") or CHANGE_ME_SECRET_KEY# # 查看替换好的SECRET_KEY配置信息
$ cat config.py | grep SECRET_KEY
SECRET_KEY = "21flr4CawbRD+RwMcXJ6xN5DSJVWjMnt63TLZ+uLibtVTl/DqRKjY1Qq"

报错二：sed: couldn’t open temporary file ./sedtTwnGr: Permission denied

# 以root管理员身份进入容器，即可获得管理员权限。
$ sudo docker exec -it -u root a00173a7f026 /bin/bash
root@a00173a7f026:/home/superset#或者在创建容器实例的时候，增加参数 --privileged=true

注意事项：

境内的亚马逊云无法访问境外的亚马逊云中的数据库。需要使用境外的云主机实例，才能关联Amazon Athena。