云服务器配置 docker-spark
- 1. 安装
- 2. 启动
- 3. 查看
- 4. 验证
- 5. 其他
1. 安装
我的服务器是腾讯云轻量应用服务器,2 核 2 G,已经内置了 docker, 配置大概如下:
ubuntu@VM-20-5-ubuntu
---------------------
OS: Ubuntu 22.04 LTS x86_64
Host: CVM 3.0
Kernel: 5.15.0-86-generic
Uptime: 1 hour, 9 mins
Packages: 759 (dpkg), 4 (snap)
Shell: bash 5.1.16
Resolution: 1024x768
Terminal: /dev/pts/4
CPU: AMD EPYC 7K62 (2) @ 2.595GHz
GPU: 00:02.0 Cirrus Logic GD 5446
Memory: 1287MiB / 1963MiB
由于规格比较小,所以并不能够撑起较大的服务,我之前按照这个1配置过一版,直接卡掉,重启才行
后来找了个小型的,参考这个2
首先找个地方创建docker-compose.yml
,我的配置如下:
version: "2"
services:master:image: singularities/sparkcommand: start-spark masterhostname: masterports:- "6066:6066"- "7070:7070"- "8080:8080"- "50070:50070"worker:image: singularities/sparkcommand: start-spark worker masterenvironment:SPARK_WORKER_CORES: 1SPARK_WORKER_MEMORY: 1glinks:- master
主要是将woker
节点的内存改小了,毕竟服务器规格也小
2. 启动
主要就是这个命令
docker-compose up -d
3. 查看
得先去控制台防火墙添加一下 50070 和 8080 这两个端口
接着用云服务公网地址加上端口号就可以访问
4. 验证
先进入容器:
docker exec -it 0c7 /bin/bash
然后去 Spark 的安装位置:
cd /usr/local/spark-2.2.1
接着运行示例:
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
--executor-memory 1g \
--total-executor-cores 1 \
./examples/jars/spark-examples_2.11-2.2.1.jar \
10
5. 其他
之前配置的时候,感觉机器内存小,所以启动容器的时候给worker
节点分配了200M
的内存,然后就寄了
spark
提交任务的时候似乎是有一个最小内存的限制,具体分析可以看这个3
由于这里分配的内存太小,所以触发了这个限制,导致任务无法运行
后来就改成分配 1 G 的内容了
还有一个问题就是 Docker 总是需要敲 sudo,可以参考这个4
以及修改 SSH 连接时长,可以参考这个5
清理 Docker 镜像和容器,可以参考这个6
腾讯云服务器下利用 Docker 极速搭建 Spark 集群和 HDFS 集群_腾讯云 spark集群-CSDN博客 ↩︎
Docker 搭建Spark 依赖singularities/spark:2.2镜像 - hongdada - 博客园 ↩︎
Spark程序排错系列(System memory * must be at least *)_system memory must be at least-CSDN博客 ↩︎
docker命令不需要敲sudo的方法 - yuchen16 - 博客园 ↩︎
解决ssh连接云服务器长时间不操作断连问题(适用于腾讯和阿里服务器)_腾讯云ssh长时间不使用-CSDN博客 ↩︎
停止、删除所有的docker容器和镜像 - 知乎 ↩︎