Docker 镜像、容器与数据卷的高效管理:最佳实践与自动化脚本20250411

Docker 镜像、容器与数据卷的高效管理:最佳实践与自动化脚本

引言

在现代软件开发中,容器化技术正变得越来越重要。Docker 作为容器化的代表工具,在各大企业中得到了广泛的应用。然而,随着容器化应用的增多,如何高效管理 Docker 镜像、容器和数据卷成为了一个不可忽视的问题。本文将结合实际案例,展示如何通过 最佳实践自动化脚本 来优化 Docker 环境的管理,解决常见问题。
在这里插入图片描述


1. 容器镜像管理:优化与清理

问题:容器镜像体积过大

随着 Docker 容器的构建和镜像的更新,镜像体积会越来越大,导致磁盘空间不足。特别是在构建复杂的应用时,镜像的体积可能膨胀得非常快。

最佳实践:使用多阶段构建

使用 多阶段构建 是优化 Docker 镜像体积的一个有效方法。以下是一个 多阶段构建的 Dockerfile 示例,它首先使用一个带有构建工具的镜像进行构建,最后只保留应用的最终可执行文件,显著减小镜像体积。

# 第一阶段:构建应用
FROM node:14 AS buildWORKDIR /app
COPY . .
RUN npm install && npm run build# 第二阶段:创建最终镜像
FROM node:14-slimWORKDIR /app
COPY --from=build /app/build /app/buildCMD ["npm", "start"]

解释

  • 第一阶段(build)使用完整的 Node.js 镜像来构建应用。
  • 第二阶段(node:14-slim)是一个轻量级的镜像,只复制构建后的文件,减少不必要的构建依赖和临时文件,从而显著减少镜像体积。
清理未使用的镜像

使用 docker system prune 命令清理未使用的镜像、容器和缓存。在定期清理时,使用以下脚本:

#!/bin/bash
# 每周清理未使用的镜像和容器
docker system prune -f# 清理悬挂的镜像(没有标签的镜像)
docker image prune -f# 输出清理后的磁盘使用情况
df -h

您可以将该脚本通过 Cron 任务 定期执行,避免手动清理带来的麻烦。


2. 容器与卷管理:持久化与数据清理

问题:容器删除导致数据丢失

容器的文件系统在容器停止后会丢失数据,尤其是在没有使用卷来持久化数据时。为了解决这一问题,可以使用 数据卷(Volumes) 来存储容器的持久化数据。

最佳实践:使用 Docker 卷进行持久化存储

首先,创建一个卷来存储数据:

# 创建数据卷
docker volume create my_data_volume# 启动容器并挂载卷
docker run -d --name my_container -v my_data_volume:/app/data my_image

通过 -v 参数将卷挂载到容器的 /app/data 路径上。即使容器被删除,卷中的数据也不会丢失。

定期清理未使用的卷

未挂载的卷会占用磁盘空间。使用以下脚本来清理未使用的卷:

#!/bin/bash
# 清理所有未挂载的卷
docker volume prune -f# 输出清理后的卷使用情况
docker volume ls

在此脚本中,docker volume prune -f 会删除所有未挂载的卷,以释放磁盘空间。


3. 容器与镜像清理流程:自动化与监控

问题:误删容器和镜像

使用 docker system prune -af 时,可能会误删正在使用的容器和镜像,导致系统运行异常。为了避免这种情况,以下是改进的 自动化清理流程,结合 日志监控,确保容器和镜像的清理不会影响到生产环境。

自动化清理脚本:
#!/bin/bash
# 记录清理前的容器和镜像状态
echo "Before cleanup:" > cleanup.log
docker ps -a >> cleanup.log
docker images >> cleanup.log# 清理未使用的容器、镜像和网络
docker system prune -f# 记录清理后的容器和镜像状态
echo "After cleanup:" >> cleanup.log
docker ps -a >> cleanup.log
docker images >> cleanup.log# 输出清理后的磁盘使用情况
df -h
日志监控:

结合 PrometheusGrafana 对 Docker 容器的资源使用情况进行监控。以下是基本的 Prometheus 配置,用于监控 Docker 容器的资源占用:

  1. 安装 Prometheus Docker Exporter:
docker run -d \-p 9104:9104 \--name=prometheus-docker-exporter \--volume=/:/host:ro \--volume=/var/run/docker.sock:/var/run/docker.sock:ro \prom/dockershim
  1. Prometheus 配置:

prometheus.yml 中添加 Docker exporter 配置:

scrape_configs:- job_name: 'docker'static_configs:- targets: ['localhost:9104']
  1. Grafana 可视化:

通过 Grafana 创建 Docker 容器资源使用情况的仪表板,包括 CPU、内存、磁盘空间等。


4. 高效管理 Docker 环境:自动化与容器编排

自动化容器管理:使用 Docker Compose

为了高效管理多个容器,Docker Compose 提供了一种简单的方式来定义和运行多容器 Docker 应用。以下是一个 Docker Compose 示例,用于管理多容器应用:

version: '3'
services:web:image: nginx:latestports:- "8080:80"volumes:- ./web:/usr/share/nginx/htmldb:image: mysql:5.7environment:MYSQL_ROOT_PASSWORD: examplevolumes:- db_data:/var/lib/mysqlvolumes:db_data:
  • web 服务是一个 Nginx 容器,绑定本地端口 8080。
  • db 服务是一个 MySQL 容器,使用卷来持久化数据库数据。
容器编排与 Kubernetes 集成

对于大规模生产环境,使用 Kubernetes 进行容器编排是最佳选择。Kubernetes 提供了自动化的容器管理、部署和扩展机制,确保容器化应用的高可用性和可扩展性。


结论

Docker 的容器、镜像和数据卷管理是 DevOps 和微服务架构中不可忽视的重要组成部分。通过遵循最佳实践、使用多阶段构建、配置数据卷以及自动化清理任务,我们可以大大提高容器管理的效率和安全性。结合 自动化脚本日志监控容器编排工具(如 Docker Compose 和 Kubernetes),可以使 Docker 环境的管理更加高效、可靠和灵活。掌握这些实战技巧,能够帮助开发者和运维人员优化容器环境,确保生产系统的稳定运行。


实践指南

  1. 镜像管理: 使用多阶段构建和轻量级基础镜像来减小镜像体积。
  2. 数据持久化: 将数据存储到卷中,确保数据在容器删除时不会丢失。
  3. 清理策略: 编写定时清理脚本并结合日志监控,避免误删资源。
  4. 自动化: 使用 Docker Compose 和 Kubernetes 管理多容器环境,提升容器编排效率。

通过这些实战方法,您将能够更好地管理 Docker 环境,提升系统的稳定性和效率。


进一步阅读与资源:

  1. Docker 官方文档
  2. Prometheus 文档
  3. Kubernetes 入门指南

通过这些具体的 代码示例、脚本流程图,本文提供了更具实战性的 Docker 管理方法,确保技术读者能够直接应用于生产环境中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/76624.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Selenium之Actions事件

鼠标、键盘组合键 在使用selenium的时候,有的时候我们需要鼠标单击、双击、拖动;或者是按下键盘的某个键,松开某个按键,以及组合键的使用;今天我们就来看一看,怎么样实现上面的操作 先把准备工作做好&…

如何在 CentOS 7 系统上以容器方式部署 GitLab,使用 ZeroNews 通过互联网访问 GitLab 私有仓库,进行代码版本发布与更新

第 1 步: 部署 GitLab 容器​ 在开始部署 GitLab 容器之前,您需要创建本地目录来存储 GitLab 数据、配置和日志: #创建本地目录 mkdir -p /opt/docker/gitlab/data mkdir -p /opt/docker/gitlab/config mkdir -p /opt/docker/gitlab/log#gi…

.py文件和.ipynb文件的区别:完整教程

一、概述 Python开发者常用的两种文件格式.py和.ipynb各有特点,本教程将通过对比分析、代码示例和场景说明,帮助开发者全面理解二者的区别与联系。 二、核心区别对比 1. 文件格式本质 特性.ipynb文件.py文件文件类型JSON结构化文档纯文本文件存储内容…

Go 字符串四种拼接方式的性能对比

简介 使用完整的基准测试代码文件,可以直接运行来比较四种字符串拼接方法的性能。 for 索引 的方式 for range 的方式 strings.Join 的方式 strings.Builder 的方式 写一个基准测试文件 echo_bench_test.go package mainimport ("os""stri…

从代码学习深度学习 - Bahdanau注意力 PyTorch版

文章目录 1. 前言为什么选择Bahdanau注意力本文目标与预备知识2. Bahdanau注意力机制概述注意力机制简述加性注意力与乘性注意力对比Bahdanau注意力的数学原理与流程图数学原理流程图可视化与直观理解3. 数据准备与预处理数据集简介数据加载与预处理1. 读取数据集2. 预处理文本…

19【动手学深度学习】卷积层

1. 从全连接到卷积 2. 图像卷积 3. 图形卷积代码 互相关操作 import torch from torch import nn from d2l import torch as d2ldef corr2d(X, K):"""计算2维互相关运算"""h, w K.shapeY torch.zeros((X.shape[0]-h1, X.shape[1]-w 1))for …

Linux xorg-server 解析(一)- 编译安装Debug版本的xorg-server

一:下载代码 1. 配置源,以Ubuntu24.04 为例( /etc/apt/sources.list.d/ubuntu.sources): 2. apt source xserver-xorg-core 二:编译代码 1. sudo apt build-dep ./ 2. DEB_BUILD_OPTIONS="nostrip" DEB_CFLAGS_SET="-g -O0" dpkg-buildpac…

大模型SFT用chat版还是base版 SFT后灾难性遗忘怎么办

大模型SFT用chat版还是base版 进行 SFT 时,基座模型选用 Chat 还是 Base 模型? 选 Base 还是 Chat 模型,首先先熟悉 Base 和 Chat 是两种不同的大模型,它们在训练数据、应用场景和模型特性上有所区别。 在训练数据方面&#xf…

【图像生成之21】融合了Transformer与Diffusion,Meta新作Transfusion实现图像与语言大一统

论文:Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model 地址:https://arxiv.org/abs/2408.11039 类型:理解与生成 Transfusion模型‌是一种将Transformer和Diffusion模型融合的多模态模型,旨…

动态多目标进化算法:基于知识转移和维护功能的动态多目标进化算法(KTM-DMOEA)求解CEC2018(DF1-DF14)

一、KTM-DMOEA介绍 在实际工程和现实生活中,许多优化问题具有动态性和多目标性,即目标函数会随着环境的变化而改变,并且存在多个相互冲突的目标。传统的多目标进化算法在处理这类动态问题时面临着一些挑战,如收敛速度慢、难以跟踪…

部署NFS版StorageClass(存储类)

部署NFS版StorageClass存储类 NFS版PV动态供给StorageClass(存储类)基于NFS实现动态供应下载NFS存储类资源清单部署NFS服务器为StorageClass(存储类)创建所需的RBAC部署nfs-client-provisioner的deployment创建StorageClass使用存储类创建PVC NFS版PV动态供给StorageClass(存储…

Vue使用el-table给每一行数据上面增加一行自定义合并行

// template <template><el-table:data"flattenedData":span-method"objectSpanMethod"borderclass"custom-header-table"style"width: 100%"ref"myTable":height"60vh"><!-- 订单详情列 -->&l…

vue项目使用html2canvas和jspdf将页面导出成PDF文件

一、需求&#xff1a; 页面上某一部分内容需要生成pdf并下载 二、技术方案&#xff1a; 使用html2canvas和jsPDF插件 三、js代码 // 页面导出为pdf格式 import html2Canvas from "html2canvas"; import jsPDF from "jspdf"; import { uploadImg } f…

大模型LLM表格报表分析:markitdown文件转markdown,大模型markdown统计分析

整体流程&#xff1a;用markitdown工具文件转markdown&#xff0c;然后大模型markdown统计分析 markitdown https://github.com/microsoft/markitdown 在线体验&#xff1a;https://huggingface.co/spaces/AlirezaF138/Markitdown 安装&#xff1a; pip install markitdown…

Linux 第二讲 --- 基础指令(二)

前言 这是基础指令的第二部分&#xff0c;但是该部分的讲解会大量使用到基础指令&#xff08;一&#xff09;的内容&#xff0c;为了大家的观感&#xff0c;如果对Linux的一些基本指令不了解的话&#xff0c;可以先看基础指令&#xff08;一&#xff09;&#xff0c;同样的本文…

python格式化字符串漏洞

什么是python格式化字符串漏洞 python中&#xff0c;存在几种格式化字符串的方式&#xff0c;然而当我们使用的方式不正确的时候&#xff0c;即格式化的字符串能够被我们控制时&#xff0c;就会导致一些严重的问题&#xff0c;比如获取敏感信息 python常见的格式化字符串 百…

LLaMA-Factory双卡4090微调DeepSeek-R1-Distill-Qwen-14B医学领域

unsloth单卡4090微调DeepSeek-R1-Distill-Qwen-14B医学领域后&#xff0c;跑通一下多卡微调。 1&#xff0c;准备2卡RTX 4090 2&#xff0c;准备数据集 医学领域 pip install -U huggingface_hub export HF_ENDPOINThttps://hf-mirror.com huggingface-cli download --resum…

React Hooks: useRef,useCallback,useMemo用法详解

1. useRef&#xff08;保存引用值&#xff09; useRef 通常用于保存“不会参与 UI 渲染&#xff0c;但生命周期要长”的对象引用&#xff0c;比如获取 DOM、保存定时器 ID、WebSocket等。 新建useRef.js组件&#xff0c;写入代码&#xff1a; import React, { useRef, useSt…

Spring AI 结构化输出详解

一、Spring AI 结构化输出的定义与核心概念 Spring AI 提供了一种强大的功能&#xff0c;允许开发者将大型语言模型&#xff08;LLM&#xff09;的输出从字符串转换为结构化格式&#xff0c;如 JSON、XML 或 Java 对象。这种结构化输出能力对于依赖可靠解析输出值的下游应用程…

THM Billing

1. 信息收集 (1) Nmap 扫描 bashnmap -T4 -sC -sV -p- 10.10.189.216 输出关键信息&#xff1a; PORT STATE SERVICE VERSION22/tcp open ssh OpenSSH 8.4p1 Debian 5deb11u380/tcp open http Apache 2.4.56 (Debian) # MagnusBilling 应用3306/tcp open …