【docker】虚拟化和docker容器概念

基础了解

IAAS: 基础设施服务,(只提供基础设施,没有系统)

**SAAS: ** 软件即服务,(提供基础设施和系统)

PAAS: 平台即服务,(提供基础设施和系统和软件一个整体平台,拿来用就行)

DAAS:数据库的平台(收集大量数据,提供分析)

开发的具体开发流程

获取项目需求---->分布开发------>测试(测试类型:运行测试、功能性测试、单元测试、回归测试、冒烟测试)----->线上运维。

一、虚拟化技术

1、虚拟化技术的由来

在早期的时候,我们想在线上部署一个应用,我们需要先购买服务器,然后安装操作系统以及各种依赖环境,最后进行应用的部署。

这种情况非常的麻烦。。。。。

  • 部署应用上线的应用过程时间非常长
  • 购买服务器的价格高昂
  • 物理服务器的资源容易浪费
  • 迁移和扩展比较困难

出现了以上问题后,后面就有人提出了 虚拟化技术。

虚拟化技术就是在操作系统上多加了一个虚拟化层(Hypervisor),可以将物理的CPU,内存,硬盘等资源进行虚拟化,再通过虚拟化出来的空间上安装操作系统,这就是我们通常说的虚拟机。

比如:我们将一台32核CPU,64G内存、500磁盘的物理机进行虚拟化,可以创建8台4核CPU、8G内存的虚拟机安装任意的操作系统,这些机器提供给不同的应用去部署,如此提供了资源的利用率,常见的虚拟化技术有:VMWare、KVM、VirtualBox等。

虚拟化技术的优点

  • 提升IT效率
  • 降低运维成本
  • 更快的部署工作
  • 提高应用性能
  • 提高服务器的可用性
  • 消除服务器梳理剧增情况和复杂性

2、CPU的时间分片(CPU虚拟化)

cpu分片前

  • 正常每个人物以轮询的方式去处理,这时候一个CPU一个整体

CPU分片后

  • 按时间划分,将1秒分成10个0.1秒,每个0.1秒可以全力处理10个任务。

虚拟化的作用:缓减/解决了资源利用率的问题。

3、 cpu 虚拟化性能瓶颈

cpu分片后每个任务处理性能会打折

  • 如果是50M或者50M以下的任务,虚拟化后,1s模拟成10个CPU,可以处理10个,虚拟化的性能更高。
  • 如果是50M以上的任务,物理硬件的性能就会比虚拟化的性能强了,因为虚拟化会卡顿,它需要周期性去执行这个任务,消耗的时间也较久。

所以。在极度吃资源的情况系,例如mysql高并发这种,就不适合虚拟化了。

4、虚拟化的工作原理

  • 逻辑分割系统物理资源抽象为可调用的虚拟化资源(KVM:逻辑分割的模块)。

  • hypervisor虚拟资源管理器通过QEMU(I/O控制模块)使用接口与接的方式调用物理资源。

  • 然后hypervisor把调用的虚拟资源给到虚拟机。

4.1 QEMU

①QEMU是I/O控制模块,可以理解成队列, 核心目的是调用资源内核中的资源 ,需要把KVM逻辑分割出来的有资源运输给QEMU,再个虚拟机。

②QEMU它并不是直接调用,而是用I/O方式调用,QEMU把资源用来的过程借用ioctl(运输的作用),QEMU借助libvirt这个工具调用ioctl,再通过接口,给虚拟机程序

4.2 KVM

①用来逻辑分割物理资源,抽象化为虚拟化资源,根据KVM里的配置,会逻辑分割出多少个G,给应用程序,并进行虚拟化。

②只接受来自QEMU的请求指令,对于应用程序直接归来的指令会拦截,然后通过接口发给QEMU,让QEMU判断是否需要执行,可以的话,再发给KVM,不可的话,返回。不执行该敏感指令。

对于workstation而言——》硬件辅助虚拟化,表现形式在处理器里面有一个虚拟化引擎,可以勾取硬件辅助虚拟化,看到虚拟接口/dev/kvm,可以加强辅助调用,在应用程序需要频繁调用的时候,需要开启。比如openstack。

4.3 虚拟化的类型

1**、全虚拟化(寄居架构):**将物理硬件资源全部通过软件的方式抽象化,最后进行调用。

  • KVM----》产品vmware

2、**半虚拟化(裸金属架构):**裸金属虚拟化,需要修改操作系统

  • ESXI—>workstation、vsphere、xen

3、直通:直接使用物理硬件资源(需要支持,还不完善)

二、Docker容器

1、容器化技术的由来

虚拟化技术发展已经非常强大了,那为什么还需要容器化技术呢?

如今的虚拟机解决了基础设计计算,网络,存储着几个方面的弹性,可以非常方便的扩展出应用的资源,但是仍然存在两个问题。

  • 应用扩展问题: 拿双十一举例,应用在平常只需要10台机器,但是在双十一那天可能至少需要准备100台机器,就需要在非常短时间内快速完成部署应用。
  • 环境迁移: 应用开发过程包含了开发–》测试—》预发布—》线上等不同的环境,如何确保每套环境的一致性,这需要投入大量的人力成本,且经常出现因环境差异导致的问题。

在云计算的时代,通常通过自动化脚本的方式解决上面的问题,但是环境差异,导致脚本维护要投入额外的人力,也有团队使用虚拟化镜像,但是镜像大且启动慢,没法满足时效性的要求。

于是,我们来看是否存在一种更加轻巧的虚拟化技术,更容易迁移和扩展应用层业务。-----------》集装箱

正式借鉴了集装箱的解决方案,就有人提出了类似集装箱的方式应用以及他的运行环境,将应用和环境打包成一个轻量化,可移植,自包含的容器。

容器化技术的优势

更高效的系统资源利用率

  • 相比虚拟化技术,不需要额外的hypervisor层,会有更高的心梗和效率,单台高配物理机可以跑上千个docker容器。

启动非常快,秒级时间

  • 这是由于直接运行与宿主机内核,需要启动完成的操作系统,因为可以做到秒级,升值毫秒级的启动时间。

一致的运行环境

  • 容器的镜像封装应用和应用依赖的环境,确保了应用环境的一致性,避免了开发环境、测试环境、生产环境不一致的问题。

持续交付和部署

  • 一次创建和配置之后,可以在任意地方运行,测试人员可以将容器与持续集成系统结合,在pipeline中自动化的完成集成测试,同时运维人员可以通过持续部署系统对应用自动完成部署。

更易于迁移

  • 不管你现在运行在哪里,都可以轻松迁移到物理机,虚拟机,公有云,私有云中,且不需要担心运行环境变化导致应用运行的问题。

局限性

  • 容器隔离性问题,也可是安全性问题,主要是由于共用内核和Namespace(命名空间)实现隔离的限制。
  • 容器里面不存放数据,容器中的数据会随容器消失而消失,特别是对有状态的应用需要做数据的持久化设置。
  • 容器的粒度更细,管理复杂度更大,在生产环境管理大量的容器带来了更大的跳转,依赖于KS8、Swarm等容器编排。

2、什么是Docker?

  • Docker是一个开源的应用容器引擎,基于go语言开发并遵循apache2.0协议开源。
  • Docker是在linux容器里运行的开源工具,是一种轻量的虚拟机。
  • Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自给自足的容器。
  • 目前Docker只能支持64位系统。

总结

容器:提供在多台主机上运行程序相同的运行环境.

docker容器可以看做运行在宿主机上的一个进程,容器共享宿主机的内核,容器间是通过namespace(命令空间)隔离资源,通过cgroups(资源配额)去限制资源。

3、Docker的设计宗旨

Docker 的Logo设计为蓝色鲸鱼,拖着许多集装箱,鲸鱼可以看作为宿主机,集装箱可以理解为相互隔离的容器,每个集装箱中都包含自己的应用程序。

  • Docker的设计宗旨:Build、Ship and Run Any APP ,Anywhere

即通过对应用组件的封装,发布、部署、运行等生命周期的管理,达到应用组件级别的 一次封装,到处运行的 目的。这里的组件,既可以是一个应用,也可以是一套服务,甚至是一个完整的操作系统。

4、Docker的优点

  • 灵活: 即使是复杂的应用也可以集装箱化
  • 轻量级: 容器利用并共享主机内核
  • 可互换: 可以及时部署更新和升级
  • 便捷式: 可以在本机构建,部署到云,并在任何地方运行
  • 可扩展: 可以增加并自动分发容器副本
  • 可堆叠: 可以垂直和及时堆叠服务

docker 和vm,解决了虚拟机的什么问题?

  • docker解决了vm的一个环境孤岛问题

  • docker可以自定义传参,(创建–创建镜像/容器,启动(基于镜像启动)之前)

5、Docker容器和虚拟机的区别

5.1 隔离和共享

虚拟机通过Hypervisor层(虚拟化中间层),虚拟出网卡,内存,cpu等虚拟硬件,再在其上建立虚拟机,每个虚拟机都有自己的系统内核,

Dcoker容器则是通过隔离(namesapce)的方式,将文件系统、进程、设备、网络等资源进行隔离,再对权限,cpu资源等进行控制(cgroup),最终让容器之间互不影响,容器无法影响宿主机。

容器与宿主机共享内核、文件系统,硬件等资源。

5.2 性能与损耗
  • 与虚拟机相比,容器资源损耗要小
  • 同样的宿主机下,能够建立容器的数量要比虚拟机多
  • 但是,虚拟机的安全性要比容器稍好,要从虚拟机攻破到宿主机或其它虚拟机,需要先攻破Hypervisor层,这是极其困难的。
  • 而Docker容器与宿主机共享概念股内核,文件系统等资源,更有可能对其它容器、宿主机产生影响。
特性(不同点)Docker容器虚拟机
部署难度非常简单组件多,部署复杂
启动速度秒级分钟级
执行性能和物理系统一致(共享内核)VM会占用部分资源(50%损耗)
镜像体积(磁盘占用)MB级别GB级别
管理效率简单各组件相互依赖,管理复杂
可管理性单进程完整的系统管理
网络连接借助neutron可以灵活组件各类网络管理
系统支持量(单机)上千个几十个
隔离性进程级别系统级别
封装程度直达包项目代码和依赖关系,共享宿主机内核完整的操作系统,与宿主机隔离

6、 namespace的隔离(命名空间)

docker本质就是宿主机的一个进程,docker是通过namespace实现资源隔离,通过cgroup实现资源限制,通过写时复制技术copy-on-write实现了高效的文件操作。(类似于虚拟机的磁盘,比如分配了500G并不是实际占用物理磁盘500G)

namespace系统调用参数隔离内容(判断两个环境是否完全隔离)
utcCLONE_NEWUTS主机名与域名(同一个环境里不能叫node1又叫node2)
ipcCLONE_NEWWIPC信号量、消息队列和共享内存(不同的应用调用内存资源的时候应该使用不同的内存空间)
pidCLONE_NEWPID进程编号
networkCLONE_NEWNET网络设备、网格栈、端口等
mountCLONE_NEWNS挂载点(文件系统,不能重复挂载一个指定目录)
userCLONE_NEWUSER用户和组(3.8以后的内核才支持)

7、控制组(Control groups)

六种名称空间是由cgroup管理的

最后一种centos的cgroup管理版本是3.8版本,3.6和3.5用不了

  • cgroup管理linux内核态中资源管理的模块
  • cgroup管理一些系统资源
  • 不是docker原生的。

8、 Docker的三个核心概念

8.1 镜像
  • Docker的镜像是创建容器基础, 类似虚拟机的快照,可以理解为一个面向Docker容器的引擎的只读模板。
  • 通过镜像启动一个容器,一个镜像是一个可执行的包,其中包括运行程序所需要的所有内容,包含代码、运行时间、库、环境变量和配置文件
  • Docker镜像也是一个压缩包,只是这个压缩包不只是可执行文件,环境部署脚本,它还包含了完整的操作系统。因为大部分的镜像都是基于某个操作系统来构建的,所有很轻松的就可以构建本地和远程一样的环境,这也是docker镜像的精髓。
8.2 容器
  • **Docker的容器创建的运行实例,**它可以被启动、停止、和删除,所创建的每一个容器都是相互隔离,互不可见的,以保证平台的安全性。
  • 可以把容器看做一个简易版linux环境(包括root用户权限,镜像空间、用户空间和网络空间)和运行在其它的应用程序。
8.3 仓库(Docker Hapu)

公共仓库:docker hub

私有仓库:harhor

  • Docker仓库是用来集中保存镜像的地方,当创建了自己的镜像之后,可以使用push命令将它上传到公有仓库或私有仓库,当下次要在另外一台机器上使用这个镜像时,只需要从仓库获取。
  • Docker的镜像、容器、日志等全部内容都默认存储在/var/lib/docker目录下。

9、 Docker Engine(引擎)

Dcoker Engine 是具有以下主要组件“客户端-服务端(C/S架构)”的应用程序

  • server端: 服务器时一种长期运行的程序,称为守护进程(dockerd命令)
  • client端: REST API,它指定程序可以用来与守护程序进行通信并指示其操作的接口。
  • 命令行界面(cli)客户端(docker命令)

执行命令的是客户端、执行操作的服务端

10、 Docker运行流程

  • 客户端发起各种命令到服务端的守护进程。
  • 服务端的守护进程会调用镜像,如果本地存在,直接使用,运行为容器,如果本地没有,从仓库拉取镜像到本机再运行为容器。

11、使用docker有什么意义

  • docker 引擎 统一基础设施环境-docker容器环境(引擎)

  • docker 引擎统一了程序打包(装箱)方式-docker镜像

  • docker 引擎统一了程序部署(运行)方式-docker容器

镜像------》封装的某一个时刻的服务/应用状态

容器-----》应用跑起来的状态(正常提供服务的状态----运行时)

12、Docker的使用场景

①打包应用程序部署简单

②可脱离底层硬件任意迁移(实现了应用的隔离,将应用拆分并进行解耦)

  • 例如:需要把服务器从腾讯云迁移到阿里云,如果采用的是docker容器技术,整个迁移的过程只需要在新的服务器上启动我们需要的容器上就可以了。

③适合做微服务的部署

④适合持续集成和持续交付(CI/CD):开发到测试到发布

三、其它容器Podman

Podman与Docker主要区别

  • docker在运行容器的时候,需要一个守护进程。其次需要root运行
  • podman不需要守护进程。也不需要root用户运行,
  • docker需要多个daemon才能调用OCI实现运行,
  • podman直接调用OCI,通过common做为容器的管理工具。
  • 在podman体系中,有个称之为common的守护进程,其运行路径通常是/usr/libexec/podman/conmon,它是各个容器进程的父进程,每个容器各有一个,common的父则通常是1号进程。podman中的common其实相当于docker体系中的containerd-shim。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/155579.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SwiftUI 如何动态开始和停止播放永久重复(repeatForever)动画

0. 功能需求 在 SwiftUI 丰富多彩的动画世界中,我们有时希望可以随意开始和停止永久循环(repeatForever)的动画,不过这时往往会产生错误的动画“叠加”效果。 从上图可以看到:虽然我们希望密码输入框背景只在用户输入密码时才发生闪烁,但顶部的密码输入框随着不断输入其…

Linux02 VIM编辑器

Linux02 VIM编辑器 基本上 vi/vim 共分为三种模式, 分别是命令模式(Command mode),输入模式(Insert mode)和底线命令模式(Last line mode)。 三种状态进行切换 插入模式&#xff1a…

Java入门篇 之 内部类

本篇碎碎念:本篇没有碎碎念,想分享一段话: 你不笨,你只是需要时间,耐心就是智慧,不见得快就好,如果方向都不对,如果心术不正,如果德不配位,快就是对自己天分的…

【数值计算方法】矩阵特征值与特征向量的计算(一):Jacobi 旋转法及其Python实现

文章目录 一、Jacobi 旋转法1. 基本思想2. 计算过程演示3. 注意事项 二、Python实现迭代过程(调试) 矩阵的特征值(eigenvalue)和特征向量(eigenvector)在很多应用中都具有重要的数学和物理意义。Jacobi 旋转…

六、流量监管、流量整形

流量监管、流量整形 流量监管、流量整形1.1.定义1.2.简单流分类应用场景举例1.3.简单流分类的配置1.4.复杂流分类1.5.复杂流分类在产品中的实现 ————————————————— 流量监管、流量整形 当报文的发送速率大于接收速率,或者下游设备的接口速率小于…

GitHub 2023报告-开源和AI的现状

GitHub 2023报告-开源和AI的现状 深入探讨人工智能如何与开源互动,以及未来几年可能出现的趋势。 背景介绍 2023年,开源已成为全球软件开发的标准。无论是大公司还是小团队,都广泛使用开源技术进行项目开发。此外,随着机器学习和…

【Java】java | CacheManager | redisCacheManager

一、说明 1、查询增加缓存,使用Cacheable注解 2、项目中已经用到了ehcache,现在需求是两个都用 二、备份配置 1、redisConfig增加代码 Bean("redisCacheManage")Primarypublic CacheManager redisCacheManager(RedisConnectionFactory fact…

CKD TransBTS:用于脑肿瘤分割的具有模态相关交叉注意的临床知识驱动混合转换器

CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer With Modality-Correlated Cross-Attention for Brain Tumor Segmentation CKD TransBTS:用于脑肿瘤分割的具有模态相关交叉注意的临床知识驱动混合转换器背景贡献实验方法how radiologists diagnose b…

【19年扬大真题】已知a数组int a[ ]={1,2,3,4,5,6,7,8,9,10},编写程序,求a数组中偶数的个数和偶数的平均值

【18年扬大真题】 已知a数组int a[ ]{1,2,3,4,5,6,7,8,9,10}&#xff0c;编写程序&#xff0c;求a数组中偶数的个数和偶数的平均值 int main() {int arr[10] { 1,2,3,4,5,6,7,8,9,10 };int os 0;//偶数个数int sum 0;//偶数和float ave 0;//偶数平均值for (int i 0;i <…

关于2023年11月25日PMI认证考试准考信下载及考场规定等事项通知

各位考生&#xff1a;为保证参加2023年11月25日PMI项目管理资格认证考试的每位考生都能顺利进入考场参加考试&#xff0c;请完整阅读本通知内容。 一、关于准考信下载为确保您顺利进入考场参加11月份考试&#xff0c;请及时登录本网站个人系统下载并打印准考信&#xff0c;准考…

Google codelab WebGPU入门教程源码<6> - 使用计算着色器实现计算元胞自动机之生命游戏模拟过程(源码)

对应的教程文章: https://codelabs.developers.google.com/your-first-webgpu-app?hlzh-cn#7 对应的源码执行效果: 对应的教程源码: 此处源码和教程本身提供的部分代码可能存在一点差异。点击画面&#xff0c;切换效果。 class Color4 {r: number;g: number;b: number;a…

论文阅读:“基于特征检测与深度特征描述的点云粗对齐算法”

文章目录 摘要简介相关工作粗对齐传统的粗对齐算法基于深度学习的粗对齐算法 特征检测及描述符构建 本文算法ISS 特征检测RANSAC 算法3DMatch 算法 实验结果参考文献 摘要 点云对齐是点云数据处理的重要步骤之一&#xff0c;粗对齐则是其中的难点。近年来&#xff0c;基于深度…

【机器学习Python实战】线性回归

&#x1f680;个人主页&#xff1a;为梦而生~ 关注我一起学习吧&#xff01; &#x1f4a1;专栏&#xff1a;机器学习python实战 欢迎订阅&#xff01;后面的内容会越来越有意思~ ⭐内容说明&#xff1a;本专栏主要针对机器学习专栏的基础内容进行python的实现&#xff0c;部分…

C++ Qt 学习(十):Qt 其他技巧

1. 带参数启动外部进程 QProcess 用于启动外部进程int QProcess::execute(const QString &program, const QStringList &arguments);QObject *parent; ... QString program "./path/to/Qt/examples/widgets/analogclock"; QStringList arguments; argument…

当前系统并无桌面环境,或无显示器,无法显示远程桌面,您需要自行安装X11桌面环境,或者使用终端文件功能

ToDesk远程遇到的问题如上图&#xff0c;换向日葵直接黑屏&#xff1b; 问题原因 截止发文时间&#xff0c;Todesk只支持X11协议&#xff0c;没有适配最新的Wayland协议&#xff0c;所以我们需要把窗口系统调整为X11才可以。 解决方法 修改配置文件&#xff0c;关闭wayland su…

Spring Cloud Netflix微服务组件-Hystrix

目录 Hystrix的主要功能 传统容错手段 超时机制 应用容错三板斧 超时机制 舱壁隔离 熔断降级 侵入式Command用法 改进版一&#xff1a;ribbon与hystrix组合 改进版二&#xff1a;feign与hystrix组合 Hystrix三态转换图 源码分析 流程图 原理流程图 核心实现流程…

MySQL 的执行原理(一)

5.1 单表访问之索引合并 我们前边说过 MySQL 在一般情况下执行一个查询时最多只会用到单个二级 索引&#xff0c;但存在有特殊情况&#xff0c;在这些特殊情况下也可能在一个查询中使用到多个二 级索引&#xff0c;MySQL 中这种使用到多个索引来完成一次查询的执行方法称之为&…

基于Android个人理财家庭收支系统uniAPP+vue -hbuiderx-微信小程序vj9n8

摘 要 个人理财APP设计的目的是为用户提供对活动信息和提醒信息管理等方面的平台。 与PC端应用程序相比&#xff0c;个人理财的设计旨在为用户提供一个个人理财信息的管理。用户可以通过APP及时收入信息和支出信息&#xff0c;并对提醒消息进行查看等。 个人理财APP是在Androi…

吴恩达《机器学习》9-4-9-6:实现注意:展开参数、梯度检验、随机初始化

一、实现注意:展开参数 在上一个视频中&#xff0c;讨论了使用反向传播算法计算代价函数的导数。在本视频中&#xff0c;将简要介绍一个实现细节&#xff0c;即如何将参数从矩阵展开为向量。这样做是为了在高级最优化步骤中更方便地使用这些参数。 二、梯度检验 在神经网络中…

【2021集创赛】IEEE杯一等奖:一种28GHz高能效Outphasing PA设计

本作品参与极术社区组织的有奖征集|秀出你的集创赛作品风采,免费电子产品等你拿~活动。 团队介绍 参赛单位&#xff1a;电子科技大学 队伍名称&#xff1a;PA调得队 指导老师&#xff1a;王政 参赛队员&#xff1a;倪梦虎、杨茂旋、张振翼 总决赛奖项&#xff1a;一等奖 1.项…