分布式学习基础知识

    • 网络通讯,网络是分布式的基础,对分布式的理解建立在对网络的理解上,包括:
      • OSI模型的7层
      • TCP/IP,DNS,NAT
      • HTTP,SPDY/HTTP2
      • Telnet
    • 网络编程,是通过程序在多个主机之间通信。包括:
      • Socket
      • 多线程
      • 非阻塞IO
      • 网络框架
        • Netty
        • Mina
        • ZeroMQ
    • 操作系统的网络部分
    • RPC,Socket使用不是很方便,很多分布式应用是基于RPC的,包括:
      • 同步RPC
      • 异步RPC
      • 主要的一些RPC协议
        • RMI
        • Rest API
        • Thrift
    • 集群,分布式计算离不开集群。集群就是多台主机被当作一个系统
      • 集群类型
        • 高可用,如主机备机切换,冷备,热备,双活
        • 伸缩性,如Web服务器集群,数据库服务器的Sharding
        • 并行计算,如网格,大数据
      • 集群相关技术,包括:
        • 高可用性,保证服务一直能够被访问,延长MTBF,缩短MTTR
          • 冗余的设备
          • 多副本,为了避免单点失效
        • 负载均衡,如何将大量工作负载分配到多个主机上,最大化吞吐量,最小化平均响应时间,最大化资源利用率。
        • 伸缩性(横向),能够添加计算机和设备来应对增长的计算压力
        • 分片(Sharding),把数据分成多个数据集,由多个服务器来分别处理。
          • 自动分片
        • 容错性,当硬件或软件发生故障,能够继续运转
        • 故障检测,以及故障预测
          • 心跳包
          • 告警
          • 性能预警
        • 故障转移,当出现错误,如何解决,为了高可用性和容错性
        • 分布式一致性,在分布式环境中如何维持状态的一致性,严格一致性,还是最终一致性
        • 集群状态协调,如Zookeeper,etcd等。
          • 分布式锁,在分布式环境中如何进行加锁
          • 选主,当Master宕机,如何选择出新的Master,协议如Raft
        • 一致性哈希,如何将数据分布到集群中的多个主机。
        • 分布式事务,保证在多台服务器上完成的操作符合事务的ACID属性。
    • 安全,网络通常需要保证安全。
      • 身份认证,如何验证人或机器是他们声明的身份
        • 基于用户名/口令
        • 基于数字证书
      • 私密性,如何防止窃听和嗅探
        • 对称加密
        • 非对称加密
      • 完整性,如何保证数据不被篡改
        • 安全散列
        • 消息认证码(MAC)
      • 不可否认性
        • 基于数字证书的数字签名和验签
        • 基于密钥的散列,如HMAC
    • 互联网站的基本架构
      • 页面缓存
      • 负载均衡器,如HAProxy,Nginx
      • 分布式缓存,如Memcache,Redis
      • 消息队列,如ActiveMQ,Kafka
    • 分布式框架
      • 关系型数据库(Sharding,主从同步)
      • NoSQL
        • HBase,基于HDFS和Zookeeper的NoSQL
        • Cassandra,无主集群
      • 大数据
        • HDFS,分布式文件系统
        • MapReduce,将数据处理任务拆分为多个工作,通过集群来完成。
        • Spark,提供分布式的数据集抽象

转载于:https://www.cnblogs.com/minjay/p/6742953.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/252843.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

django中FastDFS客户端与自定义文件存储系统

什么是FastDFSFastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传…

新近碰到的病毒(TR.Spy.Babonock.A)

先来段Microsoft的说明: Worm:Win32/Babonock.A Alert level: Severe Detected with Windows Defender Antivirus Also detected as:Worm/Win32.AutoIt (AhnLab)Trojan-Spy.Win32.AutoIt.p (Kaspersky)Worm/Autoit.ANVE (AVG)TR/Spy.Babonock.A (Avira)Win32/Autoit…

镜头基本参数

非常好的文章 ,下载不了,但是会经常阅读。 https://wenku.baidu.com/view/47a7deddee06eff9aff8074e.html?rec_flagdefault&sxts1529650964474

Linux课程笔记 Day09 课上内容总结 MySql,Php的安装及Apache,Nginx,Php的优化

一 MySql 1.1 如何选择MySql的版本 1.2 MySql单实例安装 (1) 建立mysql用户 首先以root身份登陆到linux系统,然后执行如下命令创建mysql用户及用户组 [roottest3 ~]# groupadd mysql [roottest3 ~]# useradd -s /sbin/nologin -g …

jenkins 通过自动拉取Gitlab上的代码实现自动更新NGINX

所需要用到的环境: Gitlab: 172.20.7.70Jenkins: 172.20.7.71nginx: 172.20.7.72 gitlab 和Jenkins安装自行百度 开始实验操作 首先通过网页访问nginx,nginx默认测试页我是改了的 ,所以看到的不是它原…

Kylin工作原理、体系架构

核心思想:预计算。 对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,并存在HBase中,供查询时直接访问 将高复杂度的聚合运算、多表连接……操作转换成对预计算结果的查询。决定了Kylin拥有很好的快速查询、高并发能…

工业相机图像传感器的靶面大小

在机器视觉中,工业相机是一种比较重要的配件。而在 工业相机中,图像传感器又是最最关键核心的东西。而图像传感器的靶面的大小,往往直接关系到成像的质量。通常来讲,图像的成像质量与像素的大小成正比。这也就意味着,同…

SpringMVC+Mybatis学习

简单Web项目搭建&#xff1a; 一.流程 1. 导包 n个springMVC&#xff1b; 2个mybatis<其中一个是mybatis-spring>&#xff1b; 3个jackson包&#xff1b; 2. xml配置 web.xml和applicationContext.xml 3. 建包&#xff0c;建接口&#xff0c;建类 4. 建jsp 二&#xff1a…

PPT怎么在线转视频?

PPT在线转视频的方法有哪些&#xff1f;在PPT中有些播放上的问题还是可以进行文件的转换&#xff0c;下面就给大家简单的介绍一下方法。步骤一&#xff1a;PPT转视频的直接方法是进入迅捷PDF在线转换器网站中&#xff0c;点击导航栏中的视频音频转换中的PPT转视频&#xff1b; …

At least one JPA metamodel must be present!

使用spring jpa是一直报这个错&#xff0c;找了两天网上没有找到答案&#xff0c;最后发现时配置配错了&#xff0c;如下&#xff1a; <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa<…

夜貓子”必需的!——融合夜視技術

融合夜視技術是一項正在發展中的前沿技術&#xff0c;通過將多個工作在不同波段的夜視傳感器獲得的圖像經過處理後生成高質量的融合圖像&#xff0c;融合圖像的分辨率更高&#xff0c;能夠揭示出那些很難被看到的特徵。按照融合的方式&#xff0c;融合夜視技術可以分為數字融合…

Vue中登录模块

转载于:https://www.cnblogs.com/DZzzz/p/8921783.html

unity 中的UGUI 屏蔽鼠标穿透

void Update() { if(IsTouchedUI()) { Debug.Log("当前触摸在UI上"); } else { Debug.Log("当前没有触摸在UI上"); } } void OnMouseDown() { if(IsTouchedUI()) { Debug.Log("当前触摸在UI上"); } else { Debug.Log(&qu…

深度解析红外探测器

辐射/设计/技术之前我们跟大家解析了红外探测器的相关性能参数。 对于红外探测器的工作原理你了解多少呢&#xff1f;今天小编再继续上次的讲解&#xff0c;为大家解析非制冷红外焦平面探测器技术原理 及机芯介绍。 非制冷红外技术原理 非制冷红外探测器利用红外辐射的热效应&a…

js基础总结性能优化

一.加载和执行1.推荐所有的script标签尽可能放到body标签的底部&#xff0c;以尽量减少对整体页面下载速度的影响。2.组织脚本减少页面包含的scirpt标签数量&#xff0c;可以把多个文件合并成一个。3.无阻塞脚本1&#xff09;.延迟脚本defer:html解析完才加载&#xff0c;执行顺…

Python2 Python3 爬取赶集网租房信息,带源码分析

*之前偶然看了某个腾讯公开课的视频,写的爬取赶集网的租房信息,这几天突然想起来,于是自己分析了一下赶集网的信息,然后自己写了一遍,写完又用用Python3重写了一遍.之中也遇见了少许的坑.记一下.算是一个总结.*python2 爬取赶集网租房信息与网站分析 分析目标网站url寻找目标标…

红外热成像技术原理

目前&#xff0c;新的热成像仪主要采用非致冷焦平面阵列技术&#xff0c;集成数万个乃至数十万个信号放大器&#xff0c;将芯片置于光学系统的焦平面上&#xff0c;无须光机扫描系统而取得目标的全景图像&#xff0c;从而大大提高了灵敏度和热分辨率&#xff0c;并进一步地提高…

网站中公用头部与尾部

一、html 1. <iframe src"1.html" frameborder"0"></iframe> 2. <embed src"1.html"/> 二、写公用的js 文件&#xff0c;js中写字divde符串&#xff0c;然后在需要的页面适当位置引入公用的js. 三、ajax动态拉取填充 四、后端…

基于webpack的PC端和mobile端开发以及生产环境的搭建

我们用webpack做单页面应用开发应该尝试过很多次了&#xff0c;如果在同一个项目需要支持PC端和移动端&#xff0c;做成多页面应用&#xff0c;开发时能根据请求的终端返回不同的内容&#xff0c;应该怎么做呢&#xff1f;以下描述的是我尝试的一种方案&#xff0c;并且以vue-c…

深度学习简介(一)——卷积神经网络

本文的主要目的&#xff0c;是简单介绍时下流行的深度学习算法的基础知识&#xff0c;本人也看过许多其他教程&#xff0c;感觉其中大部分讲的还是太过深奥&#xff0c;于是便有了写一篇科普文的想法。博主也是现学现卖&#xff0c;文中如有不当之处&#xff0c;请各位指出&…