day5 分布式节点

文章目录

  • 1 流程回顾
  • 2 抽象 PeerPicker
  • 3 节点选择与 HTTP 客户端
  • 4 实现主流程
  • 5 main 函数测试。
  • 6 QA

本文代码地址：

本文是7天用Go从零实现分布式缓存GeeCache的第五篇。

  • 注册节点(Register Peers)，借助一致性哈希算法选择节点。
  • 实现 HTTP 客户端，与远程节点的服务端通信，代码约90行

1 流程回顾

在这里插入图片描述

我们在GeeCache 第二天中描述了 geecache 的流程。在这之前已经实现了流程⑴和 ⑶，今天实现流程 ⑵，从远程节点获取缓存值。

我们进一步细化流程 ⑵：

在这里插入图片描述

2 抽象 PeerPicker

day5-multi-nodes/geecache/peers.go

package geecache// PeerPicker is the interface that must be implemented to locate
// the peer that owns a specific key.
type PeerPicker interface {PickPeer(key string) (peer PeerGetter, ok bool)
}// PeerGetter is the interface that must be implemented by a peer.
type PeerGetter interface {Get(group string, key string) ([]byte, error)
}
  • 在这里，抽象出 2 个接口，PeerPicker 的 PickPeer() 方法用于根据传入的 key 选择相应节点 PeerGetter。
  • 接口 PeerGetter 的 Get() 方法用于从对应 group 查找缓存值。PeerGetter 就对应于上述流程中的 HTTP 客户端。

3 节点选择与 HTTP 客户端

在 GeeCache 第三天 中我们为 HTTPPool 实现了服务端功能，通信不仅需要服务端还需要客户端，因此，我们接下来要为 HTTPPool 实现客户端的功能。

首先创建具体的HTTP客户端类 httpGetter，实现 PeerGetter 接口。

day5-multi-nodes/geecache/http.go

type httpGetter struct {baseURL string
}func (h *httpGetter) Get(group string, key string) ([]byte, error) {u := fmt.Sprintf("%v%v/%v",h.baseURL,url.QueryEscape(group),url.QueryEscape(key),)res, err := http.Get(u)if err != nil {return nil, err}defer res.Body.Close()if res.StatusCode != http.StatusOK {return nil, fmt.Errorf("server returned: %v", res.Status)}bytes, err := ioutil.ReadAll(res.Body)if err != nil {return nil, fmt.Errorf("reading response body: %v", err)}return bytes, nil
}var _ PeerGetter = (*httpGetter)(nil)
  • baseURL 表示将要访问的远程节点的地址，例如 http://example.com/_geecache/。
  • 使用http.Get()方式获取返回值，并转换为[]bytes类型。

第二步，为 HTTPPool 添加节点选择的功能。

const (defaultBasePath = "/_geecache/"defaultReplicas = 50
)
// HTTPPool implements PeerPicker for a pool of HTTP peers.
type HTTPPool struct {// this peer's base URL, e.g. "https://example.net:8000"self        stringbasePath    stringmu          sync.Mutex // guards peers and httpGetterspeers       *consistenthash.MaphttpGetters map[string]*httpGetter // keyed by e.g. "http://10.0.0.2:8008"
}
  • 新增成员变量 peers，类型是一致性哈希算法的 Map，用来根据具体的 key 选择节点。
  • 新增成员变量 httpGetters，映射远程节点与对应的 httpGetter。每一个远程节点对应一个 httpGetter，因为 httpGetter 与远程节点的地址 baseURL 有关。

第三步，实现 PeerPicker 接口。

// Set updates the pool's list of peers.
func (p *HTTPPool) Set(peers ...string) {p.mu.Lock()defer p.mu.Unlock()p.peers = consistenthash.New(defaultReplicas, nil)p.peers.Add(peers...)p.httpGetters = make(map[string]*httpGetter, len(peers))for _, peer := range peers {p.httpGetters[peer] = &httpGetter{baseURL: peer + p.basePath}}
}// PickPeer picks a peer according to key
func (p *HTTPPool) PickPeer(key string) (PeerGetter, bool) {p.mu.Lock()defer p.mu.Unlock()if peer := p.peers.Get(key); peer != "" && peer != p.self {p.Log("Pick peer %s", peer)return p.httpGetters[peer], true}return nil, false
}var _ PeerPicker = (*HTTPPool)(nil)
  • Set() 方法实例化了一致性哈希算法，并且添加了传入的节点。
  • 并为每一个节点创建了一个 HTTP 客户端 httpGetter。
  • PickerPeer() 包装了一致性哈希算法的 Get() 方法，根据具体的 key，选择节点，返回节点对应的 HTTP 客户端。

至此，HTTPPool 既具备了提供 HTTP 服务的能力，也具备了根据具体的 key，创建 HTTP 客户端从远程节点获取缓存值的能力。

4 实现主流程

最后，我们需要将上述新增的功能集成在主流程(geecache.go)中。

day5-multi-nodes/geecache/geecache.go

// A Group is a cache namespace and associated data loaded spread over
type Group struct {name      stringgetter    GettermainCache cachepeers     PeerPicker
}// RegisterPeers registers a PeerPicker for choosing remote peer
func (g *Group) RegisterPeers(peers PeerPicker) {if g.peers != nil {panic("RegisterPeerPicker called more than once")}g.peers = peers
}func (g *Group) load(key string) (value ByteView, err error) {if g.peers != nil {if peer, ok := g.peers.PickPeer(key); ok {if value, err = g.getFromPeer(peer, key); err == nil {return value, nil}log.Println("[GeeCache] Failed to get from peer", err)}}return g.getLocally(key)
}func (g *Group) getFromPeer(peer PeerGetter, key string) (ByteView, error) {bytes, err := peer.Get(g.name, key)if err != nil {return ByteView{}, err}return ByteView{b: bytes}, nil
}
  • 新增 RegisterPeers() 方法，将 实现了 PeerPicker 接口的 HTTPPool 注入到 Group 中。
  • 新增 getFromPeer() 方法，使用实现了 PeerGetter 接口的 httpGetter 从访问远程节点，获取缓存值。
  • 修改 load 方法，使用 PickPeer() 方法选择节点，若非本机节点，则调用 getFromPeer() 从远程获取。若是本机节点或从远程节点获取失败，则回退到 getLocally()。

5 main 函数测试。

day5-multi-nodes/main.go

var db = map[string]string{"Tom":  "630","Jack": "589","Sam":  "567",
}func createGroup() *geecache.Group {return geecache.NewGroup("scores", 2<<10, geecache.GetterFunc(func(key string) ([]byte, error) {log.Println("[SlowDB] search key", key)if v, ok := db[key]; ok {return []byte(v), nil}return nil, fmt.Errorf("%s not exist", key)}))
}func startCacheServer(addr string, addrs []string, gee *geecache.Group) {peers := geecache.NewHTTPPool(addr)peers.Set(addrs...)gee.RegisterPeers(peers)log.Println("geecache is running at", addr)log.Fatal(http.ListenAndServe(addr[7:], peers))
}func startAPIServer(apiAddr string, gee *geecache.Group) {http.Handle("/api", http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {key := r.URL.Query().Get("key")view, err := gee.Get(key)if err != nil {http.Error(w, err.Error(), http.StatusInternalServerError)return}w.Header().Set("Content-Type", "application/octet-stream")w.Write(view.ByteSlice())}))log.Println("fontend server is running at", apiAddr)log.Fatal(http.ListenAndServe(apiAddr[7:], nil))}func main() {var port intvar api boolflag.IntVar(&port, "port", 8001, "Geecache server port")flag.BoolVar(&api, "api", false, "Start a api server?")flag.Parse()apiAddr := "http://localhost:9999"addrMap := map[int]string{8001: "http://localhost:8001",8002: "http://localhost:8002",8003: "http://localhost:8003",}var addrs []stringfor _, v := range addrMap {addrs = append(addrs, v)}gee := createGroup()if api {go startAPIServer(apiAddr, gee)}startCacheServer(addrMap[port], []string(addrs), gee)
}

main 函数的代码比较多，但是逻辑是非常简单的。

  • startCacheServer() 用来启动缓存服务器：创建 HTTPPool，添加节点信息，注册到 gee 中，启动 HTTP 服务（共3个端口，8001/8002/8003），用户不感知。
  • startAPIServer() 用来启动一个 API 服务（端口 9999），与用户进行交互，用户感知。
  • main() 函数需要命令行传入 port 和 api 2 个参数，用来在指定端口启动 HTTP 服务。

为了方便，我们将启动的命令封装为一个 shell 脚本：

#!/bin/bash
trap "rm server;kill 0" EXITgo build -o server
./server -port=8001 &
./server -port=8002 &
./server -port=8003 -api=1 &sleep 2
echo ">>> start test"
curl "http://localhost:9999/api?key=Tom" &
curl "http://localhost:9999/api?key=Tom" &
curl "http://localhost:9999/api?key=Tom" &wait

trap 命令用于在 shell 脚本退出时，删掉临时文件，结束子进程。

$ ./run.sh
2020/02/16 21:17:43 geecache is running at http://localhost:8001
2020/02/16 21:17:43 geecache is running at http://localhost:8002
2020/02/16 21:17:43 geecache is running at http://localhost:8003
2020/02/16 21:17:43 fontend server is running at http://localhost:9999
>>> start test
2020/02/16 21:17:45 [Server http://localhost:8003] Pick peer http://localhost:8001
2020/02/16 21:17:45 [Server http://localhost:8003] Pick peer http://localhost:8001
2020/02/16 21:17:45 [Server http://localhost:8003] Pick peer http://localhost:8001
...
630630630

此时，我们可以打开一个新的 shell，进行测试：

$ curl "http://localhost:9999/api?key=Tom"
630
$ curl "http://localhost:9999/api?key=kkk"
kkk not exist

测试的时候，我们并发了 3 个请求 ?key=Tom，从日志中可以看到，三次均选择了节点 8001，这是一致性哈希算法的功劳。但是有一个问题在于，同时向 8001 发起了 3 次请求。试想，假如有 10 万个在并发请求该数据呢？那就会向 8001 同时发起 10 万次请求，如果 8001 又同时向数据库发起 10 万次查询请求，很容易导致缓存被击穿。

三次请求的结果是一致的，对于相同的 key，能不能只向 8001 发起一次请求？这个问题下一次解决。

6 QA

  1. 这里有一个疑惑想问一下博主,如果要将GeeCache进行横向扩展的话,应该如何部署,可不可以将peer部署到其他机器上?
    答：把 IP 和端口换成部署机器的 IP 和端口就可以了。只是测试用例中，在本机启动了三个实例，基于网络通信，部署在哪里都可以。

A :是不是漏掉了从远程节点拿到缓存后更新本地缓存这一步？
B : groupcache 中缓存值只淘汰不更新，也没有超时淘汰机制，这样取舍简化了设计。
A : 我的意思是当请求当前缓存服务器时 此服务器本地没有缓存 接着由当前服务器去请求其他节点服务器 当拿回来缓存值后 不应该更新此服务器的本地缓存吗 ？
B :分布式缓存的目的是不同key缓存在不同的节点上，增加总的吞吐量。如果大家转发请求后，都再备份一次，每台机器上都缓存了相同的数据，就失去意义了。每个节点缓存1G数据，理论上10个节点总共可以缓存10G不同的数据。当然对于热点数据，每个节点拿到值后，本机备份一次是有价值的，增加热点数据的吞吐量。groupcache 的原生实现中，有1/10的概率会在本机存一次。这样10个节点，理论上可以缓存9G不同的数据，算是一种取舍。

  1. 如何才能缓存多个group？是通过go 开辟新goroutine吗？或者是给多个group注册相同的HTTPPool?
    答：都可以，group 和 HTTPPool 是解耦的，可以复用，也可以各自搭配各自的。

  2. 当前版本应该是不支持动态的横向扩展，现在需要把一致性hash中的物理节点提前写在配置中，或者map中，如果我想要新增一个节点怎么办呢，需要重新启动，然后利用peers.Set(addrs…)把新增后的所有节点加进来吗
    答：当前版本只能这样。后续可以将缓存服务注册到注册中心，通过服务发现获取所有节点IP。可以参看带注册中心的版本：https://github.com/peanutzhen/peanutcache

  3. 用户只知晓API:9999.那么API与分布式缓存是一个1对3的关系. 那么当用户查询的时候,首先查询的get是三个缓存中的哪一个呢? 还是说API本身是一个group 本地有, 没有再去三个缓存中找呢? 这个模型实在是没搞清晰 希望指点
    答: api服务绑定了一个本地的geecache服务，这个服务miss的时候，API用consistent hasher 去算出应该去哪个节点找数据。

  4. 获取缓存数据的流程是：从本地缓存查找->从远程节点查找->回调函数，写到本地。如果是这样的话，远程节点是不是就一直没有缓存到数据。数据要么是本地缓存直接得到，要么是本地和远程都找不到，然后回调，写到本地缓存。不知道我理解的正确吗？
    答：不对。远程节点查找的时候，如果在远程节点的缓存中找不到，是调用远程节点的回调函数，存储到远程节点

原文地址: https://geektutu.com/post/geecache-day5.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/48189.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

CTF-Web习题：[BJDCTF2020]Mark Loves cat

CTF-Web习题：[BJDCTF2020]Mark Loves cat

题目链接&#xff1a;Mark Loves cat 解题思路 访问靶机网站后得到如下页面&#xff1a; 先浏览网页&#xff0c;发现最下面有一个"dog"字样&#xff0c;此时翻看源码并没有什么发现 那就例行进行目录扫描&#xff0c;源码泄露扫描&#xff0c;用dirsearch目录扫…
阅读更多...
威尔史密斯太太贾达平特：友谊在迷恋浪漫的世界中很重要 坦言与威尔·史密斯20多年婚姻中犯下的错误

威尔史密斯太太贾达平特：友谊在迷恋浪漫的世界中很重要 坦言与威尔·史密斯20多年婚姻中犯下的错误

这位威尔史密斯的太太、著名演员兼音乐家贾达萍克特史密斯 (Jada Pinkett Smith) 因其在 Facebook Watch 系列《Red Table Talk》中的直言不讳而闻名&#xff0c;她的表达方式证明了她的诚实以及她渴望说出自己的想法。 这段揭露真相的视频讲述了她与威尔史密斯 (Will Smith) …
阅读更多...
在LabVIEW中实现图像矫正

在LabVIEW中实现图像矫正

在LabVIEW中实现图像矫正&#xff0c;特别是将倾斜的笔记本图像&#xff08;如左图&#xff09;校正为正视图像&#xff08;如右图&#xff09;&#xff0c;通常需要以下几个步骤&#xff1a; 1. 获取图像 使用图像采集设备或加载图像文件来获取图像数据。 2. 图像预处理 对…
阅读更多...
鸿蒙语言基础类库：【@system.storage (数据存储)】

鸿蒙语言基础类库：【@system.storage (数据存储)】

数据存储 说明&#xff1a; 从API Version 6开始&#xff0c;该模块不再维护&#xff0c;可以使用模块[ohos.data.storage]。在API Version 9后&#xff0c;推荐使用新模块[ohos.data.preferences]。本模块首批接口从API version 3开始支持。后续版本的新增接口&#xff0c;采用…
阅读更多...
鸿蒙OpenHarmony Native API【HiLog】

鸿蒙OpenHarmony Native API【HiLog】

HiLog Overview Description: HiLog模块实现日志打印功能。 开发者可以通过使用这些接口实现日志相关功能&#xff0c;输出日志时可以指定日志类型、所属业务领域、日志TAG标识、日志级别等。 syscap SystemCapability.HiviewDFX.HiLog Since: 8 Summary Files File …
阅读更多...
springboot服务如何执行sql脚本文件

springboot服务如何执行sql脚本文件

当sql脚本文件包含不同数据库实例sql时&#xff0c;遍历读取sql文件再插入时&#xff0c;由于是不同的数据库实例这种方式就不行了&#xff0c;这时就需要程序直接执行sql脚本。 springboot执行sql脚本 /*** 执行sql脚本* throws SQLException*/ private void executeSqlScri…
阅读更多...
电脑永久性不小心删除了东西还可以恢复吗 电脑提示永久性删除文件怎么找回 怎么恢复电脑永久删除的数据

电脑永久性不小心删除了东西还可以恢复吗 电脑提示永久性删除文件怎么找回 怎么恢复电脑永久删除的数据

永久删除电脑数据的操作&#xff0c;对于很多常用电脑设备的用户来说&#xff0c;可以说时有发生&#xff01;但是&#xff0c;因为这些情况大都发生在不经意间&#xff0c;所以每每让广大用户感觉到十分苦恼。永久删除也有后悔药&#xff0c;轻松找回电脑中误删的文件。恢复文…
阅读更多...
C#定时发送邮件功能

C#定时发送邮件功能

C#定时发送邮件功能 背景 自动运维监控客户端在自动关闭时&#xff0c;需要给实施同学发送提醒邮件。支持163邮箱、qq邮箱、火狐邮箱等各种通用邮箱。 定时器发送邮件 代码 邮件功能模块 using ITSLog.LogManage; using System; using System.Collections.Generic; using…
阅读更多...
使用Python创建和扫描二维码

使用Python创建和扫描二维码

二维码&#xff08;Quick Response code&#xff09;已成为在物理和数字领域之间架起桥梁的多功能工具。从分享联系信息和网站链接到促进支付和跟踪库存&#xff0c;二维码在各个行业中找到了应用。通过利用Python的功能&#xff0c;用户可以自动化生成个性化的二维码&#xff…
阅读更多...
git clone超时的解决方法

git clone超时的解决方法

问题描述&#xff1a;在克隆一个仓库的时候&#xff0c;报错如下 git clone https://github.com/TeamWiseFlow/wiseflow.git Cloning into wiseflow... fatal: unable to access https://github.com/TeamWiseFlow/wiseflow.git/: Failed to connect to github.com port 443 aft…
阅读更多...
【单片机毕业设计选题24074】-基于阿里云的空气质量监控系统

【单片机毕业设计选题24074】-基于阿里云的空气质量监控系统

系统功能: 手机开启2.4G WiFi热点后再给系统上电 系统操作说明&#xff1a; 上电后OLED显示 “欢迎使用空气监控系统请稍后”&#xff0c;两秒后显示Connecting...表示 正在连接阿里云&#xff0c;正常连接阿里云后显示第一页面&#xff0c;如长时间显示Connecting...请 检…
阅读更多...
Nodejs—创建简易WebSocket通信过程详解

Nodejs—创建简易WebSocket通信过程详解

文章目录 安装NodejsWindows 安装Linux 源码安装 WebSocket简介WebSocket 与 AJAX 轮询的区别WebSocket的属性核心事件处理器 WebSocket使用示例设置 Node.js WebSocket 服务器创建客户端 HTML 页面运行 WebSocket 服务器和客户端 安装Nodejs Windows 安装 下载地址&#xff…
阅读更多...
发现FionaAI：免费体验最新的GPT-4o Mini模型！

发现FionaAI：免费体验最新的GPT-4o Mini模型！

你现在可以在FionaAI上免费体验OpenAI刚刚发布的GPT-4o Mini模型&#xff01;作为您在Google Chrome中的ChatGPT驱动助手&#xff0c;FionaAI可以随时随地与您对话&#xff0c;帮助您轻松创作和处理文本。 为什么选择GPT-4o Mini&#xff1f; 最新技术&#xff1a;GPT-4o Mini是…
阅读更多...
8个特征工程技巧提升机器学习预测准确性

8个特征工程技巧提升机器学习预测准确性

引言 对于机器学习从业者来说&#xff0c;掌握各种特征工程技巧是非常有帮助的。毕竟&#xff0c;特征是影响机器学习和深度学习模型实时表现的关键因素。在机器学习领域&#xff0c;提升模型预测准确性的关键之一是选择合适的特征&#xff0c;并剔除那些对模型性能影响不大的特…
阅读更多...
git修改提交姓名

git修改提交姓名

git config --global user.name “新用户名” git config --global user.email “新邮箱地址” 修改提交的用户名 git config --global user.name “yu***”
阅读更多...
Vue 多选下拉框+下拉框列表中增加标签

Vue 多选下拉框+下拉框列表中增加标签

1、效果图 2、代码部分 &#xff08;1&#xff09;代码 <el-select class"common-dialog-multiple multipleSelectStyle" change"clusterListChange" v-model"form.clusterId" placeholder"请先选择" multiple filterable defaul…
阅读更多...
【C++】STL-map的使用

【C++】STL-map的使用

目录 1、map的简述 2、map的使用 2.1 insert 2.2 operator*、operator-> 2.3 operator[] 3、multimap 1、map的简述 map与set一样是关联式容器 map就相当于二叉搜索树中的KV模型&#xff0c;底层是使用红黑树实现的&#xff0c;仿函数默认是less&#xff0c;即比根小…
阅读更多...
在 PostgreSQL 中如何实现数据的加密存储？

在 PostgreSQL 中如何实现数据的加密存储？

&#x1f345;关注博主&#x1f397;️ 带你畅游技术世界&#xff0c;不错过每一次成长机会&#xff01;&#x1f4da;领书&#xff1a;PostgreSQL 入门到精通.pdf 文章目录 在 PostgreSQL 中如何实现数据的加密存储&#xff1f;一、为什么要进行数据加密存储&#xff1f;二、P…
阅读更多...
如何证明员工有泄密行为，哪款软件可以提供这样的帮助？

如何证明员工有泄密行为，哪款软件可以提供这样的帮助？

如果员工泄密&#xff0c;如何证明员工有泄密行为&#xff1f; 证明员工有泄密行为通常需要以下几个步骤&#xff1a; 监控与记录&#xff1a;通过DLP&#xff08;数据防泄漏&#xff09;系统实时监控员工的行为&#xff0c;包括文件操作、数据传输、邮件发送等。分析行为&am…
阅读更多...
RESTful API设计指南：构建高效、可扩展和易用的API

RESTful API设计指南：构建高效、可扩展和易用的API

文章目录 引言一、RESTful API概述1.1 什么是RESTful API1.2 RESTful API的重要性 二、RESTful API的基本原则2.1 资源导向设计2.2 HTTP方法的正确使用 三、URL设计3.1 使用名词而非动词3.2 使用复数形式表示资源集合 四、请求和响应设计4.1 HTTP状态码4.2 响应格式4.2.1 响应实…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023