l3asnumanode 设置_linux numa 配置

Cassandra操作 本文档操作都是在单数据中心,Vnode上操作

1.1. 添加节点到集群中 1.1.1. 添加非seed单节点 1.在新节点上安装Cassandra,但不要启动

2.修改cassandra.yaml文件:

cluster_name – 新节点加入集群名称

listen_address/rpc_address – 新节点IP

seed_provider – 集群seeds列表

3.启动新节点Cassandra

4.使用nodetool status验证节点是否启动完毕:状态为UN

5.运行nodetool cleanup(或OpsCenter)在集群节点上:移除脏数据(建议在低峰执行)

1.2. 添加非seed单节点案例: 已经存在Cassandra集群:

cluster_name = ‘Test Cluster’ xxx_address = 192.168.92.148 seed_provider = 192.168.92.148 wKiom1cppL3B4g3eAAAi2QSK7_A312.png

添加新节点192.168.92.149:

1.安装Cassandra

参考《Cassandra教程》

wKioL1cppdWBh1E0AAAqS7BJjj8685.png

2.修改cassandra.yaml

cluster_name:

wKiom1cppRyQgL1OAAAJH-7ICJM624.png

seed_provider

wKiom1cppTGRTNDYAAAFzgKBsxI614.png

listen_address:

wKiom1cppUKSINlaAAARH9Y2M4k195.png

rpc_address:

wKioL1cppiuSXaHTAAAwhOPL0cU905.png

3.启动Cassandra

wKiom1cppWrQEh_ZAAAHfko1RTA314.png

4.验证新节点192.168.92.149是否启动完毕

wKioL1cpplGjOAObAAAwiZhPyqs058.png

5.删除192.168.92.148上的脏数据

wKioL1cppnDRvX69AAAJU_XNzH8484.png

或者

wKiom1cppa6zkjcMAAEQ_CWmkCk571.png

1.1.3. 添加非seed多个节点 步骤参考1.1.1,唯一不同点步骤3,启动Cassandra需要同时启动,避免数据多次迁移。

wKiom1cppcXgG_yVAAATIyr-29o972.png

wKioL1cppqqx_7fCAAAJIH1hzKU774.png

1.1.4. 添加seed节点 由于seed需要修改cassandra.yaml文件,所以需要重启所有节点

1.先将seed作为非seed节点安装启动,完成数据迁移操作

步骤参考1.1.1

2.修改所有节点的cassandra.yaml文件,添加seed

3.重启所有节点

1.2. 替换一个dead节点 由于一些硬盘损坏等原因,需要执行替换dead节点

1.确保dead节点状态为DN,使用nodetool status:

wKioL1cppsGzufqHAADpeBCNoHM141.png

注意Address需要在下面步骤用到

2.修改新节点cassandra.yaml文件:参考1.1.1

3.启动新节点,使用replace_address选项:

$ sudo bin/cassandra -Dcassandra.replace_address=address_of_dead_node

删除节点:参考1.4(建议72小时之后操作,确保gossip删除掉了老节点)

1.3. 替换一个running节点 由于升级新硬件等原因,需要使用新节点替换

添加新节点到集群中,参考步骤1.1.1

确保替换running节点状态为UN,使用nodetoolstatus:

wKiom1cpphiDrWPlAAA1B_i8fJk015.png

4.删除running节点,参考1.4

1.4. 删除节点 1.4.1. 删除UN状态节点 运行nodetooldecommission删除UN节点

wKioL1cppv_j7ZivAAAH3iGF5ks849.png

或者:

wKiom1cppjmTCRaaAAE-5vBVfQI416.png

1.4.2. 删除DN状态节点 运行nodetoolremovenode命令

wKiom1cppkrQRrCpAAAItR3PQ6g995.png

注意 如果以上步骤无法删除,可能是由于节点存在脏数据,请运行nodetool assassinate,强制删除

1.5. 修改ReplicationFactor 1.5.1. ReplicationFactor减少 运行nodetool cleanup,删除脏数据

或者:

wKioL1cpp0Situ8oAAEQ_GnCSZU529.png

1.5.2. ReplicationFactor增加 运行nodetool repair,迁移数据

或者:

wKioL1cpp2bw3WA-AAEwA_ieu7E092.png

Cassandra优化 2.1. 安装前配置建议 2.1.1. 安装jemalloc jemalloc适合多线程下内存分配管理 wget http://www.canonware.com/download/jemalloc/jemalloc-3.6.0.tar.bz2 tar xjf jemalloc-3.6.0.tar.bz2 cd jemalloc-3.6.0 ./configure make &&make install echo '/usr/local/lib'>/etc/ld.so.conf.d/local.conf ldconfig wKioL1cpp5HyAG8oAAA3jpQPa8Y101.png

2.1.2. 安装NTP (略) 2.1.3. Commit log和data目录在独立硬盘 wKioL1cpp6PyIWveAAAvC7KYWAI807.png

wKiom1cppt2gKIqAAAAhpSf2WaI010.png

2.1.4. 硬盘类型 硬盘类型

SSD(微秒)

SAS(毫秒)

SATA(秒)

延迟

100~120

8~40

15

2.1.5. Linux优化 1.文件操作符

/etc/security/limits.conf

nofile 65535

memlock unlimited – nofile 32768 – as unlimited /etc/security/limits.d/90-nproc.conf

nproc 32768

2.Swap

/etc/sysctl.conf

vm.max_map_count = 131072 #最大限度使用物理内存 vm.swappiness = 0 使之生效

sysctl -p

永久关闭swap

swapoff –a /etc/fstab:注释掉swap

wKiom1cppyKA6sJrAAAzLjQpz9o105.png

3.NUMA

echo 0 > /proc/sys/vm/zone_reclaim_mode 4.文件系统类型

EXT4 2.1.6. 磁盘阵列RAID优化 使用高效性能RAID0 sudo blockdev --setra 128 /dev/ 2.1.7. cassandra-evn.sh配置建议 JVM配置在cassandra-evn.sh中

MAX_HEAP_SIZE

生产环境建议8G

wKiom1cpp1GwzHp0AACEXhULvLs062.png

HEAP_NEWSIZE

一般设置为MAX_HEAP_SIZE的1/4

添加cassandra压缩线程级别,减少其资源占用

-Dcassandra.compaction.priority=1 打开JVM压缩,减少内存占用,适用于64位JVM

-XX:+UseCompressedOops wKiom1cpp4KxPqHZAABZY1Ttqvc623.png

2.1.8. cassandra.yaml配置建议 concurrent_reads:16 * number_of_drives concurrent_counter_writes:16 * number_of_drives concurrent_writes:8 * number_of_cores #使用Memory Mapped File IO,性能超过Standard IO,64位 disk_access_mode: mmap #write性能提升5% memtable_allocation_type: offheap_objects

2.2. 安装后监控——定位——优化 2.2.1. nodetool tpstats 线程池使用统计,看是否有积压线程

wKiom1cpp6nTmTMAAABUQAaTpeo434.png

或者使用OpsCenter

wKioL1cpqJCz6-lvAAA-lJo_EU0610.png

wKioL1cpqKWDALVwAAAmDlC-FsU281.png

2.2.2. Read Requests/Write Requests 结合CPU和Disk使用监控,来判断系统每秒可以支持的操作数量

wKiom1cpp_DQtQE8AABRdkfpp3w679.png

wKioL1cpqMbC1TDwAAA-wD4PguY526.png

2.2.3. total Memtable size 与内存使用比较,确保大的memtable不会导致内存竞争,大的memtable有利于写多读少情况

wKioL1cpqOKCHLMgAAAk_7lutxM979.png

2.2.4. SSTable count 确保sstablecount比较低(个位数),每次读操作会检查所有sstable,太多的sstable影响read性能

wKioL1cpqPaDs7LMAAAncf0Pt6g071.png

2.2.5. total bytes compacted 确保不会发生频繁操作

wKioL1cpqQiwB3gFAAA_LtjQpYs529.png

2.2.6. read latency/write latency 确保延迟在可接受范围之内,不包含网络延迟

wKioL1cpqSPCdxQWAAAnjLcjGm4907.png

wKiom1cpqE6TT1WAAAAnQwgF-7o431.png

出问题后定位

writelatency写响应平均时长(以毫秒为单位)。依赖于consistency level和replication factor,也包含了写replicas的网络延迟

read latency受到硬盘,网络和应用程序读的方式等影响。比如,使用二级索引,读请求数据大小,client需要的consistencylevel都将影响readlatency。I/O的争用也会增加read latency。当SSTables有很多碎片,compaction跟不上写负载则读也会变慢。

2.2.7. partition size 监控表分区大小,确保max不超过100M

wKiom1cpqG2zVpQaAAAl8484Yio823.png

2.2.8. cell count 监控表cell count,确保不超过20亿

wKioL1cpqVeCp-SOAAAkXqDKpLU110.png

2.2.9. write Read active 读写请求数

wKioL1cpqWnjxZXkAAAqG5kF0pA383.png

2.2.10. OS系统监控 监控CPU、Memory、Disk的使用率、饱和度。

wKioL1cpqYzy_ASAAAAhDAPQE1U728.png

wKiom1cpqLjjAFHLAAAlkQpGBhY571.png

wKioL1cpqY3QeNSrAAAhZsQei-k449.png 转载于:https://blog.51cto.com/eric100/1770036

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/520615.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实时计算 Flink性能调优

自动配置调优 实时计算 Flink新增自动调优功能autoconf。能够在流作业以及上下游性能达到稳定的前提下,根据您作业的历史运行状况,重新分配各算子资源和并发数,达到优化作业的目的。更多详细说明请您参阅自动配置调优。 首次智能调优 创建…

VS Code 大佬高效开发插件

插件名称功能Chinese (Simplified) Language中文菜单界面ESLint代码检查工具veturVue.js智能提示Git History DiffGit版本记录显示工具GitLens — Git supercharged增强版的 Git 管理工具Auto Close Tag自动关闭标签Auto Rename Tag修改HTML标签,修改一个另一个自动…

双11期间,请关爱程序员!

世界上有这么一群人~ 双11期间,请关爱程序员! 世界上最远的距离 不是天涯海角 而是你在狂欢 我在敲代码,改bug 致敬所有的程序员欧巴 愿代码的世界,只有爱,没有伤害!! 如果你是程序员的…

神作!3万程序员在学,这本深度学习宝典刷爆IT圈!

深度学习在过去5年处于爆发式增长状态,在人工智能领域占据主导地位。据Gartner统计,深度学习的专家职位从2014年之后才开始出现,不过到2018年,市面上大概就有40,000多深度学习专家的职位空缺。而且这些需求大多来自Facebook、Appl…

计算机软件中汇编程序是一种,计算机系统软件中的汇编程序是一种()。

摘要:疼痛,计算机系件中热、痛皮色不红、不,为E,缓者则痛得暖。下列和间关于直接经验接经验,编程的说错误法有。形式认识这种属于,计算机系件中香味人闻果的一个到苹,莱果的颜色看到。...疼痛&a…

取某个单元格的值_vba中如何进行单元格复制,Copy方法使用介绍,一定要学

NO.1在Excel操作过程当中,除了给表格输入内容就数单元格复制最常用了,通常快捷方法有Ctrlc,Ctrlv。不用说,这种方法对于操作十分方便,那么如何利用代码来实现复制功能呢!因为在编程过程中,会用到…

Visual Studio Code(VScode)设置为中文界面

安装插件重启即可: 名称: Chinese (Simplified) Language Pack for Visual Studio Code

重磅!阿里云发布业界首款SaaS化防火墙

近日,阿里云发布了业界首款SaaS化防火墙,一键开启,无需复杂网络接入配置,适用于所有在云上部署了重要业务资产的客户,特别是企业级客户。 对于用户来说,即开即用,操作简单,无需传统…

省培计算机实践作业,计算机软件基础强化实践能力培养实践部分考核作业.doc...

计算机软件基础强化实践能力培养实践部分考核作业V:1.0 精选考核制度 计算机软件基础强化实践能力培养实践部分考核作业 2020- -6 6- -8 8《计算机软件基础》强化实践能力培养实践部分考核作业(1) 《计算机软件基础》强化实践能力培养实践部分考核作业 强化实践能力培养的考核要…

阿里云全球首推流量型独享虚拟主机新规格,网络访问速度最高提升400%

近日,为了提升用户网站访问体验,阿里云虚拟主机宣布推出流量型独享虚拟主机新规格,流量型独享虚拟主机新规格可以提供高速流量包,提高访问速度。在高速流量包用尽后,网站也不会关停,可自动降为低带宽模式&a…

jq父级绑定事件的意义_js、jq事件绑定方式总结——以click事件为例

一、JavaScript点击事件绑定方法1.1 HTML onclick事件属性1 click me1 functionclickMe(this) {2 alert("click me");3 }1.2 JavaScript onclick事件1 click me1 document.getElementById("button").οnclickclickMe;1.3 IE41 click me1 2 alert("cli…

VScode 常用快捷键

快捷键说明CtrlTab已打开文件之间选择切换Ctrld双击关键词,依次选中CtrlAlt↓或者CtrlAlt↑垂直批量编辑ShirtAlt↓复制当前行Alt↓或者Alt↑移动当前行Ctrl\切出一个新的编辑器CtrlW关闭窗口CtrlC如果不选中,默认复制一整行CtrlEnd移动到文件结尾CtrlHo…

阿里云文件存储的高性能架构演进之路

10月27日下午,2018中国计算机大会上举办了主题“数据中心计算”的技术论坛,一起探讨解决数据中心所面临的挑战。论坛上,阿里云分布式存储团队高级技术专家田磊磊进行了《阿里云文件存储的高性能架构演进之路》的报告。 专家简介 田磊磊&…

阿里巴巴黄贵谈存储新硬件带来数据库的机遇

10月27日下午,2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛,共同探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上,阿里数据库资深技术专家黄贵针对存储软硬件国产化进行了《存储新硬件给数据库自…

项目实战Git团队操作_图形化版本

文章目录一、分支思路1. Git命令常用理解记忆2. 分支换分规则3. 线上发布准备二、 实战前期准备2.1. 在远程仓库创建kernel_system项目2.2. 将远程仓库克隆到本地2.3. 本地准备操作三、场景实战模拟提交3.1. Git合并某个分支的某/多次提交到指定分支3.2. Git合并分支3.3. 回滚/…

为什么程序员总是打扮成这样一幅鬼样子

1几千年来,时尚像病毒一样不断进化,横扫世界。它遇神杀神,遇佛杀佛。遇到程序员后,含羞自尽。因为程序员是时尚休止符。因为他们习惯以不变应万变。夏季三大件:格子衫沙滩裤人字拖。冬季三大件:冲锋衣牛仔裤…

text显示下标的字体 unity_请教各位一个问题,脚本显示数组下标越界,求教是什么问题?...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼private GameObject playerSprite;public GameObject [] playerHeroSprite;private int index 0;void Update() {ChangeCharacter();}void ChangeCharacter()//角色切换{if (Input.GetKeyDown(KeyCode.R)){index ;if (index >p…

基础计算机b卷,计算机应用基础B卷.doc

计算机应用基础B卷.doc (6页)本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦!9.9 积分《计算机应用基础》模拟试卷B (闭卷)一、单项选择题(本大题共40个小题,每题2分&#xff0…

阿里云大数据总监:计算让城市更智能

10月25日,2018中国计算机大会上举办了主题是智慧城市下个十年:智在“数”还是“术”的技术论坛。目前,城市已经具备了丰富多样的大数据积累,成体系的数据管理标准,开放自由的数据流动环境等重要基础,但对于…

创新小组 实战Git团队企操作手册_精华版本

文章目录一、入门试炼1. Git命令理解准则2. Git分支换分思路3. 线上发布准备二、 实战前期准备二、场景实战模拟提交准备3.1. Git合并某个分支的某一/多次提交到指定分支3.2. Git合并分支3.3. 回滚/撤销指定某一/多次提交(建议使用,雁过留声、人过留名)3.4. Git合并…