华为云云耀云服务器L实例评测|使用clickhouse-benchmark工具对ClickHouse的性能测试

目录

引言

1 ClickHouse简介

2 利用docker安装ClickHouse

2.1  安装Docker

2.2 下载ClickHouse Docker镜像

2.3  创建ClickHouse容器

2.4 访问ClickHouse

3 创建测试表

4 运行 clickhouse-benchmark

5 分析结果

结语


引言

利用华为云的云耀云服务器L实例,配置为22GB内存和3M带宽,操作系统为CentOS 7.9,您可以轻松进行 ClickHouse 的性能测试。ClickHouse自带了一个强大的性能测试工具,即clickhouse-benchmark,您可以使用它来评估ClickHouse在这个配置下的性能表现。

这个测试将帮助您了解ClickHouse在处理大规模数据和复杂查询时的性能,以确保它能够满足您的数据分析和存储需求。通过模拟各种查询和负载,您可以获得关于查询响应时间、吞吐量和资源利用率的有用信息,以优化性能并确保您的分析工作流畅运行。最终,这种性能测试可帮助您确保您的ClickHouse部署在华为云上能够高效处理您的数据分析任务。

1 ClickHouse简介

ClickHouse是一款开源的、用于高性能列式数据库管理系统的软件,旨在处理大规模数据分析和查询任务。它由俄罗斯搜索引擎公司Yandex开发,并在开源社区中广泛使用和支持。ClickHouse的设计目标是提供出色的性能、可伸缩性和效率,使其成为处理大型数据集、复杂查询和实时数据分析的理想选择。

ClickHouse采用了列式存储的方式,这意味着它以列的形式存储数据,而不是行。这使得它在聚合、过滤和查询大量数据时具有出色的性能。它还支持分布式架构,允许您在多个节点上进行数据存储和处理,以应对高负载和大规模数据集。

2 利用docker安装ClickHouse

使用Docker安装ClickHouse是一种快速、方便的方法,特别适合测试、开发和快速部署。以下是使用DockerCentOS上安装ClickHouse的基本步骤:

2.1  安装Docker

首先,确保您的CentOS服务器上已经安装了Docker。如果尚未安装Docker,可以使用以下命令进行安装:

sudo yum install -y docker

然后,启动Docker服务并设置它在系统启动时自动启动:

sudo systemctl start dockersudo systemctl enable docker

2.2 下载ClickHouse Docker镜像

ClickHouse有官方维护的Docker镜像,可以在Docker Hub上找到。使用以下命令从Docker Hub下载ClickHouse镜像:

​​​​​​​docker pull yandex/clickhouse-server

这将下载ClickHouse服务器的最新版本。

2.3  创建ClickHouse容器

一旦镜像下载完成,您可以创建一个ClickHouse容器并运行它。以下是创建容器的基本命令:

docker run -d --name clickhouse-server -p 8123:8123 yandex/clickhouse-server

-d 标志表示在后台运行容器。

--name clickhouse-server 指定容器的名称。

-p 8123:8123 将容器的ClickHouse端口映射到主机的8123端口。这使得可以通过主机上的8123端口访问ClickHouse服务器。

对华为云服务器的安全组策略进行配置,将入方向规则的8123端口放开。

2.4 访问ClickHouse

容器已经运行后,您可以通过浏览器或ClickHouse客户端连接到ClickHouse服务器。在浏览器中访问 http://localhost:8123

使用ClickHouse客户端工具,如clickhouse-client。连接到 ClickHouse

现在,我们可以使用任何与ClickHouse兼容的客户端工具连接到ClickHouse服务器。例如,我们可以使用ClickHouse的官方命令行客户端来连接:

docker run -it --rm --link clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server

上述命令将运行ClickHouse的命令行客户端,并连接到ClickHouse服务器。

3 创建测试表

在 clickhouse-benchmark 运行之前,您需要创建一个用于测试的表。您可以使用 ClickHouse 客户端工具或其他方式创建表。例如,使用 ClickHouse 客户端可以这样创建一个简单的表:

clickhouse-client

-- 在 ClickHouse 客户端中执行以下命令

CREATE DATABASE IF NOT EXISTS testdb;

USE testdb;

CREATE TABLE IF NOT EXISTS test_table (id Int64, name String) ENGINE = MergeTree()

ORDER BY id;

4 运行 clickhouse-benchmark

对于性能测试和评估ClickHouse在特定硬件配置下的性能,您可以使用clickhouse-benchmark工具,它是ClickHouse官方提供的用于模拟负载和查询的工具。安装并配置ClickHouse,然后使用clickhouse-benchmark工具来了解它在您的环境中的性能表现,以确保它满足您的数据分析要求。

现在,您可以使用 clickhouse-benchmark 工具来运行性能测试。以下是一个示例命令:

clickhouse-benchmark --host=localhost --port=9000 --query="SELECT count() FROM testdb.test_table"

--host 和 --port 根据您的 ClickHouse 服务器配置进行设置。

--query 后跟您要执行的查询。这可以是任何 ClickHouse 支持的 SQL 查询。

您可以配置 clickhouse-benchmark 以执行不同类型的查询和模拟不同负载。查看 clickhouse-benchmark 的帮助文档以获取更多信息:

clickhouse-benchmark --help

5 分析结果

clickhouse-benchmark 是一个强大的性能测试工具,它能够执行多种查询并提供关于ClickHouse数据库在特定负载下的性能方面的详细信息。通过运行clickhouse-benchmark,您可以获取有关查询的执行时间、吞吐量、响应时间分布和其他性能指标的数据。这些数据将使您能够深入了解ClickHouse在处理大规模数据和复杂查询时的表现。您可以借此来评估ClickHouse在不同负载条件下的性能,并确定是否需要进一步优化配置或硬件资源。

此外,clickhouse-benchmark还能够模拟不同的负载类型,包括读取、写入和混合负载,以帮助您理解ClickHouse在不同工作负载下的性能特点。这种多样性的性能测试可以揭示潜在的性能瓶颈和瓶颈所在,为进一步的性能优化提供了宝贵的见解。

clickhouse-benchmark提供了一个有力的手段,帮助您深入了解ClickHouse的性能,并确保它能够满足您的数据分析需求。通过评估执行时间、吞吐量和响应时间等指标,您可以更好地了解ClickHouse在各种负载条件下的表现。

结语

ClickHouse的性能测试是一个关键的步骤,用于评估其在不同配置下的性能和可伸缩性。clickhouse-benchmark工具为您提供了一个强大的方式来模拟负载和查询,以评估ClickHouse在特定硬件配置下的性能表现。不过,需要牢记性能测试应当在生产环境之外的测试环境中进行,以避免对生产数据造成不必要的风险。

为了更全面地评估ClickHouse的性能,您可以使用更复杂的负载和查询来模拟实际生产情况。这包括模拟不同类型的查询,大量并发用户,复杂的聚合操作以及高频的数据写入。通过在测试环境中模拟这些情况,您可以更好地了解ClickHouse在应对实际工作负载时的性能表现。

通过在测试环境中模拟多样化的负载和监控性能,您可以更全面地了解ClickHouse的性能特征,以确保它能够在生产环境中以高效和可靠的方式处理您的数据分析任务。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/113992.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RustDay05------Exercise[51-60]

51.使用?当作错误处理符 ? 是 Rust 中的错误处理操作符。通常用于尝试解析或执行可能失败的操作,并在出现错误时提前返回错误,以避免程序崩溃或出现未处理的错误。 具体来说,? 用于处理 Result 或 Option 类型的返回值。 // errors2.rs…

【Objective-C】浅析Block及其捕获机制

目录 Block的基本使用Block的声明Block的实现Block的调用 Block作为形参使用Block作为属性使用给Block起别名Block的copy Block的捕获机制auto类型的局部变量__block浅析static类型的局部变量全局变量 其他问题 Block的基本使用 什么是Block? Block (块…

【技术分享】RK356X Ubuntu 推流USB摄像头

本文适用与触觉智能所有RK356X ubuntu系统的主板。 IDO-SBC3566基于瑞芯微RK3566研发的一款高性能低功耗的智能主板,采用四核A55,主频高达1.8GHz,专为个人移动互联网设备和AIOT设备而设计,内置了多种功能强大的嵌入式硬件引擎,为…

MyBatis篇---第一篇

系列文章目录 文章目录 系列文章目录一、什么是MyBatis二、说说MyBatis的优点和缺点三、#{}和${}的区别是什么?一、什么是MyBatis (1)Mybatis是一个半ORM(对象关系映射)框架,它内部封装了JDBC,开发时只需要关注SQL 语句本身,不需要花费精力去处理加载驱动、创建连接、…

ChatGPT:Spring Boot和Maven——Java应用开发的关键工具和区别

ChatGPT:Spring Boot和Maven——Java应用开发的关键工具和区别 Springboot是什么? ChatGPT: Spring Boot是一个用于构建Java应用程序的开源框架,它是Spring Framework的一部分,但旨在简化Spring应用程序的开发。Sprin…

2020年亚太杯APMCM数学建模大赛A题激光标记舱口轮廓生成求解全过程文档及程序

2020年亚太杯APMCM数学建模大赛 A题 激光标记舱口轮廓生成 原题再现: 激光是20中的一项重要发明世纪,它被称为“最锋利的刀”、“最精确的尺子”和“最不寻常的光”。 激光已越来越多地应用于工业加工, 其中可以是就业在各种加工业务例如作…

「Qt中文教程指南」如何创建基于Qt Widget的应用程序(三)

Qt 是目前最先进、最完整的跨平台C开发工具。它不仅完全实现了一次编写,所有平台无差别运行,更提供了几乎所有开发过程中需要用到的工具。如今,Qt已被运用于超过70个行业、数千家企业,支持数百万设备及应用。 本文描述了如何使用…

Maven的详细安装步骤说明

Step 1: 下载Maven 首先,您需要从Maven官方网站(https://maven.apache.org/)下载Maven的最新版本。在下载页面上,找到与您操作系统对应的二进制文件(通常是.zip或.tar.gz格式),下载到本地。 St…

学信息系统项目管理师第4版系列34_10大管理49过程ITTO

整合管理 组 过程 输入 工具和技术 输出 启动 制定项目章程 立项管理文件协议事业环境因素组织过程资产 专家判断数据收集人际关系与团队技能会议 项目章程假设日志 计划 2.制定项目管理计划 项目章程其他知识领域规划过程的输出事业环境因素组织过程资产 专家…

10.16 校招 实习 内推 面经

绿*泡*泡: neituijunsir 交流裙 ,内推/实习/校招汇总表格 1、校招 | 司南导航2024校园招聘火热进行中 校招 | 司南导航2024校园招聘火热进行中 2、校招 | 万集科技秋季校园招聘(内推) 校招 | 万集科技秋季校园招聘&#xff…

设计链表复习

设计链表 class ListNode {int val;ListNode next;public ListNode() {}public ListNode(int val) {this.val val;}public ListNode(int val, ListNode next) {this.val val;this.next next;}}class MyLinkedList {//size存储链表元素的个数int size;//虚拟头节点ListNode…

ROS2的cv_bridge和opencv版本不匹配问题

1. 问题 /usr/bin/ld: warning: libopencv_imgcodecs.so.4.2, needed by /opt/ros/foxy/lib/libcv_bridge.so, may conflict with libopencv_imgcodecs.so.4.5/usr/bin/ld: warning: libopencv_core.so.4.2, needed by /opt/ros/foxy/lib/libcv_bridge.so, may conflict with …

花生好车基于 KubeSphere 的微服务架构实践

公司简介 花生好车成立于 2015 年 6 月,致力于打造下沉市场汽车出行解决方案第一品牌。通过自建直营渠道,瞄准下沉市场,现形成以直租、批售、回租、新能源汽车零售,四大业务为核心驱动力的汽车新零售平台,目前拥有门店…

【Mybatis源码】XPathParser解析器

XPathParser是Mybatis中定义的进行解析XML文件的类,此类用于读取XML文件中的节点文本与属性;本篇我们主要介绍XPathParser解析XML的原理。 一、XPathParser构造方法 这里我们介绍主要的构造方法 public XPathParser(InputStream inputStream, boolean validation, Propert…

GateWay 常用配置文件

--- #端口 server:#运行端口port: 11112ssl: 配置sslkey-store: classpath:xxx.work.jkskey-store-password: a2bh5642ot3key-store-type: JKSenabled: true#spring: # cloud: # gateway: # --- #服务器信息 spring:application:#服务注册名称name: service-getwaycloud:ga…

nuxt使用i18n进行中英文切换

中文效果图: 英文效果图: 版本: 安装: npm install --save nuxtjs/i18n 新建en.js与zh.js两个文件进行切换显示 en.js内容 import globals from ./../js/global_valexport default {/******* 公共内容开始* *****/seeMore: &quo…

基于食肉植物优化的BP神经网络(分类应用) - 附代码

基于食肉植物优化的BP神经网络(分类应用) - 附代码 文章目录 基于食肉植物优化的BP神经网络(分类应用) - 附代码1.鸢尾花iris数据介绍2.数据集整理3.食肉植物优化BP神经网络3.1 BP神经网络参数设置3.2 食肉植物算法应用 4.测试结果…

Kotlin 协程再探之为什么使用协程反而更慢了?

前言 在几个月前,我曾经写了一篇文章,Kotlin 协程中的并发问题:我明明用 mutex 上锁了,为什么没有用?,讲述在某次 debug 某个问题时,发现同事写的 Koltin 协程某个不恰当的地方,并最…

【3D 图像分割】基于 Pytorch 的 VNet 3D 图像分割2(基础数据流篇)

构建pytorch训练模型读取的数据,是有模版可以参考的,是有套路的,这点相信使用过的人都知道。我也会给出一个套路的模版,方便学习和查询。 同时,也可以先去参考学习之前的一篇较为简单的3D分类任务的数据构建方法,链接在这里:【3D图像分类】基于Pytorch的3D立体图像分类…

系统设计 - 我们如何通俗的理解那些技术的运行原理 - 第四部分:微服务架构

本心、输入输出、结果 文章目录 系统设计 - 我们如何通俗的理解那些技术的运行原理 - 第四部分:微服务架构前言典型的微服务架构是什么样的微服务的优势 微服务最佳实践在开发微服务时,我们需要遵循以下最佳实践: 微服务通常使用什么技术堆栈…