clickhouse建库_ClickHouse高性能数据库

前面的文章ClickHouse之初步认识已经简单的介绍了ClickHouse,接下来进行简单的性能测试。测试数据来源于美国民用航班的数据,从1987年到2017年,有1.7亿条。

环境:

centos 6.3,32G内存,24核

下载脚本:

#!/bin/bash

for s in `seq 1987 2017`

do

for m in `seq 1 12`

do

mwget -n 128 http://transtats.bts.gov/PREZIP/On_Time_On_Time_Performance_${s}_${m}.zip

done

done

这里采用的是mwget,128个线程,mwget是wget的多线程版本。wget太慢了。关于mwget的安装,请参考:https://my.oschina.net/766/blog/156807

下载以后的数据是zip压缩包,如下:

下载完数据以后建表:

客户端登录: clickhouse-client -m,如果不加-m启用多行,那么将会报错:

 View Code

导入数据:

for i in *.zip; do echo $i; unzip -cq $i '*.csv' | sed 's/\.00//g' | clickhouse-client --query="INSERT INTO ontime FORMAT CSVWithNames"; done

开始查询测试:

可以看见1.7亿数据,count用了0.034秒,当然列存储数据库count都不快还搞毛。

继续测试其他的语句

从2000年到2016年每天的航班统计

SELECT DayOfWeek, count(*) AS c FROM ontime WHERE Year >= 2000 AND Year <= 2016 GROUP BY DayOfWeek ORDER BY c DESC;

2000 - 2008年度机场延误数

SELECT Origin, count(*) AS c FROM ontime WHERE DepDelay>10 AND Year >= 2000 AND Year <= 2008 GROUP BY Origin ORDER BY c DESC LIMIT 10

这些查询都有一个范围限制,那么全部查完呢?

比如:

SELECT OriginCityName, DestCityName, count() AS c FROM ontime GROUP BY OriginCityName, DestCityName ORDER BY c DESC LIMIT 10;

可以看见依然快的不像话,哈哈。心动了没?心动了就动手安装,导入数据测试一下吧。

转载自:http://www.cnblogs.com/gomysql/p/6655553.html

小编附加使用手册:https://clickhouse.yandex/reference_en.html#MergeTree

这个数据库适合 查询和存储两种方式的数据,不适合修改类型的数据,可以应用于数据的采集,和信息的记录;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/296614.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SingnalR 开发到生产部署闭坑指南

前天倒腾了一份[SignalR在react/go技术栈的实践01SignalR默认要协商传输方式SignalR 默认要求协商传输方式[1]不管是.NET客户端还是JavaScript客户端&#xff0c;构建连接时都存在一个默认配置&#xff1a;SkipNegotiationfasle&#xff0c;负负得正就等于要求协商&#xff0c;…

DB2 pureScale在线备份恢复实例1

刚刚接触DB2&#xff0c;对DB2的备份恢复机制不是太熟悉&#xff0c;相关的资料又太少&#xff0c;只好自己慢慢摸索了。 需求 对生产库进行在线压缩备份&#xff0c;备份中包含归档日志&#xff0c;定期将生产库备份恢复到测试环境&#xff0c;确保测试环境采用最新的生产数据…

华为服务器参数配置文件,最实用的华为配置基础手册.doc

经过Console 口登录应用环境用户需要经过Console 口登录到S-switch&#xff0c;图1-1 所表示。图1-1 经过Console 口登录到S-switch说明假如S-switch 是第一次上电&#xff0c;而且用户需要管理和配置S-switch&#xff0c;则用户只能经过Console 口登录到S-switch。背景信息在经…

Hibernate统计表中的条数

&#xfeff;&#xfeff;/** * 判断积分日志表中是否有某个用户的注册日志 */Transactional(propagation Propagation.REQUIRED)public boolean isExistRegPointLog(int userId, UserAction addReg) { try { String hql "select count(pl) from PointLog pl WHERE pl.…

SQL Server性能调优之执行计划深度剖析 第二节 执行计划第一次实践

SQL Server性能调优之执行计划深度剖析 第二节 执行计划第一次实践前言:自从上一篇文章发出之后&#xff0c;收到了很朋友的关注。很多朋友要求多多实践&#xff0c;而不是纯粹的理论。确实&#xff0c;从打算出这个系列开始&#xff0c;我就本着实践的思想来进行的&#xff01…

超炫物理动态图!收藏吧,吓死宝宝了...

全世界只有3.14 % 的人关注了爆炸吧知识让我们玩的有水平、有姿势&#xff0c;在玩儿的时候产生好奇心&#xff0c;下面20个简单实用的科学小游戏是不错的选择哟。友情提示&#xff1a;部分实验有危险&#xff0c;请在专业人士指导下谨慎操作~1.防火气球水能将火的热能吸收&…

promtail 配置详解_基于loki+promtail+grafana技术的日志集合

一、背景和动机近期运维工作中&#xff0c;随着项目的不停优化以及上线。在与后端、测试协同工作的交流中发现&#xff0c;为了测试以及解决项目在上线过程中或者试运行中出现的bug报错问题&#xff0c;开发同事对于日志的分析有着很大的需求。但是现在公司的日志查看主要是给予…

《Redis核心技术与实战》学习总结(2)

【Redis】| 总结/Edison Zhou1上一篇的遗留问题上一篇总结了一个KV数据库的基本架构 和 Redis的底层数据结构概览&#xff0c;重点总结了Sorted Set的两个数据结构的切换&#xff0c;但没有介绍List的两个数据结构的切换&#xff0c;因此本文试着总结一下。这里先直接给出答案&…

【转】sqlserver游标概念与实例全面解说

引言 我们先不讲游标的什么概念&#xff0c;步骤及语法&#xff0c;先来看一个例子&#xff1a; 表一 OriginSalary 表二 AddSalary 现在有2张表&#xff0c;一张是OriginSalary表--工资表&#xff0c;有三个字段0_ID 员工…

洛谷2296 寻找道路

题目描述 在有向图G 中&#xff0c;每条边的长度均为1 &#xff0c;现给定起点和终点&#xff0c;请你在图中找一条从起点到终点的路径&#xff0c;该路径满足以下条件&#xff1a; 1 &#xff0e;路径上的所有点的出边所指向的点都直接或间接与终点连通。 2 &#xff0e;在满足…

奇迹mu选区后就一直显示连接服务器,奇迹mu双开

《奇迹mu》双开方法 EX702双开的方法&#xff0c;今天小编为大家带来了奇迹MU双开方法&#xff0c;为大家解决一些双开中的问题&#xff0c;下面就一起来看看EX702双开的问题吧&#xff01;奇迹mu双开&#xff1a;接下来是这样&#xff1a;1、 复制2个客户端&#xff0c;放在不…

第十一章:【UCHome二次开发】功能修改

有些功能的修改涉及到了流程或数据需求的变动&#xff0c;这时候简单的修改模板文件已经无法解决问题&#xff0c;而是需要修改对应的流程和数据处理代码来完成。一般处理程序文件位于/source文件夹下。具体的代码修改就是根据功能逻辑来调整php代码或是sql语句&#xff0c;这里…

华为鸿蒙OS 2.0正式发布!明年华为手机将全面支持!

全世界只有3.14 % 的人关注了爆炸吧知识9 月 10 日&#xff0c;在华为开发者大会 2020 上&#xff0c;华为消费者业务 CEO 余承东宣布推出鸿蒙 OS 2.0 版本&#xff08;HarmonyOS 2.0&#xff09;。鸿蒙 OS 的代码也在今天下午HDC 2020 大会结束后的 18:18 正式开放。鸿蒙 OS 开…

echo字符集 shell_Xshell 能显示中文 但输入的中文都变成了问号

我的Xshell 本来可以输入中文&#xff0c;但是不知道怎么的输入中文却变成问号了解决方法&#xff1a;点击控制面板&#xff0c;然后将除自己使用的中文输入之外的其他语言、输入法等先全部删除&#xff0c;然后再试一下&#xff0c;如果可以输入中文了&#xff0c;可适当添加一…

微软认真聆听了开源 .NET 开发社区的炮轰: 通过CLI 支持 Hot Reload 功能

微软近日激怒了开源.NET社区&#xff0c;起因是它删除了开源.NET的一项旗舰功能&#xff0c;以提升Visual Studio 的吸引力&#xff0c;尤其是针对与Visual Studio颇有渊源的跨平台源代码编辑器Visual Studio Code。好消息是微软听取了社区的声音&#xff0c;恢复了通过CLI支持…

System.Xml名称空间下的支持DOM的类型

最主要的常用的类型 XmlNode 是DOM结构中的所有类型的基础类型&#xff0c;它定义了所有XML节点的通用属性和方法&#xff0c;是XMLDOM的基础。它具有一个ChildNodes属性&#xff0c;表示它所包含的子XML节点。 XmlAttribute 表示XML属性&#xff0c;它只保存在XmlElement的Att…

烽火服务器查询服务器型号,烽火服务器应该起的进程

烽火服务器应该起的进程 内容精选换一换IDE Daemon模块提供接口给Matrix和Framework调用&#xff0c;Matrix通过这些接口可以实现将DVPP预处理结果数据发送到IDE-daemon-hiai进程所在的服务器&#xff0c;IDE-daemon-hiai将结果数据写到文件中&#xff1b;Framework通过调用这些…

(译)元素浮动的那些事儿

原文&#xff1a;http://bitsofco.de/2015/how-floating-works/&#xff0c;作者 Ire Aderinokun 发表于 2015 年 8 月 11 日。 尽管我们现在用浮动布局已经很少了&#xff0c;但是在一些特殊的需求下&#xff0c;它仍然是唯一可行的解决方案。在这些少见的需求中&#xff0c;浮…

session机制和cookie机制

一、cookie机制和session机制的区别 具体来说cookie机制采用的是在客户端保持状态的方案&#xff0c;而session机制采用的是在服务器端保持状态的方案。同时我们也看到&#xff0c;由于才服务器端保持状态的方案在客户端也需要保存一个标识&#xff0c;所以session 机制可能需要…

无法定位程序输入点dxgiget_美国ABB TZIDC 智能定位器调试方法

一、ABBTZID-C 智能定位器安装及操作气路连接使用与定位器气源端口处标识的标准接口连接气源连接定位器的输出与气动执行器的气缸电气连接根据下列接线端子图以及设计要求进行相应的配线(一般只需11&#xff0c;-12&#xff0c;31&#xff0c;-32)11-12控制信号输入端子(DC4---…