doris 数据导入、数据权限、资源管理

服务器环境

172.16.10.65 node1 (fe)

172.16.10.66 node2(be)

172.16.10.75 node3(be)

172.16.10.76 node4(be)

安装目录

doris

home/apps/doris-2.1.1

启动命令

# FE(65服务器)
/home/apps/doris-2.1.1/fe/bin/start_fe.sh --daemon
# BE (66服务器)
sh /home/apps/start/doris.sh start

停止命令

# FE(65服务器)
/home/apps/doris-2.1.1/fe/bin/stop_fe.sh
# BE(66服务器)
sh /home/apps/start/doris.sh stop

doris jdbc

172.16.10.65 9030 root/

HTTPS 安全传输 **

HTTP 安全传输 - Apache Doris

stream load 内部流程

高危sql限制

高危 SQL 限制 - Apache Doris

正则限制

Kill Query

Kill Query - Apache Doris

扫描超时连接

监控和报警

监控和报警 - Apache Doris

Doris 使用 Prometheus 和 Grafana 进行监控项的采集和展示。

服务自动拉起

服务自动拉起 - Apache Doris

本文档主要介绍如何配置 Doris 集群的自动拉起,保证生产环境中出现特殊情况导致服务宕机后未及时拉起服务从而影响到业务的正常运行。

数据库读写权限 ***

认证和鉴权 - Apache Doris

每个用户一个独立数据库,自己的库可以读写,主库只能读

服务器资源权限 ***

SET-PROPERTY - Apache Doris

用户cpu、内存、超时限制

审计日志插件 **

审计日志插件 - Apache Doris

用户sql记录

导入方式

​
curl --location-trusted \
-u root: \
-H "label:test1" \
-H "column_separator:," \
-H "columns: c1,c2,c3,c4,c5,c6,part_id = c1,month_id =c2,day_id =c3,prov_id = md5(c4),area_id =c5,create_time = c6,xxxx = md5(c3)"-H"label:11"\
-T test.csv \
http://localhost:8030/api/test/TESTXX/_stream_load
# BUG
curl  --location-trusted \
-u root: \
-T /home/apps/testdata1/test.csv  \
-H "label:test1" \
-H "sql:insert into test.TESTXX(part_id,month_id,day_id ,prov_id,area_id,create_time,xxxx) select c1,TO_BASE64(SM4_ENCRYPT(c2,'xxxxx')),c3,c4,c5,c6,md5(c2) from http_stream('format' = 'CSV', 'column_separator' = ',' ) " \
http://localhost:8030/api/_http_stream
​
{"TxnId": 87810,"Label": "11","Comment": "","TwoPhaseCommit": "false","Status": "Success","Message": "OK","NumberTotalRows": 9,"NumberLoadedRows": 9,"NumberFilteredRows": 0,"NumberUnselectedRows": 0,"LoadBytes": 504,"LoadTimeMs": 363,"BeginTxnTimeMs": 0,"StreamLoadPutTimeMs": 5,"ReadDataTimeMs": 0,"WriteDataTimeMs": 338,"CommitAndPublishTimeMs": 17
}
{"TxnId": 87812,"Label": "112","Comment": "","TwoPhaseCommit": "false","Status": "Fail","Message": "[DATA_QUALITY_ERROR]too many filtered rows","NumberTotalRows": 9,"NumberLoadedRows": -9,"NumberFilteredRows": 18,"NumberUnselectedRows": 0,"LoadBytes": 504,"LoadTimeMs": 128,"BeginTxnTimeMs": 0,"StreamLoadPutTimeMs": 16,"ReadDataTimeMs": 0,"WriteDataTimeMs": 110,"CommitAndPublishTimeMs": 0,"ErrorURL": "http://172.16.10.66:8040/api/_load_error_log?file=__shard_54/error_log_insert_stmt_564669773e05b944-2d7a303f7cb98396_564669773e05b944_2d7a303f7cb98396"
}
//  label: 一次导入的标签,相同标签的数据无法多次导入。用户可以通过指定Label的方式来避免一份数据重复导入的问题。
//  当前Doris内部保留30分钟内最近成功的label。
​
//  max_filter_ratio:最大容忍可过滤(数据不规范等原因)的数据比例。默认零容忍。数据不规范不包括通过 where 条件过滤掉的行。
​
//  exec_mem_limit: 导入内存限制。默认为 2GB。单位为字节。如果并发导入过多,可能会导致内存不足。
​
//  skip_lines: 整数类型, 默认值为0, 含义为跳过csv文件的前几行. 当设置format设置为 csv_with_names 或、csv_with_names_and_types 时, 该参数会失效.
​
//  sql: 数据tvf转换方法 2.1版本新特性,tvf产生的字段名 c1-c2------cn
//  column_separator:用于指定导入文件中的列分隔符,默认为\t。如果是不可见字符,则需要加\x作为前缀,使用十六进制来表示分隔符。
//  如hive文件的分隔符\x01,需要指定为-H "column_separator:\x01"。
​
//  strict_mode 严格模式,由于数据库设置了字段类型,在由文本中的字符串数据转换到数据库字段类型失败时,严格模式会认为该条数据是错误数据。

3

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/30903.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

番外篇 | 基于改进YOLOv5的安全帽佩戴检测 | 重参数化结构RepVGG + 空间对象注意力机制RCS-OSA模块

前言:Hello大家好,我是小哥谈。RCS-YOLO是一种目标检测算法,它是基于YOLOv3算法的改进版本。通过查看RCS-YOLO的整体架构可知,其中包括RCS-OSA模块。RCS-OSA模块在模型中用于堆叠RCS模块,以确保特征的复用并加强不同层之间的信息流动。本文针对安全帽佩戴的检测就是基于RC…

什么是网段

一、A类地址的网段: 情况1:最小的网段就是xxx.0.0.0,直接使用第一段的网络地址做网段。 情况2:如果希望网段允许的主机数量的范围缩小,扩大网段值即可,xxx.xxz.zzz.zzz,比如xxx.xxx.xzz.zzz&…

Vue 的 axios二次封装

(以下的接口地址链接换成自己的写!!!) 首先在项目中src的目录下创建一个api的文件夹,在api的文件下在穿件两个文件用于二次封装 别忘了先安装axios:(在根目录下安装axios&#xff0…

Linux内核开发-替换内核

0.前言 上一章(点击返回上一章)提到如何编译内核源码,本章主要介绍如何将编好的内核替换已有的内核。 1. 替换内核 第1步:查看当前内核版本 cat /proc/version第2步: 查看机器上的内核信息 grep menuentry /boot/…

Word使用小技巧

1、万能F4键 在Word中F4 键的功能是重复上一步操作,也就说上一步你做了什么操作,只要按F4键,它就会自动帮你重来一次。比如,合并单元格,你再也不用反复去点合并按钮,只要合并第一个单元格后,剩…

Mware Fusion Pro 13 mac版:一键掌控虚拟世界

VMware Fusion Pro 13是一款功能卓越的虚拟化软件,专为Mac操作系统量身打造。这款软件为用户提供了一个一站式的虚拟化解决方案,能够满足各种多样化的需求。 VMware Fusion Pro 13 Mac获取 VMware Fusion Pro 13的强大之处在于其采用了最 先进的虚拟化…

嵌入式使用加密算法要考虑的问题

在嵌入式系统中,选择加密算法时需考虑哪些因素? 选择嵌入式系统中的加密算法时,需综合考虑以下几个关键因素: 性能与资源限制:嵌入式设备通常具有有限的计算能力和存储空间。因此,算法的执行速度、内存占用…

食品安全无小事:EasyCVR+AI技术助力食品加工厂管理透明化,构建食品安全防线

一、背景需求 近期有新闻记者曝光某省禽类屠宰加工厂脏乱差问题严重,工人脚踩鹅肠鸭肠混杂洗地水、烟头随手扔进鸭肠筐、污水捞出死鸭再上生产线…卫生情况十分堪忧。食品卫生安全频频出现负面新闻,如何实现源头治理?如何将各类食品安全风险隐…

C++ Primer Plus第五版+习题重点笔记(p250-300)

第七章 类(下) clear需要访问Screen的私有成员;而要想令这种访问合法,Screen需要把 window mgr 指定成它的友元 如果一个类指定了友元类,则友元类的成员函数可以访问此类包括非公有成员在内的所有成员 每个类负责控制自己的友元…

电子书(chm)-加载JS--CS上线

免责声明: 本文仅做技术交流与学习... 目录 cs--web投递 html(js)代码 html生成chm工具--EasyCHM 1-选择powershell 模式 生成 2-选择bitsadmin模式生成 chm反编译成html cs--web投递 cs配置监听器--->攻击---->web投递---> 端口选择没占用的, URL路径到时候会在…

《昇思25天学习打卡营第1天 | 认识MindScope AI框架和昇思大模型平台》

活动地址:https://xihe.mindspore.cn/events/mindspore-training-camp 昇思MindSpore学习笔记:探索AI的无限可能 嗨,AI爱好者们!今天,我要带你们深入了解一个强大的全场景深度学习框架——昇思MindSpore。 准备好了吗…

AWR1843BOOST上的TM4C1294NCPDT是干啥用的?

摘要:AWR1843BOOST上面有2个体积较大的芯片,一片是雷达,另一片是什么呢? 答案:它就是XDS110仿真器。 有了它,就不用再买一个仿真器了。 从AWR1843BOOST的原理图中可以看到整个 BOOST板子上只有2个比较大的…

C++switch陈述

C 使用关键字 switch、case、default对一个常数执行不同的分流,这构成多重选择的结构,形式如下 简单来说,switch后头接一小括弧,小括弧内为一常数运算式,计算出常数值若与其后case的位标(label) 相符,就会执…

[深度优先搜索DFS]迷宫问题

描述 定义一个二维数组: int maze[5][5] {0, 1, 0, 0, 0,0, 1, 0, 1, 0,0, 0, 0, 0, 0,0, 1, 1, 1, 0,0, 0, 0, 1, 0,}; 它表示一个迷宫,其中的1表示墙壁,0表示可以走的路,只能横着走或竖着走,不能斜着走&#xff0…

Prometheus入门

Prometheus入门 Setup Reference:https://prometheus.io/docs/introduction/overview/ exporters:你可以部署在你想要获取metrics的应用旁,接收Prometheus请求,从应用程序中收集数据并转换为正确的格式,最后返回给Prometheus;Service Dis…

创建百度百科词条要多少钱?看这篇

“百度百科词条人人可编辑,词条创建和修改均为免费,不存在官方及代理商付费代编。” 是的,百度百科免费开放,任何人都可以自己做,但是作为一个给上百家企业和个人创建百度百科词条的专业人士来说,给大家一…

面试题——RabbitMQ

★1.如何保证消息的幂等性?(如何避免消息重复投递) 生产端: 在消息发送前,先查询数据库此消息是否被处理过。处理过则忽略、否则继续处理,并在处理完成后修改状态为已处理。 消费端: 每个消息都生成全局唯一ID或业务I…

模型预测控制MPC详解(附带案例实现)

模型预测控制MPC详解(附带案例实现) 文章目录 模型预测控制MPC详解(附带案例实现)1. 最优控制问题2. 什么是MPC3. 二次规划Quadratic Programming4. MPC为什么可以转换成QP问题(推导过程)5. MPC总结5.1 MPC…

QT中QSettings的使用系列之四:QSettings与操作QJson(registerFormat())

1、核心代码 #include "widget.h" #include "ui_widget.h" #include <QSettings> #include <QJsonObject> #include <

基于51单片机的篮球计分器设计

一.硬件方案 本设计用由AT89C51编程控制LED七段数码管作显示的球赛计时计分系统。该系统具有赛程定时设置、赛程时间暂停、及时刷新甲乙双方的成绩等功能。 电路主要由STC89C52单片机最小系统数码管显示模块数码管驱动模块蜂鸣器模块按键模块&#xff1b; 二.设计功能 &…