【Apache Doris】周FAQ集锦:第 2 期

【Apache Doris】周FAQ集锦:第 2 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 查询报错:timeout when waiting for send fragments RPC

💡A1 fragments rpc通信超时导致,处理步骤:

  1. 检查网络是否正常
  2. 可升级至2.x.x新版本(2.0之前出现的较多,2.0比较少出现该异常)
  3. 可参考如下相关参数调整后再观察:
be.conf:
fragment_pool_thread_num_max = 2048 fragment_pool_queue_size = 4096 brpc_num_threads = 256 fe.conf
remote_fragment_exec_timeout_ms = 30000 

具体可以查阅Doris论坛帖子:
https://ask.selectdb.com/questions/D1F4/she-qu-wen-ti-timeout-when-waiting-for-send-fragments-rpc-yi-chang/E1G4

❓Q2 为什么with select语法兼容,但insert into with select不支持?

💡A2 两种方式参考:

  1. insert into tabl with lable xxx
  2. insert into table (xxx)

具体demo可以查阅官方文档对应章节:
https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/insert-into-manual/

数据操作问题

❓Q1 导入报错:get tableList write lock timeout

💡A1 如下:

  1. 通常是因为FE JVM内存设置太小,或者FE/BE混布导致的
  2. 出现该异常时,单独打一个 jstack,联系社区同学具体分析:
    jstack -l pid > 1.js
    具体可以查阅Doris论坛帖子:
    https://ask.selectdb.com/questions/D1O5/doris-2-0-4-get-tablelist-write-lock-timeout

❓Q2 stream load时报错:[PUBLISH TIMEOUT]transaction commit successfully, BUT
data will be visible later

💡A2 导入实际时成功的,只是延迟可见。在Apache Doris 2.0.4已优化,建议升级至>=2.0.4的版本。
Release 2.0.4,可以查阅:
https://doris.apache.org/zh-CN/docs/releasenotes/release-2.0.4

❓Q3 表中有个insertTime字段是默认生成时间的,streamload导入csv数据(不包含insertTime)时报错:actual column number in csv file is less than schema column number

💡A3 如果指定 columns ,需要包含所有表字段,例如
-H “columns: a,b,c,d,insertTime=current_timestamp()”

运维常见问题

❓Q1 BE无法正常启动:

W0304 16:03:13.052549 14927 olap_meta.cpp:80] rocks db open failed, reason:IO error: While lock file: /data/doris/be/storage/meta/LOCK: Resource temporarily unavailable W0304 16:03:13.053174 14927 data_dir.cpp:203] init OlapMeta failed, error: [IO_ERROR]open rocksdb failed, path=/data/doris/be/storage

💡A1 如下:

  1. be节点的磁盘损坏,需要检查目录磁盘是否健康
  2. 确认是否有自动拉起进程,可能是连续启动be导致:
    a. 若有自动拉起进程,则先stop
    b. 将be/storage/meta的LOCK文件移走
    c. 重启be即可

❓Q2 是否可以跨2个机房搭建Doris集群?

💡A2 如下:

  1. 不建议跨机房部署;跨机房之间的延迟一般是毫秒级,正常同机房时延级别在0.1ms以内,容易频繁出现brpc timeout异常
  2. 如果是主备场景,可以使用CCR:Apache Doris 2.0 推出跨集群数据复制功能

❓Q3 FE集群异常,fe.log :Clock delta: xxxx ms. between Feeder: xxxx and this Replica exceeds max permissible delta: xxxx ms

💡A3 非主 FE 到主 FE 主机之间的最大可接受时钟偏差超过默认值5秒导致,需要开启 ntp 确保时间同步,小于默认的5秒时差。由fe的max_bdbje_clock_delta_ms参数控制。
FE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/fe-config

❓Q4 Doris出现事务回滚失败后,回滚失败的数据会怎么处理?

💡A4 内部会有 GC 的逻辑,去定期删除清理。

其它问题

❓Q 基于Doris做数据分层和实时计算,有哪些方案?

💡A 关于Doris做数据分层和实时计算的方案可参考:

  1. 借助外部调度工具,比如DolphinScheduler,按分钟级微批调度分层
  2. 物化视图,实时地同步聚合(预聚合);2.1版本会发布多表物化视图,相当于大部分场景可以不借助外部调度工具,在Doris内部即可实现异步定时分层了
  3. Flink APP中进行分层将数据sink至doris,例如ods -> kafka -> flink -> dw -> kafka -> flink -> doris
  4. 后续规划doris binlog,即可实现ods -> doris <-> flink,当前还未出具体计划、可以持续关注中

在doris binlog未发之前,大部分用户选择的是前两种方式,因为绝大多数用户场景是允许3-5分钟左右的数据可见延迟。

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/791495.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

关键字:static

回顾类中的实例变量&#xff08;即非static的成员变量&#xff09; class Circle{ private double radius; public Circle(double radius){ this.radiusradius; } public double findArea(){ return Math.PI*radius*radius; } } 创建两个C…

计算机网络—TCP协议详解:特性、应用(2)

&#x1f3ac;慕斯主页&#xff1a;修仙—别有洞天 ♈️今日夜电波&#xff1a;マリンブルーの庭園—ずっと真夜中でいいのに。 0:34━━━━━━️&#x1f49f;──────── 3:34 &#x1f504; ◀️…

抽象类与抽象方法(或abstract关键字)

由来 举例1&#xff1a; 随着继承层次中一个个新子类的定义&#xff0c;类变得越来越具体&#xff0c;而父类则更一般&#xff0c;更通用。类的设计应该保证父类和子类能够共享特征。有时将一个父类设计得非常抽象&#xff0c;以至于它没有具体的实例&#xff0c;这样的类叫做…

STM32G系 编程连接不上目标板,也有可能是软件不兼容。

由于一直用的老版本STM32 ST-LINK Utility 4.20 &#xff0c;找遍了所有问题&#xff0c;SWD就是连不上目标板。 电源脚 VDDA 地线&#xff0c;SWD的四条线&#xff0c;还是不行&#xff0c;浪费了一天&#xff0c;第二天才想起&#xff0c;是不是G系升级了 SWD协议。结果下载…

[InternLM训练营第二期笔记]2. 轻松分钟玩转书生·浦语大模型趣味 Demo

该系列是上海AI Lab举行的书生 浦语大模型训练营的相关笔记部分。 该笔记是第二节课&#xff0c;完成对话、多模态等demo&#xff0c;形成对InternLM的初步了解 1. 部署InternLM2-Chat-1.8B InternLM2-Chat-1.8B是一个对话小模型&#xff0c;只有1.8B参数&#xff0c;因此运行…

深度学习:神经网络模型的剪枝和压缩简述

深度学习的神经网路的剪枝和压缩&#xff0c;大致的简述&#xff0c; 主要采用&#xff1a; network slimming&#xff0c;瘦身网络... 深度学习网络&#xff0c;压缩的主要方式&#xff1a; 1.剪枝&#xff0c;nerwork pruing&#xff0c; 2.稀疏表示&#xff0c;sparse rep…

每日面经分享(python进阶 part2)

Python中的装饰器和上下文管理器区别是什么&#xff1f;它们分别适用于哪些场景&#xff1f; a. 装饰器用于在函数或类的外部添加额外功能&#xff0c;而上下文管理器用于管理资源的获取和释放。 b. 装饰器是一种用于修改函数或类行为的技术。适用于需要在函数或类的外部添加额…

鸿蒙实战开发-通过输入法框架实现自绘编辑框

介绍 本示例通过输入法框架实现自会编辑框&#xff0c;可以绑定输入法应用&#xff0c;从输入法应用输入内容&#xff0c;显示和隐藏输入法。 效果预览 使用说明 1.点击编辑框可以绑定并拉起输入法&#xff0c;可以从输入法键盘输入内容到编辑框。 2.可以点击attach/dettac…

【学习分享】小白写算法之冒泡排序篇

【学习分享】小白写算法之冒泡排序篇 前言一、什么是冒泡排序算法二、冒泡排序算法如何实现三、C语言实现算法四、复杂度计算五、算法稳定性六、小结 前言 最近我要学习下数据结构和算法&#xff0c;有兴趣的小伙伴可以点个关注&#xff0c;一起学习。争取写的浅显易懂。如果你…

解决Toad for Oracle显示乱中文码问题

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 http://122.227.135.243:9666/ 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a…

数据结构记录

之前记录的数据结构笔记&#xff0c;不过图片显示不了了 数据结构与算法(C版) 1、绪论 1.1、数据结构的研究内容 一般应用步骤&#xff1a;分析问题&#xff0c;提取操作对象&#xff0c;分析操作对象之间的关系&#xff0c;建立数学模型。 1.2、基本概念和术语 数据&…

CANoe自带的TCP/IP协议栈中TCP的keep alive机制是如何工作的

TCP keep alive机制我们已经讲过太多次,车内很多控制器的TCP keep alive机制相信很多开发和测试的人也配置或者测试过。我们今天想知道CANoe软件自带的TCP/IP协议栈中TCP keep alive机制是如何工作的。 首先大家需要知道TCP keep alive的参数有哪些?其实就三个参数:CP_KEEP…

Qt QML的枚举浅用

QML的枚举用法 序言概念命名规则在QML定义枚举的规范 用法QML的枚举定义方法供QML调用的&#xff0c;C的枚举定义方法 序言 概念 QML的枚举和C的其实差不多&#xff0c;但是呢&#xff0c;局限比较多&#xff0c;首先不能在main.qml里定义&#xff0c;也不能在子项中定义。 …

C++语言学习(二)——⭐缺省参数、函数重载、引用

1.⭐缺省参数 &#xff08;1&#xff09;缺省参数概念 缺省参数是声明或定义函数时为函数的参数指定一个缺省值。在调用该函数时&#xff0c;如果没有指定实参则采用该形参的缺省值&#xff0c;否则使用指定的实参。 void Func(int a 0) {cout<<a<<endl; } int…

MySQL的基本操作(超详细)

&#x1f468;‍&#x1f4bb;作者简介&#xff1a;&#x1f468;&#x1f3fb;‍&#x1f393;告别&#xff0c;今天 &#x1f4d4;高质量专栏 &#xff1a;☕java趣味之旅 &#x1f4d4;&#xff08;零基础&#xff09;专栏&#xff1a;MSQL数据库 欢迎&#x1f64f;点赞&…

flutter官方案例context_menus【搭建与效果查看】【省时】

案例地址 https://github.com/flutter/samples/tree/main/context_menus 1&#xff1a;运行查看有什么可以快捷使用的&#xff0c;更新了些什么&#xff0c;可不可以直接复制粘贴 主要内容&#xff1a;在web端中模拟手机类型的点击长按操作&#xff0c;不能直接运行在安卓与io…

如何处理Jenkins打包npm install没有拉取到最新依赖的问题

问题背景&#xff1a; 我们项目中有私有依赖包 frame&#xff0c;是私有服务器上通过 npm 去管理。frame包 publish 之后&#xff0c;通过Jenkins打包时&#xff0c;npm install 一直没有拉取最新的代码。 思考&#xff1a;通过在本地直接替换 node_modules 里的 frame 包&…

element-ui divider 组件源码分享

今日简单分享 divider 组件&#xff0c;主要有以下两个方面&#xff1a; 1、divider 组件页面结构 2、divider 组件属性 一、组件页面结构 二、组件属性 2.1 direction 属性&#xff0c;设置分割线方向&#xff0c;类型 string&#xff0c;horizontal / vertical&#xff0…

SQLite下一代查询规划器(十)

返回&#xff1a;SQLite—系列文章目录 上一篇&#xff1a;SQLite 查询优化器概述&#xff08;九&#xff09; 下一篇&#xff1a;SQLite的架构&#xff08;十一&#xff09; 1. 引言 “查询规划器”的任务是弄清楚 找出完成 SQL 语句的最佳算法或“查询计划”。 从 SQLi…

VS2013报错The request was aborted: Could not create SSL/TLS secure channel.

问题描述 Visual Studio 2013 Nuget&#xff08;扩展和更新&#xff09;无法连接网络分析和解决方法A connection to the server could not be established because the following error(s) occurred&#xff1a; The request was aborted: Could not create SSL/TLS secure ch…