【Apache Doris】周FAQ集锦:第 1 期

【Apache Doris】周FAQ集锦:第 1 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 替换nvl2的方式有哪些?

💡A1 在SQL中,NVL2是一个函数,用于在条件成立时返回一个值,在条件不成立时返回另一个值;可以通过case when进行替换。

❓Q2 查询报错:meet unknown column stats on table 0lapscanNode
在这里插入图片描述

💡A2 通过关闭相关变量解决:set global forbid_unknown_col_stats = false;
forbid_unknown_col_stats参数只有在测试和跑benchmark时会打开,用于防止没有收集到统计信息,导致结果不理性,而进行不必要的问题追查。
生产环境中,建议永远设置为false。

数据操作问题

❓Q1 Doris 1.2.6,数据写入过程中出现错误码[-233]异常

💡A1 OLAP_ERR_TOO_MANY_TRANSACTIONS ,太多事务积压未完成导致。降低写入或者更新频率,或调大BE参数max_runnings_transactions_per_txn_map处理。
BE参数说明可以查阅BE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config

❓Q2 查看Broker Load导入状态时,Progress为50%,但State为FINISHED
在这里插入图片描述

💡A2 State为FINISHED是正确的,Progress进度统计存在问题,但只是显示问题,不会影响数据读写。
在Apache Doris 2.0.3已经修复了,建议升级至>=2.0.3的版本。
Release 2.0.3,可以查阅:
https://cdnd.selectdb.com/zh-CN/docs/releasenotes/release-2.0.3

运维常见问题

❓Q1 Routine Load异常:fetch failed due to requested offset not available on the broker: Broker: Offset out of range

💡A1 Routine Load报[broker:Offset Out of range] 原因:

  1. routine load 记录的偏移量和kafka group 已经committed的offset是一致的,由于kafka的数据清理机制(有没有消费都会清理),记录的偏移量下一个offset被清理导致的这个异常 。
  2. kafka清理时间设置过短,数据积压严重,也会导致此类异常出现。
    解决方案:查看kafka 现阶段最小偏移量,使用alter routine load job,重新设置偏移量,恢复routine load job即可。

❓Q2 Drop一张大表后,为什么BE磁盘空间没有减少?

💡A2 分两种情况:

  1. drop不加force时,数据不会放入回收站。这个机制是为了防止误删除,recoverd的时候用,和 fe.conf的catalog_trash_expire_second 参数有关系,默认为1天,1天后会将删除的表自动放到trash中。
  2. drop加force时,数据会直接放入回收站,此时可以通过admin clean trash去清理。

❓Q3 FE的负载均衡怎么实现?

💡A3 可以通过 JDBC Connector / ProxySQL / Nginx 方式实现:
https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/load-balancing
1. JDBC的通信方式,建议使用 JDBC Connector的loadbalance实现。
2. 代理的方式用Nginx多些,也可以考虑 ProxySQL。

❓Q4 FE启动异常:Try to lock process failed

💡A4 fe进程冲突导致,jps查看是否已经存在fe进程进行排查处理。

❓Q5 Routine Load任务stop后,多久会删除?

💡A5 routine load任务stop之后,默认会在三天回收删除。
由fe的label_keep_max_second参数控制,该参数除了控制routine load,也是job共用的参数。
FE参数说明可以查阅FE配置项:
https://cdnd.selectdb.com/zh-CN/docs/admin-manual/config/fe-config

其它问题

❓Q Doris血缘分析的开源工具有哪些?

💡A 可以参考

  1. datahub:
    https://datahubproject.io/docs/next/features/
  2. apache atlas:
    https://atlas.apache.org/api/v2/index.html
  3. 基于ali的druid二开,例如data-lineage-doris项目:
    使用ali的druid去解析sql。由于sql本身有记录在fe的审计日志里,只需通过类似flume采集日志推送到kafka,后端设计一个服务专门去解析这些sql生成血缘关系即可:
    https://github.com/eyesmoons/data-lineage-doris

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/791551.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

31. UE5 RPG使用增强输入激活GameplayAbility(一)

在前面文章中,我们实现了对技能添加并直接激活功能,介绍了GA的相关参数配置。现在,我们还不能通过键位触发技能,正常在游戏时,我们需要通过键位触发技能,实现技能的激活。 在UE5里面添加了增强输入&#xf…

AcWing 786. 第k个数——算法基础课题解

AcWing 786. 第k个数 题目描述 给定一个长度为 n的整数数列,以及一个整数 k,请用快速选择算法求出数列从小到大排序后的第 k 个数。 输入格式 第一行包含两个整数 n 和 k。 第二行包含 n 个整数(所有整数均在 1∼10^9 范围内&#xff09…

Linux制作C++静态库和动态库并使用示例

创建动态库&#xff1a; 编写源文件&#xff1a; // sub.h 显式调用 #include <iostream>extern "C" int sub(int a, int b);// sub.cpp #include "sub.h"int sub(int a, int b) {return a - b; }// quadrature.h 隐式调用 #include <iostream&…

使用MySQL和PHP创建一个公告板

目录 一、创建表 二、制作首页&#xff08;创建主题以及显示列表&#xff09; 三、制作各个主题的页面&#xff08;输入回帖和显示列表&#xff09; 四、制作消息的查询界面 五、制作读取数据库信息的原始文件 六、制作数据重置页面 七、效果图 八、问题 1、目前无法处…

FME教程:以根据自然幢给宗地红线在相交处添加节点为例,介绍图斑在公共边相交处加节点的实现方法,宗地红线批量加节点,图斑自动加界址点

目录 一、实现效果 二、实现过程 1.读取数据 2.提取自然幢的坐标节点 3.根据自然幢节点&#xff0c;给宗地红线添加节点 4.重构宗地红线面 5.输出成果 6.模板的使用 三、总结 今天以根据自然幢给宗地红线在相交处添加节点为例&#xff0c;介绍图斑在公共边相交处加…

C#学生信息管理系统

一、引言 学生信息管理系统是现代学校管理的重要组成部分&#xff0c;它能够有效地管理学生的基本信息、课程信息、成绩信息等&#xff0c;提高学校管理的效率和质量。本文将介绍如何使用SQL Server数据库和C#语言在.NET平台上开发一个学生信息管理系统的课程设计项目。 二、项…

【C++练级之路】【Lv.18】哈希表(哈希映射,光速查找的魔法)

快乐的流畅&#xff1a;个人主页 个人专栏&#xff1a;《算法神殿》《数据结构世界》《进击的C》 远方有一堆篝火&#xff0c;在为久候之人燃烧&#xff01; 文章目录 引言一、哈希1.1 哈希概念1.2 哈希函数1.3 哈希冲突 二、闭散列2.1 数据类型2.2 成员变量2.3 默认成员函数2.…

2013年认证杯SPSSPRO杯数学建模A题(第二阶段)护岸框架全过程文档及程序

2013年认证杯SPSSPRO杯数学建模 A题 护岸框架 原题再现&#xff1a; 在江河中&#xff0c;堤岸、江心洲的迎水区域被水流长期冲刷侵蚀。在河道整治工程中&#xff0c;需要在受侵蚀严重的部位设置一些人工设施&#xff0c;以减弱水流的冲刷&#xff0c;促进该处泥沙的淤积&…

余集和拉格朗日定理

L&#xff1a;一个群的例子&#xff08;在下面的文章中进一步详细介绍&#xff09;;R&#xff1a;约瑟夫路易拉格朗日&#xff08;1736-1813&#xff09;&#xff0c; 一、说明 数学家总是痴迷于根据乍一看似乎完全无关的事实/观察来形成概括。为什么&#xff1f;原因很简单&am…

基于 Quartz.NET 可视化任务调度平台 QuartzUI

一、简介 QuartzUI 是基于 Quartz.NET3.0 的定时任务 Web 可视化管理&#xff0c;Docker 打包开箱即用、内置 SQLite 持久化、语言无关、业务代码零污染、支持 RESTful 风格接口、傻瓜式配置、异常请求邮件通知等。 二、部署 QuartzUI 从 2022 年到现在没有提交记录&#xf…

第十二篇【传奇开心果系列】Python自动化办公库技术点案例示例:深度解读Python自动化操作Word

传奇开心果系列博文 系列博文目录Python自动化办公库技术点案例示例系列 博文目录前言一、Python自动化操作Word介绍二、使用python-docx示例代码二、**使用win32com示例代码**三、使用comtypes示例代码四、使用docx-mailmerge示例代码五、基本操作示例代码六、高级操作示例代码…

计算机网络——32差错检测和纠正

差错检测和纠正 错误检测 EDC 差错检测和纠错位&#xff08;冗余位&#xff09; D 数据由差错检测保护&#xff0c;可以包含头部字段 错误检测不是100%可靠的 协议会泄露一些错误&#xff0c;但是很少更长的EDC字段可以得到更好的检测和纠正效果 奇偶校验 单bit奇偶校验 …

精品PPT-2023年无人驾驶汽车车联网网络安全方案

以下是部分PPT内容&#xff0c;请您参阅。如需下载完整PPTX文件&#xff0c;请前往星球获取&#xff1a; 无人驾驶安全架构是一个复杂的系统&#xff0c;它涉及到多个关键组件和层次&#xff0c;以确保无人驾驶车辆在各种情况下都能安全、可靠地运行。以下是一些主要的无人驾驶…

基于springboot+vue的高效学生实习管理系统【管理员、学院、教师、企业单位、学生】

【管理员】 【院系负责人】 【教师】 【企业单位】 【学生】

Android Glide配置AppGlideModule定制化线程池,Kotlin(1)

Android Glide配置AppGlideModule定制化线程池&#xff0c;Kotlin&#xff08;1&#xff09; plugins {id org.jetbrains.kotlin.kapt }implementation com.github.bumptech.glide:glide:4.16.0kapt com.github.bumptech.glide:compiler:4.16.0 import android.content.Context…

【爬虫开发】爬虫从0到1全知识md笔记第3篇:数据提取概要,知识点【附代码文档】

爬虫开发从0到1全知识教程完整教程&#xff08;附代码资料&#xff09;主要内容讲述&#xff1a;爬虫课程概要&#xff0c;爬虫基础爬虫概述,,http协议复习。requests模块&#xff0c;requests模块1. requests模块介绍,2. response响应对象,3. requests模块发送请求,4. request…

YOLO电动车检测识别数据集:12617张图像,yolo标注完整

YOLO电动车检测识别数据集&#xff1a;12617张图像&#xff0c;电动车一类&#xff0c;yolo标注完整&#xff0c;部分图像应用增强。 适用于CV项目&#xff0c;毕设&#xff0c;科研&#xff0c;实验等 需要此数据集或其他任何数据集请私信

即刻体验 | 使用 Flutter 3.19 更高效地开发

我们已隆重推出全新的 Flutter 版本——Flutter 3.19。此版本引入了专为 Gemini 设计的新 Dart SDK、一个能让开发者对 Widget 动画实现精细化控制的全新 Widget&#xff0c;Impeller 更新带来的渲染性能提升、有助于实现深层链接的工具和对 Windows Arm64 的支持&#xff0c;以…

全局统一返数据类型封装记录

全局统一返回值封装 ​ 在Spring Boot中&#xff0c;实现全局统一返回值封装是一种常见的做法&#xff0c;它有助于保持API的一致性&#xff0c;并简化前端对响应数据的处理。创建一个响应体类&#xff0c;包含状态码、消息、数据等字段。这个类可以作为所有控制器返回值的通用…

达梦配置ODBC连接

达梦配置ODBC连接 基础环境 操作系统&#xff1a;Red Hat Enterprise Linux Server release 7.9 (Maipo) 数据库版本&#xff1a;DM Database Server 64 V8 架构&#xff1a;单实例1 下载ODBC包 下载网址&#xff1a;https://www.unixodbc.org/ unixODBC-2.3.0.tar.gz2 编译并…