Doris【部署 03】Linux环境Doris数据库部署异常问题收集解决(不断更新)

Linux环境Doris数据库部署异常问题

  • 1.FE
    • 1.1 Unknown system variable 'character_set_database'
    • 1.2 notify new FE type transfer: UNKNOWN
    • 1.3 mysql_load_server_secure_path
    • 1.4 Only unique table could be updated
    • 1.5 too many filtered rows
  • 2.BE
    • 2.1 Have not get FE Master heartbeat yet
    • 2.2 overcommit_memory: 2, expect is 1

1.FE

1.1 Unknown system variable ‘character_set_database’

mysql> status
--------------
mysql  Ver 8.0.25 for Linux on x86_64 (MySQL Community Server - GPL)Connection id:          0
Current database:
Current user:           'admin'@'192.168.0.xxx'
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.7.99 Doris version doris-2.0.8-d083188cdd
Protocol version:       10
Connection:             192.168.0.xxx via TCP/IP
ERROR 1193 (HY000): errCode = 2, detailMessage = Unknown system variable 'character_set_database'
ERROR 2014 (HY000): Commands out of sync; you can't run this command now
Client characterset:    utf8mb4
Server characterset:    utf8mb4
TCP port:               9034
Binary data as:         Hexadecimal
--------------

跟MySQL数据库的版本有关系,可以忽略。

1.2 notify new FE type transfer: UNKNOWN

修改配置文件后,元数据已存在,需要删除元数据:

# 问题
WARN (UNKNOWN fe_6031ab79_c88a_405f_b212_ec8b52178864(-1)|1) 
[Env.notifyNewFETypeTransfer():2421] notify new FE type transfer: UNKNOWN# 删除元数据
rm -rf doris-meta

1.3 mysql_load_server_secure_path

# 问题
mysql> LOAD DATA INFILE '/path/file.txt' INTO TABLE tableName;
ERROR 1105 (HY000): errCode = 2, 
detailMessage = Load local data from fe local is not enabled. 
If you want to use it, plz set the `mysql_load_server_secure_path` for FE to be a right path.# fe的配置文件添加路径 /fe/conf/fe.conf
mysql_load_server_secure_path = /path/

指定LOCAL表示读取客户端文件.不指定表示读取FE服务端本地文件. 导入FE本地文件的功能默认是关闭的, 需要在FE节点上设置mysql_load_server_secure_path来指定安全路径, 才能打开该功能。

1.4 Only unique table could be updated

# 问题
java.sql.SQLException: errCode = 2, detailMessage = Only unique table could be updated.# 主键模型
UNIQUE KEY(`user_id`, `username`)
PROPERTIES (
"enable_unique_key_merge_on_write" = "true"
);

1.5 too many filtered rows

# 问题
Failed to execute sql: java.sql.SQLException: (conn=4) errCode = 2, detailMessage = [INTERNAL_ERROR]too many filtered rows0#  std::_Function_handler<void (doris::RuntimeState*, doris::Status*), doris::StreamLoadExecutor::execute_plan_fragment(std::shared_ptr<doris::StreamLoadContext>)::$_0>::_M_invoke(std::_Any_data const&, doris::RuntimeState*&&, doris::Status*&&) at /home/zcp/repo_center/doris_release/doris/be/src/common/status.h:3571#  doris::FragmentMgr::_exec_actual(std::shared_ptr<doris::FragmentExecState>, std::function<void (doris::RuntimeState*, doris::Status*)> const&) at /var/local/ldb_toolchain/bin/../lib/gcc/x86_64-linux-gnu/11/../../../../include/c++/11/bits/unique_ptr.h:3602#  std::_Function_handler<void (), doris::FragmentMgr::exec_plan_fragment(doris::TExecPlanFragmentParams const&, std::function<void (doris::RuntimeState*, doris::Status*)> const&)::$_0>::_M_invoke(std::_Any_data const&) at /var/local/ldb_toolchain/bin/../lib/gcc/x86_64-linux-gnu/11/../../../../include/c++/11/bits/shared_ptr_base.h:7013#  doris::ThreadPool::dispatch_thread() at /home/zcp/repo_center/doris_release/doris/be/src/util/threadpool.cpp:04#  doris::Thread::supervise_thread(void*) at /var/local/ldb_toolchain/bin/../usr/include/pthread.h:5625#  ?6#  ?with load id 92db959a-87e3-4e8a-b34b-5ab0333ce0c0# 通过使用以下命令查看详细的报错信息
show load warnings where label='92db959a-87e3-4e8a-b34b-5ab0333ce0c0'Reason: column_name[imei], the length of input is too long than schema. first 32 bytes of input str: [2023-10-10 15:59:14] schema length: 15; actual length: 19; . src line [];

2.BE

2.1 Have not get FE Master heartbeat yet

W0416 09:24:00.378782 3838800 olap_server.cpp:667] Have not get FE Master heartbeat yet

image.png
讲BE添加到集群即可:

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";

2.2 overcommit_memory: 2, expect is 1

这个问题是关于Linux操作系统的内存管理参数overcommit_memory。当overcommit_memory设置为2时,表示允许分配超过物理内存和交换空间总和的内存。而期望的值是1,表示不允许分配超过物理内存和交换空间总和的内存。在这种情况下,内存限制检查将交给Doris Allocator处理,否则即使剩余内存充足,Backend(BE)也可能会崩溃。

# 问题
/proc/sys/vm/overcommit_memory: 2, expect is 1, memory limit check is handed over to Doris Allocator, otherwise BE may crash even with remaining memory# 解决
echo 1 > /proc/sys/vm/overcommit_memory

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/14114.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

正确可用--Notepad++批量转换文件编码为UTF8

参考了:Notepad批量转换文件编码为UTF8_怎么批量把ansi转成utf8-CSDN博客​​​​​​https://blog.csdn.net/wangmy1988/article/details/118698647我参考了它的教程,但是py脚本写的不对. 只能改一个.不能实现批量更改. 他的操作步骤没问题,就是把脚本代码换成我这个. #-*-…

graspnet+Astra2相机实现部署

graspnetAstra2相机实现部署 &#x1f680; 环境配置 &#x1f680; ubuntu 20.04Astra2相机cuda 11.0.1cudnn v8.9.7python 3.8.19pytorch 1.7.0numpy 1.23.5 1. graspnet的复现 具体的复现流程可以参考这篇文章&#xff1a;Ubuntu20.04下GraspNet复现流程 这里就不再详细…

数据库系统概论(第5版)复习笔记

笔记的Github仓库地址 &#x1f446;这是笔记的gihub仓库&#xff0c;内容是PDF格式。 因为图片和代码块太多&#xff0c;放到CSDN太麻烦了&#xff08;比较懒&#x1f923;&#xff09; 如果感觉对各位有帮助的话欢迎点一个⭐\^o^/

41-4 DDOS攻击防护实战

一、UDP FLOOD攻击 # hping3 -q -n -a <攻击IP> -S -s <源端口> --keep -p <目的端口> --flood <被攻击IP> hping3 --udp -s 6666 -p 53 -a 192.168.1.6 --flood 192.168.1.13 这个命令是使用hping3工具进行UDP Flood攻击的命令。下面是各个选项的作…

three.js能实现啥效果?看过来,这里都是它的菜(06)

这是第五期了&#xff0c;本期继续分享three.js可以实现的3D动画案例&#xff0c;有老铁反馈再发案例的时候&#xff0c;是否可以顺道分享一下three.js的知识点&#xff0c;好吧&#xff0c;安排。 材质动画 材质动画可以实现各种复杂的视觉效果&#xff0c;包括但不限于以下…

【css】引入背景图时候,路径写入@会报错

看报错信息 我的写法 解决办法 在前面加个~

js解决数字小数计算出现的精度丢失问题(2024-05-24)

精度丢失的原因 js小数进行数值运算时出现精度丢失问题 JavaScript 的number类型在进行运算时都先将十进制转二进制&#xff0c;此时&#xff0c;小数点后面的数字转二进制时会出现无限循环的问题。 为了避免这一个情况&#xff0c;要舍0进1&#xff0c;此时就会导致精度丢失…

企业宽带跑pcdn会被查吗?

企业宽带使用PCDN技术&#xff0c;本身并不违反相关规定&#xff0c;因此一般不会被查。PCDN是一种内容分发网络技术&#xff0c;通过将内容缓存在离用户更近的服务器上&#xff0c;减少数据传输的延迟&#xff0c;提高访问速度。这种技术可以提高网页加载速度和视频播放流畅度…

Excel未响应时强关后,Excel插件消失

目录 我们分析一下插件消失的原因&#xff1a; 针对上面表现出来的2个问题&#xff0c;进行针对性的解决 &#xff1a; 1、不被关进去&#xff0c;是不是就没有后续的一系列的问题了&#xff0c;各自安好 2、保留住自动加载的行为 PS&#xff1a;配置受信任的位置注册列表…

2024电工杯B题保姆级分析完整思路+代码+数据教学

2024电工杯B题保姆级分析完整思路代码数据教学 B题题目&#xff1a;大学生平衡膳食食谱的优化设计及评价 接下来我们将按照题目总体分析-背景分析-各小问分析的形式来 总体分析&#xff1a; 题目要求对两份一日膳食食谱进行营养分析和调整&#xff0c;然后设计优化的平衡膳…

生成模型 | 从 VAE 到 Diffusion Model (上)

文章目录 一&#xff0c;GAN(对抗式生成网络&#xff09;二&#xff0c;Auto-Encoder(AE) 和 Denoising Auto-Encoder (DAE)三&#xff0c;VAE四&#xff0c;VQ-VAE (Vector Quantized Variational Autoencoder)VQ-VAE 2小总结&#xff1a; 五&#xff0c;DALL-E &#xff08;O…

硅谷裸机云服务器性能测评哪些内容

硅谷裸机云服务器&#xff0c;作为云计算领域的一股新兴力量&#xff0c;近年来受到了广泛关注。其强大的性能和灵活性为用户提供了更高效、更稳定的云计算服务。那么&#xff0c;硅谷裸机云服务器的性能测评究竟包括哪些内容呢?接下来&#xff0c;我们就来科普一下。 首先&am…

如何让大模型更聪明?

如何让大模型更聪明&#xff1f; *随着人工智能技术的飞速发展&#xff0c;大模型在多个领域展现出了前所未有的能力&#xff0c;但它们仍然面临着理解力、泛化能力和适应性等方面的挑战。那么&#xff0c;如何让大模型变得更聪明呢&#xff1f; 方向一&#xff1a;算法创新 …

留学培训行业PaaS应用系统架构的设计与实践

随着留学需求的增长和教育培训市场的不断扩大&#xff0c;留学培训行业正面临着越来越多的挑战和机遇。在这个背景下&#xff0c;利用PaaS&#xff08;Platform as a Service&#xff09;平台来构建留学培训行业的应用系统架构&#xff0c;将成为提升服务质量和效率的重要手段。…

Nacos 2.x 系列【8】集成 Spring Cloud Gateway

文章目录 1. 概述1.1 API 网关1.1 Spring Cloud Gateway 2. 集成案例2.1 入门案例2.2 动态路由 1. 概述 1.1 API 网关 API网关已经成为了微服务架构的一个标配组件&#xff0c;是系统对外的唯一入口。所有的客户端都通过统一的网关接入微服务&#xff0c;在网关层处理所有非业…

SSRF攻击技术

1、SSRF形成原因 SSRF(Server-Side Request Forgery:服务器端请求伪造) 是一种由攻击者构造形成由服务端发起请求的一个安全漏洞。一般情况下&#xff0c;SSRF是要目标网站的内部系统。&#xff08;因为他是从内部系统访问的&#xff0c;所有可以通过它攻击外网无法访问的内部系…

思科模拟器--03.RIP协议路由--24.5.17

1.首先&#xff0c;先创建两个个人电脑:PC0和PC1和三个路由器:R1&#xff0c;R2和R3. (诀窍:建议用文本框标注一下重要简短的内容; 目的:降低失误概率,提高成功率!) 第0步:(个人电脑的IP,子网掩码和默认网关配置) 接着&#xff0c;可以先将个人电脑的IP和网关先配置一下…

ThreadLocal原理及使用

一、引言 在Java多线程编程中&#xff0c;ThreadLocal是一个非常有用的工具&#xff0c;它提供了一种将对象与线程关联起来的机制&#xff0c;使得每个线程都可以拥有自己独立的对象副本&#xff0c;从而避免了线程安全问题。然而&#xff0c;使用不当会导致内存泄漏问题。 二…

go 微服务框架kratos错误处理的使用方法及原理探究

通过go语言原生http中响应错误的实现方法&#xff0c;逐步了解和使用微服务框架 kratos 的错误处理方式&#xff0c;以及探究其实现原理。 一、go原生http响应错误信息的处理方法 处理方法&#xff1a; ①定义返回错误信息的结构体 ErrorResponse // 定义http返回错误信息的…

无人机飞手前途分析

无人机飞手的前途充满了各种可能性和挑战&#xff0c;这主要得益于无人机技术的快速发展和广泛应用。以下是对无人机飞手前途的一些分析&#xff1a; 1. 技术发展与需求增长&#xff1a;随着无人机技术的不断进步&#xff0c;其应用场景也在持续扩大。从地理测绘、巡检、农林植…