byzer plugin install log

离线插件参考地址:

Byzer Documentation

离线安装方式(错误过程记录):

参考文档:https://docs.byzer.org/#/byzer-lang/zh-cn/extension/README

Byzer-lang 支持插件安装,删除,获取列表等。安装和删除插件的语法如下

!plugin <pluginType> <operation> [-] "<pluginName>";

  • pluginType 表示插件类型,目前有 app ds et 三种。
  • operation 表示操作类型,add remove
  • pluginName 表示插件名称。
  • 安装插件时,请在插件名称前加横杠,并以空格分割。删除时,无需空格。

安装插件前,请配置 Byzer-lang 数据湖目录 streaming.datalake.path,支持本地文件系统,HDFS,对象存储。 Byzer-lang 下载插件至数据湖目录,并热加载之。获取列表语法如下:

!plugin list [pluginType];

若不指定插件类型,Byzer-lang 返回所有插件。

!plugin list  会报错,提示目录不存在。

具体解决方式

通过手工方式,将一台已经安装好openmldb插件的目录,copy到新服务器相应的目录:

插件目录是engine根下面的data 和store,这两个目录配置为delta数据库路径。

重启./bin/bizer.sh restart

在note上执行plugin list,不报错;

执行创建openml的数据表代码,报错如下:

        查看log文件,错误信息如下: 从日志看,是以为delta没有元数据。估计这样直接复制文件方式不行。

24/05/20 04:20:34  INFO DeltaLog: Returning initial snapshot Snapshot(path=file:/home/byzerllm/softwares/byzer-lang-all-in-one-linux-amd64-3.3.0-2.3.9/data/__instances__/Byzer-lang-engine/__mlsql__/plugins/_delta_log, version=0, metadata=Metadata(03706428-a82a-4dfe-9793-d08aa2539134,null,null,Format(parquet,Map()),{"type":"struct","fields":[{"name":"pluginName","type":"string","nullable":true,"metadata":{}},{"name":"path","type":"string","nullable":true,"metadata":{}},{"name":"pluginType","type":"string","nullable":true,"metadata":{}},{"name":"version","type":"string","nullable":true,"metadata":{}}]},List(),Map(path -> ./data/__instances__/Byzer-lang-desktop/__mlsql__/plugins),Some(1715907739552)), logSegment=LogSegment(file:/home/byzerllm/softwares/byzer-lang-all-in-one-linux-amd64-3.3.0-2.3.9/data/__instances__/Byzer-lang-engine/__mlsql__/plugins/_delta_log,0,ArrayBuffer(SerializableFileStatus(file:/home/byzerllm/softwares/byzer-lang-all-in-one-linux-amd64-3.3.0-2.3.9/data/__instances__/Byzer-lang-engine/__mlsql__/plugins/_delta_log/00000000000000000000.json,1598,false,1715907739000)),List(),None,1715907739000), checksumOpt=None)
24/05/20 04:20:34  INFO DelegatingLogStore: LogStore `LogStoreAdapter(io.delta.storage.HDFSLogStore)` is used for scheme `file`
24/05/20 04:20:34  INFO DeltaLog: Creating initial snapshot without metadata, because the directory is empty        

----

----

----

24/05/20 04:20:36  INFO SparkContext: Created broadcast 12 from broadcast at DAGScheduler.scala:1513
24/05/20 04:20:36  INFO FileScanRDD: Reading File path: file:/home/byzerllm/softwares/byzer-lang-all-in-one-linux-amd64-3.3.0-2.3.9/data/__instances__/Byzer-lang-engine/__mlsql__/plugins/part-00000-7e61365c-1417-464c-8d36-23e8fafcb529-c000.snappy.parquet, range: 0-2041, partition values: [empty row]
24/05/20 04:20:36  INFO CodecPool: Got brand-new decompressor [.snappy]
24/05/20 04:20:36  INFO CodeGenerator: Code generated in 10.923573 ms
24/05/20 04:20:36  INFO PluginHook: Plugin byzer-openmldb-3.0 in ./data/__instances__/Byzer-lang-desktop/__mlsql__/files/store/plugins/byzer-openmldb-3.0_2.12-0.1.0-SNAPSHOT.jar
24/05/20 04:20:36  INFO PluginUtils: [owner] [admin] [groupId] [0] __MMMMMM__ Download [local]/home/byzerllm/softwares/byzer-lang-all-in-one-linux-amd64-3.3.0-2.3.9/store/plugins/byzer-openmldb-3.0_2.12-0.1.0-SNAPSHOT.jar from [remote]./data/__instances__/Byzer-lang-desktop/__mlsql__/files/store/plugins/byzer-openmldb-3.0_2.12-0.1.0-SNAPSHOT.jar
24/05/20 04:20:36  ERROR TryTool: Uncaught exception in thread main
java.lang.NullPointerException: null
        at java.util.Objects.requireNonNull(Objects.java:203) ~[?:1.8.0-332]
        at java.nio.file.Files.copy(Files.java:2984) ~[?:1.8.0-332]
        at tech.mlsql.runtime.PluginUtils$.downloadFromHDFSToLocal(PluginUtils.scala:215) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at tech.mlsql.runtime.PluginHook.$anonfun$beforeDispatcher$14(PluginHook.scala:55) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at tech.mlsql.runtime.PluginHook.$anonfun$beforeDispatcher$14$adapted(PluginHook.scala:53) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at scala.collection.IndexedSeqOptimized.foreach(IndexedSeqOptimized.scala:36) ~[scala-library-2.12.15.jar:?]
        at scala.collection.IndexedSeqOptimized.foreach$(IndexedSeqOptimized.scala:33) ~[scala-library-2.12.15.jar:?]
        at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:198) ~[scala-library-2.12.15.jar:?]
        at tech.mlsql.runtime.PluginHook.beforeDispatcher(PluginHook.scala:53) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at streaming.core.strategy.platform.PlatformManager.$anonfun$run$9(PlatformManager.scala:161) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at streaming.core.strategy.platform.PlatformManager.$anonfun$run$9$adapted(PlatformManager.scala:161) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:62) ~[scala-library-2.12.15.jar:?]
        at scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:55) ~[scala-library-2.12.15.jar:?]
        at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:49) ~[scala-library-2.12.15.jar:?]
        at streaming.core.strategy.platform.PlatformManager.$anonfun$run$8(PlatformManager.scala:161) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at tech.mlsql.common.utils.base.TryTool$.tryLogNonFatalError(TryTool.scala:94) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at streaming.core.strategy.platform.PlatformManager.run(PlatformManager.scala:161) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at streaming.core.StreamingApp$.main(StreamingApp.scala:45) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at tech.mlsql.example.app.LocalSparkServiceApp$.main(LoalSparkServiceApp.scala:21) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
        at tech.mlsql.example.app.LocalSparkServiceApp.main(LoalSparkServiceApp.scala) ~[byzer-lang-3.3.0-2.12-2.3.9.jar:?]
24/05/20 04:20:44  INFO impl: Completed 200 in 1ms      GET /health/liveness

离线安装方式2(成功过程记录):

1.下载地址:

http://store.mlsql.tech/run?action=downloadPlugin&pluginType=MLSQL_PLUGIN&pluginName=byzer-openmldb-3.0&version=0.1.0-SNAPSHOT

2.将jar包放到byzerlang下的plugin目录

3.修改byzer-lang下面conf目录的byzer.properties.override的streaming.plugin.clzznames

增加入口:tech.mlsql.plugins.openmldb.ByzerApp

byzer.server.mode=all-in-one
byzer.server.dryrun=false

byzer.server.runtime.driver-memory=24g

streaming.name=Byzer-lang-engine
streaming.rest=true
streaming.thrift=false
streaming.platform=spark
streaming.spark.service=true
streaming.job.cancel=true
streaming.datalake.path=./data/
streaming.driver.port=9003
streaming.enableHiveSupport=false
streaming.plugin.clzznames=tech.mlsql.plugins.ds.MLSQLExcelApp,tech.mlsql.plugins.assert.app.MLSQLAssert,tech.mlsql.plugins.shell.app.MLSQLShell,tech.mlsql.plugins.mllib.app.MLSQLMllib,tech.mlsql.plugins.llm.LLMApp,tech.mlsql.plugins.execsql.ExecSQLApp,tech.mlsql.plugins.openmldb.ByzerApp

spark.mlsql.log.driver.enablePrint=true
spark.mlsql.path.schemas=oss,s3a,s3,abfs,file
spark.mlsql.session.expireTime=10d
spark.local.dir=/home/byzerllm/byzerllm_stroage
 

 4.重启byzer-lang服务

cd   bin

./byzer.sh restart

5.遗留问题:

在byzer-note上执行plugin list 命令报错

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/14239.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

探索Linux中的神奇工具:深入了解find命令

探索Linux中的神奇工具&#xff1a;深入了解find命令 在Linux系统中&#xff0c;find命令是一个强大且灵活的工具&#xff0c;用于在文件系统中查找符合条件的文件和目录。本文将详细介绍find命令的基本用法和一些常见选项&#xff0c;帮助读者更好地理解和运用这个命令。 了…

力扣3152. 特殊数组 II

如果数组的每一对相邻元素都是两个奇偶性不同的数字&#xff0c;则该数组被认为是一个 特殊数组 。 周洋哥有一个整数数组 nums 和一个二维整数矩阵 queries&#xff0c;对于 queries[i] [fromi, toi]&#xff0c;请你帮助周洋哥检查子数组 nums[fromi..toi] 是不是一个 特殊…

hcip—VLAN实验

目录 实验拓扑&#xff1a; 实验目的&#xff1a; 实验思路&#xff1a; 实验步骤&#xff1a; 1.创建VLAN 2.将接口放进相应VLAN当中&#xff0c;并配置接口类型&#xff08;hybrid口配置撕tag表&#xff09; 3.配置路由器接口 4.配置DHCP服务 pc1 ping pc4的过程分析…

esp32 编程指南核心文件

ESP-IDF 编程指南 - ESP32-C3 - — ESP-IDF 编程指南 v5.1 文档 (espressif.com) ESP-IDF 入门指南 | 乐鑫科技 (espressif.com)

linux下的docker使用

docker是什么&#xff0c;docker翻译过来的意思就是码头工人&#xff0c;顾名思义&#xff0c;docker本质上就是一个搬运工&#xff0c;只不过从搬运货物改成了搬运程序&#xff0c;使搬运的不同的程序能够独立的运行在码头上的不同容器内&#xff0c;互不干扰&#xff0c;而他…

“腾讯云 AI 代码助手”体验

一、“腾讯云 AI 代码助手”体验 1、注册账号并进行实名认证 2、进入开发环境 3、体验javascript简单函数 代码如下&#xff1a; //请写一个两个日期计算的函数 function dateDiff(date1, date2) {return date2.getTime() - date1.getTime(); } var date1 new Date("2…

智享无人直播系统(三代)融合AI智能互动,成就无人直播行业的新巨星!

随着直播行业的不断发展&#xff0c;智享直播&#xff08;三代&#xff09;作为首家自主研发的智能AI直播软件引领了行业的新潮流。相比市场上的其他同类软件&#xff0c;我们的软件通过创新的功能实现了直播间的AI智能互动&#xff0c;提供了丰富而个性化的直播体验。最重要的…

fmql入门之对标zynq差异(2)

还是有很多地方需要注意的&#xff0c;细节又繁琐。 AXI 接上一篇&#xff0c;Program bit后&#xff0c;IAR debug无现象&#xff1a; prinft没有打印出字符串&#xff1b;GPIO初始化失败。 不知道是不是vivado补丁失败的原因&#xff1a; 但是重新分析综合后还是这样。 …

Lc43---- 1221. 分割平衡字符串(java版)---(贪心)(字符串)

1.题目描述 2.知识点和思路 &#xff08;1&#xff09;贪心算法的基本思想 选择性质&#xff1a;在每一步中&#xff0c;选择当前最优的选项&#xff0c;不考虑未来的后果。 局部最优解&#xff1a;通过一系列局部最优选择&#xff0c;构建全局最优解。 不可回溯&#xff1a;一…

2024电工杯A题详细思路代码分析数学建模:园区微电网风光储协调优化配置

题目分析&#xff1a;园区微电网风光储协调优化配置 我们会先给出三个问题总体的分析&#xff0c;最后会详细分析问题一的建模和详细内容。 背景&#xff1a; 园区微电网由风光发电和主电网联合为负荷供电&#xff0c;为了尽量提高风光电量的负荷占比&#xff0c;需配置较高比…

SpringBoot 实现图片防盗链功能

前言 出于安全考虑&#xff0c;我们需要后端返回的图片只允许在某个网站内展示&#xff0c;不想被爬虫拿到图片地址后被下载。或者&#xff0c;不想浏览器直接访问图片链接。 出于性能考虑&#xff0c;不想要别人的网站&#xff0c;拿着我们的图片链接去展示&#xff0c;白白…

【Spring】Spring事务管理——声明式事务管理代码示例

1、声明式事务管理 步骤一&#xff1a;添加Spring和JDBC的依赖 <dependencies> <!-- Spring Core --> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> <version>你的S…

python+opencv提取.mp4 视频的每一帧并将其保存为图片

提取 .mp4 视频的每一帧并将其保存为图片&#xff0c;可以使用 cv2 库&#xff08;OpenCV&#xff09;。下面是一个完整的示例代码&#xff0c;演示如何使用 OpenCV 提取视频的每一帧并将其保存为图片&#xff0c;使用时需要将mp4文件及路径放至video_path &#xff0c;提取的图…

02--大数据Hadoop集群实战

前言&#xff1a; 前面整理了hadoop概念内容&#xff0c;写了一些概念和本地部署和伪分布式两种&#xff0c;比较偏向概念或实验&#xff0c;今天来整理一下在项目中实际使用的一些知识点。 1、基础概念 1.1、完全分布式 Hadoop是一个开源的分布式存储和计算框架&#xff0…

C++对C的扩充

C既可用于面向过程的程序设计&#xff0c;也可用于面向对象的程序设计。在面向过程程序设计的领域&#xff0c;C继承了C语言提供的绝大部分功能和语法规定&#xff0c;并在此基础上做了不少扩充&#xff0c;主要有一下几个方面&#xff1a; 1.C的输入输出 C为了方便用户&…

Spring 事务源码分析

前言&#xff1a; 我们知道 Spring 声明式事务是通过 AOP 来实现的&#xff0c;日常项目开发中我们只需要使用 Transactional 注解就可以实现声明式事务&#xff0c;那你知道通过 Transactional 注解怎样实现事务的吗&#xff1f;本篇我们将从源码来分析 Spring 声明式事务的执…

STM32定时器四大功能之定时器编码接口

1什么是编码器接口&#xff1f; 编码器接口接受编码器的正交信号&#xff0c;根据编码器产生的正交信号脉冲控制CNT的自增和自减&#xff0c;从而指示编码器的旋转方向和旋转速度。 每个高级定时器和通用定时器都有一个编码器接口&#xff0c;同时正交编码器产生的正交信号分…

Redis 的持久化(真的好细)

前言 Redis 是一个内存数据库&#xff0c;把数据存储在内存中&#xff0c;而内存中的数据是不持久的&#xff0c;要想数据持久就得将数据存储到硬盘中&#xff0c;而 Redis 相比于 Mysql 这样的关系型数据库最大的优势就在于将数据存储在内存中从而效率更高&#xff0c;速度更快…

docker 安装RabbitMQ-web版本

直接拉去web版本 docker pull rabbitmq:management启动命令 设置用户名 admin 密码123456 docker run -dit --name rabbitmq -p 5672:5672 -p 15672:15672 -e RABBITMQ_DEFAULT_USERadmin -e RABBITMQ_DEFAULT_PASS123456 rabbitmq:management访问地址 http://127.0.0.1:…

配置证书443访问 -- 集成框架

配置证书443访问 前言正文步骤1: 准备证书基于Nginx镜像 前言 由于业务要求需要对当前网络请求服务器不走80端口&#xff0c;进行443 https证书访问。 文档有点丑见谅&#xff0c;我还没加样式 正文 要让运行在Docker容器中的前端应用在443端口上使用SSL/TLS证书&#xff0…