wespeaker项目grpc-java客户端开发

非常重要的原始参考资料:
链接: triton-inference-server/client github/grpc java
ps:
使用grpc协议的其它项目python/go可以参考git hub目录client/tree/main/src/grpc_generated下的其它项目
其它链接:

  1. 想要系统了解triton-inference-server可以查看主页
  2. 想要了解server可以查看server
  3. 想要了解clinet可以查看client

生成java项目依赖

(一)克隆Triton Inference Server Common到本地
git clone https://github.com/triton-inference-server/common/ -b r22.03 common-repo
注意:下载合适的分支

(二)克隆Triton Client到本地
git clone https://github.com/triton-inference-server/client.git

(三)使用IDEA打开client
client所在的路径/client/src/grpc_generated/java/library

(四)设置IDEA的maven和setting
settings-》Build,execution,Deployment->build Tools–>Maven设置maven home path和setting file
注意:setting file需要配置依赖项从哪里下载

(五)中common-repo/protobuf/*.proto拷贝到library下src/main/proto/位置
运行mvn compile
这一步主要是编译proto
(六)生成文件
在这里插入图片描述
上述文件就是新java工程的依赖项

开发java客户端

(一)启动triton-inference-server提供的模型服务

# Step 1: Create the example model repository
git clone -b r24.01 https://github.com/triton-inference-server/server.git
cd server/docs/examples
./fetch_models.sh# Step 2: Launch triton from the NGC Triton container
docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:24.01-py3 tritonserver --model-repository=/models
去掉 --gpus=1 为cpu版本

(二)启动triton-inference-server提供的java客户端测试

首先需要拷贝第一步的依赖

$ cp -R library/target/generated-sources/protobuf/java/inference  examples/src/main/java/inference
$ cp -R library/target/generated-sources/protobuf/grpc-java/inference/*.java  examples/src/main/java/inference/

使用IDEA打开路径:/client/src/grpc_generated/java/examples

$ cd examples
$ mvn clean install 
$ mvn exec:java -Dexec.mainClass=clients.SimpleJavaClient -Dexec.args="<host> <port>"

成功的话,会出现

name: "OUTPUT0"
datatype: "INT32"
shape: 1
shape: 16name: "OUTPUT1"
datatype: "INT32"
shape: 1
shape: 16

(三)自行修改构建成自己的java客户端
参考上述examples,修改为自己工程需要的;另外也要启动自己的server,启动自己server的方法参考
wespeake工程指导

用jar包运行

(一)打包jar包(IDEA)
File – 》Projection structure–》Artifacts --> ➕–〉JAR–》From module…–>Main Class(com.bj58.ailab.wpai.userdefined.你的javaClient)–>OK–>OK

点击build–》build Artifacts—〉你刚才的jar–》build
即可在生成目录看到生成的jar包
(二)jar包运行

nohup java -jar 你的jar包名.jar 你的参数 > 你的.log

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/661324.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【linux】运维-磁盘空间不足-用到的命令(简洁)

【linux】运维-磁盘空间不足-用到的命令 常用&#xff1a; 注&#xff1a;du -s 和 -d 不能同时都用, -s | -d n 注&#xff1a;df -H 和 -h 区别 -H 1K1000 -h 1K1024 #-T 显示文件系统类型 -h 高可读性显示 df -Th #-c显示总和 ;sort -r 倒序显示 ;2>/dev/nul…

小白初探|神经网络与深度学习

一、学习背景 由于工作的原因&#xff0c;需要开展人工智能相关的研究&#xff0c;虽然不用参与实际研发&#xff0c;但在项目实施过程中发现&#xff0c;人工智能的项目和普通程序开发项目不一样&#xff0c;门槛比较高&#xff0c;没有相关基础没法搞清楚人力、财力如何投入&…

Mask-Free Video Instance Segmentation

论文地址&#xff1a;[2303.15904] 无掩码视频实例分割 (arxiv.org) 论文代码&#xff1a;https://github.com/SysCV/MaskFreeVis 目录 一、摘要 二、介绍 三、方法 3.1 时间掩码一致性 3.2 时间KNN-patch Loss 3.3 训练MaskFreeVIS 四. 数据集 五.消融实验 六. 结果 七…

Shell - 学习笔记 - 2.6 - Shell $*和$@之间的区别

$* 和 $ 都表示传递给函数或脚本的所有参数&#xff0c;我们已在《Shell特殊变量》一节中进行了演示&#xff0c;本节重点说一下它们之间的区别。 当 $* 和 $ 不被双引号" "包围时&#xff0c;它们之间没有任何区别&#xff0c;都是将接收到的每个参数看做一份数据&a…

深度解读NVMe计算存储协议-1

随着云计算、企业级应用以及物联网领域的飞速发展&#xff0c;当前的数据处理需求正以前所未有的规模增长&#xff0c;以满足存储行业不断变化的需求。这种增长导致网络带宽压力增大&#xff0c;并对主机计算资源&#xff08;如内存和CPU&#xff09;造成极大负担&#xff0c;进…

Python网络爬虫分步走之 – 第一步:什么是网络爬虫?

Python网络爬虫分步走之第一步&#xff1a;什么是网络爬虫&#xff1f; Web Scraping in Python Step by Step – 1st Step, What is Web Crawler? By JacksonML 1. 什么是网络爬虫&#xff1f; 在能够使用Google搜索引擎的场合&#xff0c;你是否尝试过简单搜索&#xff…

【C++】类和对象万字详解

目录 一、类与对象 1、类是什么 二、类和对象的基础知识 2.1 定义类&#xff1a;成员变量和成员函数 2.2 创建对象&#xff1a;实例化一个类的对象。 2.3对象的生命周期&#xff1a;构造函数和析构函数。 a. 构造函数 b. 析构函数 c.小结&#xff1a; 三、成员变量和…

Debezium系列之:深入理解GTID全局事务标识,并记录一次数据库重启造成数据丢失的原因和解决方案

Debezium系列之:深入理解GTID,并记录一次数据库重启造成数据丢失的原因和解决方案 一、背景二、深入理解什么是GTID三、深入理解gtid的uuid部分四、判断GTID之间的顺序大小五、解决方案一、背景 hive数据库的表与源头业务数据库的数据不一致,经过检查发现源头数据库发生了重…

腾讯云雾锁王国游戏服务器上线,10秒钟快速搭建!

随着科技的飞速发展&#xff0c;游戏行业也迎来了前所未有的繁荣。在这个时代&#xff0c;玩家们对游戏的体验需求日益增长&#xff0c;对服务器的稳定性和速度要求也越来越高。为了满足市场需求&#xff0c;腾讯云推出了雾锁王国游戏联机服务器及一键部署方案&#xff0c;只需…

❤ 做一个自己的AI智能机器人吧

❤ 做一个自己的AI智能机器人 看了扣子&#xff08;coze&#xff09;的模型&#xff0c;字节基于chatgpt搭建的一个辅助生成AI的网站&#xff0c;感觉蛮有意思&#xff0c;看了掘金以后&#xff0c;于是动手自己也实现了一个。 官网 https://www.coze.cn/ 进入的网站 1、 创…

java之基础知识、零碎知识

MENU java学习路程之篇一、知识点、path环境变量、计算机发展史、数据的存储和运算、人机交互、计算机语言java学习路程之篇二、知识点、JAVA背景介绍、配置JAVA_HOME、跨平台、JVM、JRE、JDKjava学习路程之篇三、知识点、类、模块、项目、操作、下载、安装、IDEA、开发工具jav…

CMake官方教程中文翻译 Step 6: Adding Support for a Testing Dashboard

鉴于自己破烂的英语&#xff0c;所以把cmake的官方文档用 谷歌翻译 翻译下来方便查看。 英语好的同学建议直接去看cmake官方文档&#xff08;英文&#xff09;学习&#xff1a;地址 点这里 或复制&#xff1a;https://cmake.org/cmake/help/latest/guide/tutorial/index.html …

速过计算机二级python——第二讲:基础语法

第二讲&#xff1a;基础语法 基础语法1. 变量2. 变量命名2.1语法规则2.1.1 区分大小写2.1.2 缩进 4 个空格2.1.3 # 注释 2.2 人机交互1. 输入函数&#xff1a;input()2. 转换函数&#xff1a;eval()3. 输出函数 print() 数据类型String&#xff08;字符串&#xff09;数字 组合…

面向对象设计的七大设计原则

在我们探讨如何创建健壮且可维护的面向对象系统时&#xff0c;有一些原则可以为我们提供指导。这些原则可以帮助我们理解如何最好地组织我们的类和对象&#xff0c;以实现高效、模块化和可扩展的设计。在本篇文章中&#xff0c;我们将探讨这些原则&#xff0c;以及如何在我们的…

代码随想录day13 Java版 二叉树部分-遍历全解

1.二叉树的递归遍历 回顾了递归的套路&#xff1a;1.返回值传入参数 2.结束条件 3.写具体的每一个递归单位 而在二叉树的三种遍历都没有返回值&#xff0c;传入当前node节点和所给框架下的返回值数组res 当传入的节点是null时结束递归 每个递归单位包含输出当前节点递归左孩…

centos7安装mysql5.7 或者mysql8

1、centos7安装mysql8 mysql官网 https://dev.mysql.com/downloads/mysql/ 示例2个版本的下载地址 #5.7.30下载地址 wget https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.30-1.el7.x86_64.rpm-bundle.tar #8.0.22下载地址 wget https://cdn.mysql.com/archives/mysql-8…

Maya------布尔 圆形圆角组件

17. maya常用命令7.布尔 圆形圆角组件_哔哩哔哩_bilibili 选中一个模型&#xff0c;再按shift加选另外一个模型 圆形圆角命令

OpenStack平台镜像优化

OpenStack平台镜像优化 OpenStack平台镜像优化 案例准备 1. 规划节点 根据云平台分配的主机。节点规划见表1。 表1 节点规划 IP主机名节点192.168.200.11controller控制节点 2. 基础准备 使用云平台分配的All in one作为实验节点&#xff0c;本案例只讲述如何优化通过打…

PVE安装后报错:NO IOMMU Detected解决办法

&#xff11;、首先在BIOS中确定图形界面卡&#xff0c;打开了VT-D功能。 &#xff12;、修改grub vim /etc/default/grub 找到&#xff1a;GRUB_CMDLINE_LINUX_DEFAULT"quiet" 然后修改为 GRUB_CMDLINE_LINUX_DEFAULT"quiet intel_iommuon" 3、使用命…

华擎B660 主板 怎么设置打开来电自启功能?

环境&#xff1a; 华擎B660 钢铁传奇 1700 : Intel B660 问题描述&#xff1a; 华擎B660 主板 怎么设置打开来电自启功能&#xff1f; 解决方案&#xff1a; 1.前往-高级- 芯片组配置 2.往下划找到交流 /电源断电恢复 选择电源故障后的电源状态。如果选择 [关机]&#x…