HuggingFists系统功能介绍(5)--环境资源

模型库

    模型库用于管理由HuggingFists系统自己生成的或者外部导入的各种模型。如:HuggingFace网站提供的各类模型可导入该模块进行统一管理及部署。该功能目前在HuggingFists的社区版中并未提供。

环境管理

环境管理-工作节点

环境管理-服务配置

        环境管理主要用于与使用者的环境进行整合,最大限度的整合使用者已具备的各类能力。这种整合即可以提升工程实施效率又可以节省实施成本。

        环境管理目前包括:集群、工作节点以及服务配置三个子模块。其中集群模块在HuggingFists的社区版中并未提供。该模块主要用于整合使用者环境中的计算集群,方便调度运行基于Spark、Flink计算框架编写的流程。

        工作节点用于管理HuggingFists的计算节点,用于解释执行基于算子定义的数据处理或分析流程。HuggingFists的社区版缺省状况下只安装了一个单机计算节点,其企业版支持安装管理多计算节点。当使用者流程众多且需要并发调度时,可以将流程交给不同的计算节点并发运行。

        服务配置用于管理各类连接器、算子运行时所需的公共服务。如:Http代理等。

        环境管理介绍完了,下面我们看一下资源库管理。

资源库

      

    资源库管理包括连接器库、算子库以及Prompt(提示)库三种类型的库。

连接器库

        连接器库用于注册管理各类连接器。连接器是HuggingFists中的一种特殊插件,通过连接器可以创建与各类存储系统的数据连接。每种数据源都有一个专属的连接器。连接器分为四类,如我们在数据源中介绍的,数据源分为数据库、文件系统、事件流以及应用系统四类。连接器的类型与此一一对应。

        HuggingFists系统提供了一套连接器的开发标准,目前尚未开放。等标准开放后,开发者可以依此标准扩展打包不同的连接器。并通过“上传”按钮注册连接器。连接器注册成功后,在数据源管理模块就可以看到连接器所注册的数据源类型并可创建对应的数据源了。

算子库

        再看一下算子库。算子库用于注册管理各类算子。HuggingFists提供的算子主要分为:输入、输出、读取、写出、处理、分析、资源、控制以及动作9类。算子库以算子类型作为分组标准对算子进行分组管理。

  1. 输入算子用于从数据源读取数据;输出算子用于向数据源写出数据;当一个流程中一般每增加一个连接器就会配套增加一对输入、输出算子。
  2. 资源算子用于优化输入、输出时的资源占用,如数据库连接算子,当某个流程中需要读写同一数据库时,可以加入一个数据库连接算子,使数据库的读写算子复用同一数据连接。
  3. 读取算子用于特定格式文件;写出算子用于写出特定格式的文件。
  4. 处理算子用于实现对数据的各类处理,这是算子库中最丰富的一类算子。
  5. 分析算子封装了各类分析算法,用于实现对数据的模型训练,如:分类、聚类等算法。
  6. 控制算子用于控制数据流的流转逻辑。如:条件控制算子、数据集复制算子等。
  7. 动作算子用于完成特定功能的操作,如:表清空操作、文件删除操作等。

使用者可以通过“检索”页面检索所需的算子,了解算子的用法。

Prompt库

再看一下Prompt提示库。该库主要用于管理提示工程中的“提示”。如今“提示”是使用者与LLM交互的桥梁。使用者通过向LLM输入提示信息来驱动模型完成指定的工作。由于LLM内部知识呈现黑盒特征,且不同的LLM间也有差异。所以使用者需要“提示工程”来设计和积累输入何种提示信息能够让LLM按照使用者的要求输出结果。

HuggingFists给出了提示库管理功能,可以帮助用户不断积累提示模板。支持使用者对提示模板进行分组管理;支持使用者设置提示模板可以应用的模型族系、类型等信息。

HuggingFists是目前为数不多能够提供提示模板积累并可以直接应用的工具。

总结

    HuggingFists系统的基本功能我们介绍完了。感兴趣的朋友可以安装并试用下了。通过本次介绍,使用者应该可以自行搭建自己的数据处理或分析流程了。至于HuggingFists系统还有很多应用细节,我们后续将再做专题介绍。在此之前,大家也可以自行点击摸索使用,期间大家碰到什么问题或有任何建议可以扫描下面的二维码加入群组与我们一起讨论。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/703272.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

protobuf简单使用(二)

介绍 上一节中,我们介绍了protobuf,简单来说,它是一种消息数据格式,其作用类似于json,但是比json的使用效率要高。 除此以外,我们介绍了protobuf的简单使用,也就是如何可以像使用json一样&…

2627. 函数防抖

说在前面 🎈不知道大家对于算法的学习是一个怎样的心态呢?为了面试还是因为兴趣?不管是出于什么原因,算法学习需要持续保持。 题目描述 请你编写一个函数,接收参数为另一个函数和一个以毫秒为单位的时间 t &#xff0…

Linux之vim的使用详细解析

个人主页:点我进入主页 专栏分类:C语言初阶 C语言进阶 数据结构初阶 Linux C初阶 算法 欢迎大家点赞,评论,收藏。 一起努力,一起奔赴大厂 目录 一.vim简介 二.vim的基本概念 三.vim的基本操作 3.1准备 …

状态空间模型(SSM)

论文:A new approach to linear filtering and prediction problems http://160.78.24.2/Public/Kalman/Kalman1960.pdf 状态空间模型介绍 术语状态空间模型具有非常广泛的含义,它简单地表示任何具有潜在状态的循环过程的概念。 它已被用来指代不同学科…

MySQL数据库进阶第四篇(视图/存储过程/触发器)

文章目录 一、视图简单介绍与基础语法二、视图的检查选项三、视图的更新四、视图的作用五、存储过程的概念与特点六、存储过程的 创建,调用,查看,删除七、存储过程 — 系统变量八、存储过程 — 用户定义变量九、存储过程 — 局部变量十、存储…

深入理解指针2

各位小伙伴们,我们继续来学习指针,指针和结构体以及动态内存管理对后面的数据结构学习有非常大的帮助,所有我们一定要把这些知识点学会。OK,正式进入学习之旅吧 1.数组名的理解 在上⼀个章节我们在使⽤指针访问数组的内容时,有这…

免费分享一套SpringBoot+Vue实验室(预约)管理系统,帅呆了~~

大家好,我是java1234_小锋老师,看到一个不错的SpringBootVue实验室(预约)管理系统 ,分享下哈。 项目视频演示 【免费】SpringBootVue实验室(预约)管理系统 Java毕业设计_哔哩哔哩_bilibili【免费】SpringBootVue实验室(预约)管理系统 Java毕…

微信小程序 wxs内联与外联的写法

内联写法 <!-- 内联wxs --> <view>大写字母{{m1.toUpper("xmly")}}</view> <wxs module"m1">module.exports.toUpperfunction(str){return str.toUpperCase()} </wxs> 外联写法 新建一个wxs文件 写一个函数&#xff0c;将…

争取用一张图说清楚什么是编译器(Compiler)

抽完一颗烟&#xff0c;回来&#xff0c;突然看到了德州仪器的各个DSP芯片的编译器&#xff0c;想到了给编译器做个说明&#xff0c;争取对编译器概念有点糊涂的小朋友能突然一下明白&#xff0c; ┗|&#xff40;O′|┛ 嗷~~ 编译器就是 人机间 语言 的 翻译官&#xff08;Tra…

YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information

论文地址&#xff1a;https://arxiv.org/pdf/2402.13616.pdf 代码地址&#xff1a;GitHub - WongKinYiu/yolov9: Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information yolov7的作者更新了yolov9 摘要 当今的深度学习方…

TypeScript基础知识点

TypeScript 简介和发展 TypeScript 是一种由微软开发的开源编程语言&#xff0c;其设计目标是为了解决 JavaScript 在大规模应用开发时所面临的类型安全和可维护性问题。TypeScript 的诞生背景可以追溯到2012年&#xff0c;当时随着Web应用程序复杂度的日益增长&#xff0c;J…

PCIe 5.0 Layout Guide笔记

一、松耦合和紧耦合 松耦合优点是相同走线宽度下电介质更薄,同时对线间距的变化不敏感,提供了更好的阻抗控制;松耦合缺点是需要更大的区域进行绕线;紧耦合优点是更高的布线密度,相同阻抗下走线可以更细,同时具有更好的共模噪声抑制;紧耦合缺点是阻抗随线间距的变化大;【…

一个模板项目复制多个时候报错

复制的项目虽然用新idea打开&#xff0c;但是用的parent版本号&#xff0c;或者名字还是一个&#xff0c;这块要改&#xff0c;改版本号就行&#xff0c;子项目也改 循环依赖解决 pom中引入了循环依赖&#xff0c;pom已经最新&#xff0c;但是启动还是报错&#xff0c;idea缓…

基于Java的艺培管理解决方案

✍✍计算机毕业编程指导师 ⭐⭐个人介绍&#xff1a;自己非常喜欢研究技术问题&#xff01;专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目&#xff1a;有源码或者技术上的问题欢迎在评论区一起讨论交流&#xff01; ⚡⚡ Java、…

cmake构建在Visual stdio 2019 和Xcode的Qt的程序

概述&#xff1a;用CMake可以方便地构建Qt的应用程序&#xff0c;前提是你已经配置好用Visual Stdio 开发的Qt的环境或者Xcode的Qt开发环境。 1、编写CMakeLists.txt cmake_minimum_required(VERSION 3.6)set(CMAKE_CONFIGURATION_TYPES "Debug;Release" CACHE STR…

介绍 Gradio 与 Hugging Face

&#x1f349; CSDN 叶庭云&#xff1a;https://yetingyun.blog.csdn.net/ 我们可以使用 Gradio 库为我们的模型构建演示。Gradio 允许您完全使用 Python 为任何机器学习模型构建、自定义和共享基于 Web 的演示。使机器学习模型变得可交互和易于使用。 为什么首先要为您的机器…

Parade Series - NVR Stat

获取文件夹占用空间信息 DIR %NVRHOME% /W /SDIR %NVRHOME% /s | tail -n2 | sed s/,//g | awk {if(NR1){key"Used";}else{key"Free";};sum$3/(1024*1024);unit"MB";if(sum^>1024){sumsum/1024;unit"GB";}printf("{\"Ty…

Ansible group模块 该模块主要用于添加或删除组。

目录 创建组验证删除组验证删除一个不存在的组 常用的选项如下&#xff1a; gid  #设置组的GID号 name  #指定组的名称 state  #指定组的状态&#xff0c;默认为创建&#xff0c;设置值为absent为删除 system  #设置值为yes&#xff0c;表示创建为系统组 创建组 ansib…

【Leetcode】938. 二叉搜索树的范围和

文章目录 题目思路代码结论 题目 题目链接 给定二叉搜索树的根结点 root&#xff0c;返回值位于范围 [low, high] 之间的所有结点的值的和。 示例 1&#xff1a; 输入&#xff1a;root [10,5,15,3,7,null,18], low 7, high 15 输出&#xff1a;32 示例 2&#xff1a; 输入…

linux+fortify

系统版本:Ubuntu22.04桌面版 一:登录root用户关闭防火墙 sudo passwd root systemctl stop ufw.service systemctl disable ufw.service 二:开启ssh服务 sudo apt update sudo apt install openssh-server sudo systemctl start ssh sudo systemctl status ssh连接上WinS…