本地部署Xinference实现智能体推理工作流(二)

第二篇章 Dify接入 Xinference 部署的本地模型

1. 安装Dify

克隆 Dify 源代码至本地。

git clone https://github.com/langgenius/dify.git

2. 启动Dify

进入 Dify 源代码的 docker 目录,执行一键启动命令:

cd dify/docker
cp .env.example .env
docker compose up -d

如果您的系统安装了 Docker Compose V2 而不是 V1,请使用 docker compose 而不是 docker-compose。通过$ docker compose version检查这是否为情况。在这里信息。

3. 检查Dify是否成功运行

最后检查是否所有容器都正常运行:

docker compose ps

4. 访问Dify 

在浏览器中输入 http://localhost 访问 Dify。

5. 单独启动前端 Docker 容器

ps:由于默认端口是80,很可能与我们部署的其他服务冲突。所以可以使用下面方法修改端口

当单独开发后端时,可能只需要源码启动后端服务,而不需要本地构建前端代码并启动,因此可以直接通过拉取 docker 镜像并启动容器的方式来启动前端服务,以下为具体步骤(方式二选一即可):

方式一:直接使用 DockerHub 镜像

docker run -it -p 3000:3000 -e CONSOLE_API_URL=http://127.0.0.1:5001 -e APP_API_URL=http://127.0.0.1:5001 langgenius/dify-web:latest

方式二:源码构建 Docker 镜像

  1. 构建前端镜像

    cd web && docker build . -t dify-web
  2. 启动前端镜像

    docker run -it -p 3000:3000 -e CONSOLE_API_URL=http://127.0.0.1:5001 -e APP_API_URL=http://127.0.0.1:5001 dify-web
  3. 当控制台域名和 Web APP 域名不一致时,可单独设置 CONSOLE_URLAPP_URL

 本地访问 http://127.0.0.1:3000

6. Dify接入Xinference

模型部署完毕,在 Dify 中使用接入模型(点击头像->设置->模型供应商->Xorbits Inference)

设置 > 模型供应商 > Xinference 中填入:

  • 模型名称:vicuna-v1.3

  • 服务器 URL:http://<Machine_IP>:9997 替换成您的机器 IP 地址

  • 模型 UID:2c886330-8849-11ee-9518-43b0b8f40bea

"保存" 后即可在应用中使用该模型。

注意:因为我们的Dify是部署到了Docker中,而Xinference服务是在宿主机上,所以Dify是无法直接访问宿主机上的localhost的,需要通过:host.docker.internal:9997 访问

 参考文章:

① https://docs.dify.ai/v/zh-hans/guides/model-configuration/xinference

② Docker Compose 部署 | 中文

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/52834.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【OWOD论文】开放世界中OD代码_2_模型部分

简介 本文记录OWOD代码中的模型代码部分。数据部分可看我上一个博客【【OWOD论文】开放世界中OD代码_1_数据部分-CSDN博客】 模型代码 1 起步 在代码中找到 detectron2\engine\defaults.py DefaultTrainer类 __init__方法 根据上述 build_model 回溯到 detectron2\modeling\…

无人机校企合作:组装、维修、研发全面提升学生技能方好就业

无人机校企合作在组装、维修、研发等方面全面提升学生技能&#xff0c;进而促进学生就业&#xff0c;是一个具有前瞻性和实践性的教育模式。以下是对该合作模式的详细分析&#xff1a; 一、合作背景与意义 随着无人机技术的快速发展和广泛应用&#xff0c;市场对无人机专业人…

Maya云渲染平台哪个好,5家云渲染整理

Maya云渲染服务可以帮助用户利用云计算技术&#xff0c;通过互联网访问专业的渲染农场&#xff0c;利用大规模的服务器实现云渲染&#xff0c;比如单镜头同时安排50-300台机器渲染&#xff0c;从而大幅提升渲染效率和便捷性。当然&#xff0c;市面上的渲染农场参差不齐&#xf…

叉车(工业车辆)安全管理系统,云端监管人车信息运营情况方案

近年来&#xff0c;国家和各地政府相继出台了多项政策法规&#xff0c;从政策层面推行叉车智慧监管&#xff0c;加大叉车安全监管力度。同时鼓励各地结合实际&#xff0c;积极探索智慧叉车建设&#xff0c;实现作业人员资格认证、车辆状态认证、安全操作提醒、行驶轨迹监控等&a…

react学习之useState和useEffect

useState useState 可以使函数组件像类组件一样拥有 state&#xff0c;函数组件通过 useState 可以让组件重新渲染&#xff0c;更新视图。 实际使用 setstate()中回调函数的返回值将会成为新的state值回调函数执行时&#xff0c; React会将最新的state值作为参数传递 const A…

Linux基础 -- 网络工具之curl使用

curl 使用手册 curl 是一个强大的命令行工具&#xff0c;用于与服务器进行HTTP请求。本文档将介绍常见的请求方法和一些高级用法。 基础用法 1. GET 请求 GET 请求用于从服务器获取数据。 curl -X GET "http://example.com/api/resource"2. POST 请求 POST 请求…

【HarmonyOS 4.0】@BuilderParam 装饰器

1. BuilderParam 装饰器 BuilderParam 装饰器用于装饰自定义组件(struct)中的属性&#xff0c;其装饰的属性可作为一个UI结构的占位符&#xff0c;待创建该组件时&#xff0c;可通过参数为其传入具体的内容。参数必须满足俩个条件&#xff1a; 2.1 参数类型必须是个函数&#x…

windows安全软件之火绒杀毒的密码忘记后处理

一、问题描述 某次&#xff0c;想升级系统补丁&#xff0c;但多次尝试后都失败&#xff0c;排查杀毒软件影响过程中&#xff0c;发现火绒杀毒配置了密码保护&#xff0c;但因时间太久&#xff0c;密码已无从考证&#xff0c;那我们应该怎样处理这种情况呢&#xff1f; 二、处…

鸿蒙XComponent组件的认识

概述&#xff1a; XComponent组件作为一种渲染组件&#xff0c;通常用于满足开发者较为复杂的自定义渲染需求&#xff0c;例如相机预览流的显示、游戏画面的渲染、自定义视频播放器等等。其中Native API是其核心内容&#xff01; 其可通过指定其type字段来实现不同的功能&…

jenkins安装k8s插件发布服务

1、安装k8s插件 登录 Jenkins&#xff0c;系统管理→ 插件管理 → 搜索 kubernetes&#xff0c;选择第二个 Kubernetes&#xff0c;点击 安装&#xff0c;安装完成后重启 Jenkins 。 2、对接k8s集群、申请k8s凭据 因为 Jenkins 服务器在 kubernetes 集群之外&#xff0c;所以…

解决huggingface下载时Username/Password Authentication Failed.问题

项目场景&#xff1a; 使用huggingface 下载数据集。 问题描述 运行命令&#xff1a; wget https://huggingface.co/datasets/yangtaointernship/RealEstate10K-subset/resolve/main/google_scanned_objects.zip?downloadtrue 完整报错如下&#xff1a; --2024-08-30 15:…

Windows通过网线连接开发板共享网络

Windows端 打开更开适配器选项右键WLAN–属性–共享 右键以太网–属性–Internet协议版本4(TCP/IPv4) 记住IP地址 开发板端 查看网卡 ifconfig设置IP在同一网段 ifconfig eth0 192.168.137.2 netmask 255.255.255.0设置网关 route add default gw 192.168.137.1配置DNS su…

哪个牌子的电容笔好用又实惠?西圣、绿联、摩米士电容笔实测大比拼

​现在市面上的电容笔很多&#xff0c;在选择时会让人感到很纠结。那么多的选择&#xff0c;究竟哪个牌子的电容笔好用又实惠呢&#xff1f;一款优质的电容笔应考虑握持舒适度、笔尖材质、电池续航能力以及书写流畅度等因素。作为一位多年的数码爱好者&#xff0c;我今天将针对…

Python中的列表:掌握数据操作的艺术

引言 列表是一种可变序列&#xff0c;它可以存储任意数量的不同类型的对象&#xff0c;并且支持添加、删除等操作。在实际开发中&#xff0c;列表被广泛应用于数据存储、临时计算结果保存、数据传输等多个场景。例如&#xff0c;在Web开发中&#xff0c;我们可以使用列表来存储…

atc 经典dp 26题 题型总结

题目链接 稍微记录下吧。主要想发现他 这个题单主人 是怎么去分类dp的类型的。借鉴 题目不一定要多难。但是题型的分类总结 感觉很重要。 某种dp的处理方式。。他是相似的。。 A B 数组 前面往i1 &#xff0c;i2.。。这样的推 。 C 限制只能 交叉继承。。不能继承pre一样位置的…

CSS3动画——飞行的小精灵

CSS3动画——飞行的小精灵 今天的这段代码通过多层结构、渐变色、圆角、多种动画效果以及细节处理&#xff0c;成功地创造了一个充满活力和趣味性的飞行小精灵动画效果。 效果如下&#xff1a; 飞行的小精灵 源代码如下&#xff1a; <!DOCTYPE html> <html lang&quo…

探索Edge-TTS与WebSocket集成:打造实时语音交互系统

本文为实现 WebSocket 将文本转换为语音并返回 Base64 数据给 Vue 客户端【干货】 在本文中&#xff0c;我们将构建一个简单的系统&#xff0c;该系统能够接收文本输入&#xff0c;通过 Microsoft Edge 的文本到语音服务&#xff08;Edge TTS&#xff09;转换为语音&#xff0c…

【第十三届蓝桥杯单片机国赛满分代码】

其他相关文章&#xff1a; 【提分必看&#xff01;】蓝桥杯单片机提分技巧&#xff08;国一经验分享&#xff09; 【国一超全代码分享&#xff01;】蓝桥杯单片机各模块代码整合 【蓝桥杯单片机客观题知识点汇总】 本代码经过编译后生成的hex文件经过了4T测试平台的满分测试。读…

python从入门到精通:文件操作

目录 1、文件编码 2、文件的读取 open( )打开函数 3、文件的写入 4、文件的追加 5、文件的操作&#xff08;综合案例&#xff09; 1、文件编码 因为计算机只能识别0和1&#xff0c;所以我们是通过编码技术&#xff08;密码本&#xff09;将内容翻译成0和1存入&#xff0…

Clock skew

时钟偏差(有时称为时序偏差)是同步数字电路系统(如计算机系统)中的一种现象,其中由于门电路或更先进的半导体技术中导线信号传播延迟,源自同一源的时钟信号会在不同时间到达不同组件。任何两个时钟读数之间的瞬时差异被称为它们的偏差。 大多数数字电路的操作由一个周期…