Mac M2 本地下载 Xinference

想要在Mac M2 上部署一个本地的模型。看到了Xinference 这个工具

一、Xorbits Inference 是什么

Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。

本地部署参考了这两个文档

部署文档

欢迎来到 Xinference! — Xinference

部署文档

接入 Xinference 部署的本地模型 | 中文 | Dify

二、本地部署

安装命令

pip install xinference

安装成功

硬件加速

CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

 安装成功

启动(启动的时候,指定从魔搭上拉取模型。注意这里,国内的话用魔搭拉取会顺畅一些,国外的话可以不指定,取huggingface上去拉去模型)

XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997

本地访问

http://0.0.0.0:9997

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/5775.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker安装并配置Mongodb 6.0单机复制集

#初始化复制配置#创建数据目录 sudo mkdir -p /app/mongodb6-0/db sudo mkdir -p /app/mongodb6-0/configdb sudo chmod -R 777 /app/mongodb6-0 #生成keyfile sudo openssl rand -base64 128 > /app/mongodb6-0/configdb/keyFile sudo chmod 600 /app/mongodb6-0/configd…

Kubernetes 弃用Docker后 Kubelet切换到Containerd

containerd 是一个高级容器运行时,又名 容器管理器。简单来说,它是一个守护进程,在单个主机上管理完整的容器生命周期:创建、启动、停止容器、拉取和存储镜像、配置挂载、网络等。 containerd 旨在轻松嵌入到更大的系统中。Docke…

screen服务使用解析

一、为什么要使用screen服务 当我们在进行一些常见的远程操作时,通常首先会先进行远程ssh登录 或者telnet连接到远程服务器上,然后执行相关操作,或程序启动等。 1、程序所需的执行时间过长,可能需要挂载几天的那种,可…

C++ 仿函数

目录 1、什么是仿函数? 2、仿函数在哪里? 3、如何理解?(很简单很简单) 4、仿函数的价值,应用场景: 1、商品的比较 2、成绩的比较 1、什么是仿函数? 仿函数仿函数,顾名思义就是模仿函数 模…

Linux(ubuntu)—— 用户管理user 用户组group

一、用户 1.1、查看所有用户 cat /etc/passwd 1.2、新增用户 useradd 命令,我这里用的是2.4的命令。 然后,需要设置密码 passwd student 只有root用户才能用passwd命令设置其他用户的密码,普通用户只能够设置自己的密码 二、组 2.1查看…

mybatis-plus报错:Can not find table primary key in Class

TableInfoHelper - [initTableFields,327] - Can not find table primary key in Class: "*.*.User".表里有主键,但是报找不到主键,因为mybatis plus 里面自动匹配主键字段为id 当数据库中的主键不为id时会报出上述错误。 解决: 添加下面代…

基于ROS从零开始构建自主移动机器人:仿真和硬件

书籍:Build Autonomous Mobile Robot from Scratch using ROS:Simulation and Hardware 作者:Rajesh Subramanian 出版:Apress 书籍下载-《基于ROS从零开始构建自主移动机器人:仿真和硬件》您将开始理解自主机器人发…

SQL常见约束及外键约束删除更新行为

一.约束 1.概念 约束是作用于表中字段上的规则,用于限制存储在表中的数据。 2.目的: 保证数据库中数据的正确、有效性和完整性。 3.添加约束两种方式 可以在创建表/修改表的时候添加约束。 在为字段添加约束时,我们只需要在字段之后加…

aic8800 linux

编译方法参考 http://t.csdnimg.cn/epR89 aic8800 源码在 github 里。同样需要 cfg80211 和 mac80211 aic_load_fw/aic_load_fw.ko aic8800_fdrv/aic8800_fdrv.ko都放到放 .ko 的地方 src/USB/driver_fw/drivers/aic8800 就是源码,没有蓝牙的型号不需要aic_btusb …

ip地址与硬件地址的区别是什么

在数字世界的浩瀚海洋中,每一台联网的设备都需要一个独特的标识来确保信息的准确传输。这些标识,我们通常称之为IP地址和硬件地址。虽然它们都是用来识别网络设备的,但各自扮演的角色和所处的层次却大相径庭。虎观代理小二将带您深入了解IP地…

6.k8s中的secrets资源

一、Secret secrets资源,类似于configmap资源,只是secrets资源是用来传递重要的信息的; secret资源就是将value的值使用base64编译后传输,当pod引用secret后,k8s会自动将其base64的编码,反编译回正常的字符…

HTTP/1.1、HTTP/2、HTTP/3 的演变

HTTP/1.1、HTTP/2、HTTP/3 的演变 HTTP/1.1 相比 HTTP/1.0 提高了什么性能?HTTP/2 做了什么优化?HTTP/3 做了哪些优化? HTTP/1.1 相比 HTTP/1.0 提高了什么性能? HTTP/1.1 相比 HTTP/1.0 性能上的改进: 使用长连接的…

【Spring】5.Spring事务中的@Transactional注解剖析

事务是确保数据完整性的关键机制。Spring框架通过Transactional注解提供了一种声明式事务管理的方式,极大地简化了事务的使用。在本篇文章中,我们将深入探讨Spring的Transactional注解,包括它的工作原理、可用属性、如何配置以及在嵌套事务场…

再生龙clonezilla使用方法

目录 本文相关内容的介绍服务器窗口重定向引导进入再生龙系统检查本机操作系统的引导模式 再生龙基础功能选择选择 device-image选择ssh_server 网络配置ssh_server 配置ssh_server 镜像存储路径 再生龙抓取操作系统抓取镜像的命名 再生龙恢复操作系统拉取镜像的选择 本文相关内…

【Docker学习】docker checkpoint简单了解

docker checkpoint是一个试验性的功能,旨在用于测试和反馈,未来不确定是否会发生变化或是被删除掉,现有的功能我们可以简单了解了解。 docker checkpoint主要用于管理检查点(CheckPoint)。检查点(CheckPoi…

【16-Ⅰ】Head First Java 学习笔记

HeadFirst Java 本人有C语言基础,通过阅读Java廖雪峰网站,简单速成了java,但对其中一些入门概念有所疏漏,阅读本书以弥补。 第一章 Java入门 第二章 面向对象 第三章 变量 第四章 方法操作实例变量 第五章 程序实战 第六章 Java…

收藏:关于闭包表

参考视频:【IT老齐513】经典树形数据结构-闭包表_哔哩哔哩_bilibili, 这个视频系列的确不错,500多个了。 闭包表,其实就是用来做树形结构的时候,如何快速找到某个节点下的所有后代节点,用两张表去完成&…

【html知识】用html写一个简单的个人网页

介绍&#xff1a; 这是一个HTML和CSS的代码段&#xff0c;它构建了一个基本的个人网页布局。以下是该代码的详细介绍&#xff1a; HTML部分&#xff1a; 文档类型与基础结构&#xff1a;<!DOCTYPE html> 声明了文档类型为HTML5。<html lang"en"> 定义…

设计模式-03 设计模式-依赖倒转原则案例分析

设计模式-03 设计模式-依赖倒转原则案例分析 目录 设计模式-02 设计模式-依赖倒转原则案例分析 1.定义 2.内涵 3.案例对比 4.注意事项 5.最佳实践 6.总结 1.定义 依赖倒转原则&#xff08;Dependency Inversion Principle&#xff0c;简称DIP&#xff09;高层级的模块…

ModuleNotFoundError: No module named ‘pyautogui‘

ModuleNotFoundError: No module named pyautogui 这个错误意味着你的Python环境中没有安装pyautogui这个模块。pyautogui是一个用于程序化地控制鼠标和键盘的Python模块&#xff0c;常常用于自动化任务、GUI测试等场景。 为了解决这个问题&#xff0c;你需要安装pyautogui模块…