本地安装AI大模型

使用ollmam安装llmama3等模型

1.打开ollmam下载对应系统的软件,安装即可

官网:Ollama, 安装直接点就就行了,没有其他操作

2.安装模型

在官网找到对于的模型下载命令

记录命令:ollama run llama3

打开一个cmd窗口,输入命令等下载完成即可,

3.使用接口工具,调用,

http://localhost:11434/api/chat

{"model": "llama3","messages": [{"role": "user","content": "用中文说一下java程序员怎么样"}],"stream": false
}

缺点没有可视化界面,但是用于项目集成很不错,我这里已经卸载了,问的问题是回答是英文,我的建议找一个中文的模型导入进行,

使用LM Studio部署本地大模型

这种方案我比较推荐,简单下载快,有可视化界面,个人集成项目也可以,

1.下载LM StudioLM Studio - Discover, download, and run local LLMs

      如果打不开网站,开一个加速器,这个安装也是直接无脑安装即可,

2.下载模型

魔搭社区

这个社区别开加速器,不然打不开,这三个随便下一个就行了,全下载也行

新建一个存放模型的文件,把模型放进去,你也可以和我类似的文件结构

3.导入模型

打开软件LM studio 

跟新模型文件夹

选择模型回答模板

4.使用模型

加载模型

等他加载完就可以使用了,

5.优化

文本改为markdom格式

6.本地启用api接口

点击启动服务即可

根据文档调用接口即可,如果文档没有看懂,可以在b站看大佬视频电脑本地部署Llama3中文版 - LM studio_哔哩哔哩_bilibili

docker部署还有一种使用open-webui我没有用过,有兴趣可以试一下,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/20988.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【已解决】HtmlWebpackPlugin.getHooks is not a function

安装下面的依赖,获得 html-webpack-plugin 的 beta 版本 npm i html-webpack-pluginnext --save此问题在github上有讨论:https://github.com/facebook/create-react-app/issues/5465

【UE5.1 角色练习】09-物体抬升、抛出技能 - part1

前言 在上一篇(【UE5.1 角色练习】08-传送技能)的基础上继续实现控制物体抬升、抛出的功能。 效果 步骤 一、准备技能动画 1. 在项目设置中新建一个操作映射,这里命名为“Skill_GravityControl”,用按键4触发 2. 通过IK重定向…

git远程仓库限额的解决方法——大文件瘦身

Git作为世界上最优秀的分布式版本控制工具,也是优秀的文件管理工具,它赋予了项目成员对项目进行远程协同开发能力,因此受到越来越多的行业从业人员的喜爱。很多优秀的项目管理平台,比如国内的Gitee,国外的Github&#…

MySQL 一条SQL查询/更新语句是如何执行的?

MySQL 一条SQL查询语句是如何执行的? 1 连接器 首先客户端需要先跟服务端进行连接 2 查询缓存 MySQL 5.7 以及之前的版本会查询MySQL缓存,存储是键值对形式的 分析器 对SQL进行词法分析【会生成词法树】以及语法分析 词法分析: 主要负…

社交媒体数据恢复:淘宝旺信

根据搜索结果,阿里旺旺聊天记录的恢复方法如下: 运行阿里旺旺在旺旺面板底部点击小喇叭图标在打开的消息管理器窗口右上角点击"搜索"点击"高级搜索"设置所需查找的时间段---"搜索" 此外,在阿里旺旺的云存储中…

基于稀疏辅助小波和线性时不变滤波器的惯性传感器步态周期分割方法(MATLAB R2018A)

每个人在肌肉骨骼状况、生理状况、心理特征以及个人行走的“风格”等方面都有各自的特点,因此,每个人都有自己的步态指纹。这意味着可以根据步态特征来进行身份识别。基于步态的身份识别是生物特征识别的一个新兴领域。其机制有3个显著的优点&#xff1a…

STM32高级控制定时器应用之检测输入PWM周期和占空比

目录 概述 1 PWM 输入模式 1.1 原理介绍 1.2 应用实例 1.3 示例时序图 2 使用STM32Cube配置工程 2.1 软件环境 2.2 配置参数 2.3 生成项目文件 3 功能实现 3.1 PWM占空比函数 3.2 输入捕捉回调函数 4 功能测试 4.1 测试软件框架结构 4.2 实验实现 4.2.1 测试实…

整数之间的赋值问题

前言:我们在初学C语言的时候,总是避免不了一些数据类型的转换,例如int-->char,char-->int,如果我们仅仅只学习这些语法,而不去了解底层原理,对于这些输出的内容,我们可能会感觉…

2024还不会安装NodeJs

2024还不会安装NodeJs 1、官网下载 由于本地是windows,所以选择 Prebuilt Installer 64位 NodeJs官网下载 LTS长期支持版本 当然这里我用的 Snipastate 截屏软件,这里也配下载链接 Snipasate下载链接 2、配置环境变量 由于是自己的电脑&#xff0c…

SpringBoot启动流程分析之设置系统属性spring.beaninfo.ignore、自定义banner图(五)

SpringBoot启动流程分析之设置系统属性spring.beaninfo.ignore、自定义banner图(五) 参考 目录 文章目录 SpringBoot启动流程分析之设置系统属性spring.beaninfo.ignore、自定义banner图(五)1、设置sping.beaninfo.ignore属性2、…

限流算法整理——滑动窗口限流算法

限流算法描述 滑动窗口限流需要将每个窗口空间划分为无限小的窗口区间,并且动态调整区间的起始点,并且在调整完毕之后需要判断各个区间,累加各个区间的请求,查看是否到达最大的阈值,以此返回允许请求还是拒绝请求 算…

数据库与数据库管理系统 MySQL的安装 SQL语言学习:DDL、DML

day51 数据库 数据库(database)就是一个存储数据的仓库。为了方便数据的存储和管理,它将数据按照特定的规律存储在磁盘上。 通过数据库管理系统,可以有效地组织和管理存储在数据库中的数据,如数据库管理系统MySQL 数据…

Java学习Lambda表达式

Lambda表达式 有且只有一个未实现的方法叫做Lambda表达式,可以实现函数式编程 // 这个注解是用来检查你写的函数是否是函数式接口 FunctionalInterfaceinterface Myinterface {int sum(int a, int b);default String priteTitle(String name, int age, String sex)…

时间序列差分顺序的讨论

生成出一组时间序列数据 服从标准正态分布的50个 随机数据 分别给出4步季节差分,再进行1步1阶差分的结果 和 1步1阶差分再进行 4步季节差分 的结果 讨论: 先进行4步季节差分再进行1步1阶差分与先进行1步1阶差分再进行4步季节差分的结果看起来是相同的

Nvidia Jetson/Orin +FPGA+AI大算力边缘计算盒子:潍柴雷沃智慧农业无人驾驶

潍柴雷沃智慧农业科技股份有限公司,是潍柴集团重要的战略业务单元,旗下收获机械、拖拉机等业务连续多年保持行业领先,是国内少数可以为现代农业提供全程机械化整体解决方案的品牌之一。潍柴集团完成对潍柴雷沃智慧农业战略重组后,…

kaggle:房价预测

比赛链接 结果展示 结果链接 8848是密码 文章目录 数据处理调包部分拒绝掉包岭回归理论代码实践结果 自助采样理论代码 集成学习前言Bagging理论Bagging-Ridge代码Bagging-Ridge实践Bagging-Ridge结果 Tricks 数据处理 #打开文件 import pandas as pd dataset1pd.read_csv(&q…

How to install a dataset from huggingface?

当我从抱抱脸上git clone imdb数据集时,plain_text里的文件是这样的:

梦想的味道,特别的邀约 —— 蒙自源六一儿童节特别活动

每个孩子心中都有一颗梦想的种子,只需一点阳光和雨露,便能生根发芽,开出绚烂的花朵。六一儿童节,是孩子们的节日,也是他们梦想起航的日子。蒙自源希望成为孩子们梦想的沃土,用美食和爱滋养他们的成长。在这…

【Qt知识】Qt框架中的信号(Signals)与槽(Slots)机制

Qt框架中的信号(Signals)与槽(Slots)机制是一种强大的通信方式,允许对象之间相互通信而无需对象之间直接引用或了解对方。这一机制简化了应用程序的事件处理和组件之间的交互,是Qt的一大特色和核心概念。 …

Qt6.4.2基于CMake添加Qt3DCore模块报错

在文档中说明是添加 find_package(Qt6 REQUIRED COMPONENTS 3dcore) target_link_libraries(mytarget PRIVATE Qt6::3dcore)find_package是没有问题,但是target_link_libraries会报错,报拼写错误,无法链接上Qt6::3dcore 需要使用“3DCore”…