【开发心得】三步本地化部署llama3大模型

目录

第一步:启动ollama

第二步:启动dify

第三步:配置模型(截图)


最近llama3很火,本文追击热点,做一个本地化部署的尝试,结果还成功了!

当然也是站在别人的肩膀上,文章最后有具体的参考文章,由于他们都是单独讲各自的部署,这里进行了整合。也就是说,如果你想本地化部署llama3大模型,本文是一套完整的部署方案。

第一步:启动ollama

ollama是可以本地部署的模型,其他模型,大多需要key才能进行连接。并不能做到本地化部署,而ollama作为轻量级,可本地化部署的模型,就是我们当下最好的选择了。

安装ollama很简单,只要你安装了docker,一条命令就可以了。

docker pull ollama/ollamadocker run -d -v  $PWD/ollama:/root/.ollama -p 11434:11434 \--name ollama ollama/ollama docker exec -it ollama /bin/bashollama run llama3

安装成功并且run以后,就可以看到下面的提示符,说明模型已经部署成功了! 

需要注意的是:

如果已启动过,需要删除原有的容器,当你再次重启以后,这个容器是不会自动运行的,需要手动,如下代码。当然也可以采用docker compose的方式,这里就偷懒了。

docker restart ollamadocker exec -it ollama /bin/bashollama run llama3

还有一种方法就是把容器删除,重新启动,浪费时间就不推荐了。

docker rm 容器名称

第二步:启动dify

第一步完成以后,后面就是安装dify框架了,dify的介绍和功能,在下面的参考文章中都有,有兴趣可以去看看,这里就不多说了,直接上代码。

git clone https://github.com/langgenius/dify.gitcd /dify/dockerdocker-compose up -d

当dify安装成功以后,首先要进行管理员配置,傻瓜式操作。

需要注意的是,当你添加新用户的时候,是采用邀请的方式,并不能直接设定用户的密码,这一点与其他平台有点儿不同。 

第三步:配置模型(截图)

最后一步是在dify里配置ollama模型,如下图: 

如果能够保存成功,就大功告成了!

需要注意的是,本文采用的是纯CPU模式,如果要上生产,还是要用到GPU的,否则生成回答的时候,会很慢很卡。

 

参考文章:

58k+star!ollama快速部署llama3大模型 - 大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发|53AI

内网穿透的应用-如何使用Docker本地部署Dify LLM结合内网穿透实现公网访问本地开发平台_difydocker部署-CSDN博客

接入 Ollama 部署的本地模型 | 中文 | Dify

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/21560.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【运维项目经历|027】PXE自动化部署与管理平台

🍁博主简介: 🏅云计算领域优质创作者 🏅2022年CSDN新星计划python赛道第一名 🏅2022年CSDN原力计划优质作者 🏅阿里云ACE认证高级工程师 🏅阿里云开发者社区专…

Nginx企业级负载均衡:技术详解系列(18)—— 作为上传服务器

你好,我是赵兴晨,97年文科程序员。 在上一期的技术分享中,我们探讨了如何高效搭建Nginx下载服务器,并讨论了长连接优化策略。那么今天,咱们进一步了解Nginx的另一面——作为上传服务器的配置技巧。 作为上传服务器&a…

怎么做好企业短信服务呢?(文字短信XML接口示例)

企业短信服务已经成为各行各业都信赖的行业推广方式之一,并且短信行业也与时俱进的发展着,随之而来的就是市场上短信平台的数量也随之增多。那么怎么在鱼龙混杂的短信行业中选择适合自己的企业短信服务平台呢?企业短信服务平台又适用于哪些应…

Django的PATH路径转换器

本书1-7章样章及配套资源下载链接: https://pan.baidu.com/s/1OGmhHxEMf2ZdozkUnDkAkA?pwdnanc 源码、PPT课件、教学视频等,可以从前言给出的下载信息下载,大家可以评估一下。 在Django框架中,默认内置了一组PATH路径转换器,具…

第一篇【传奇开心果系列】AI工业应用经典算法和Python示例:基于AI的智能制造技术经典算法与Python实践

传奇开心果博文系列 系列博文目录AI工业应用经典算法和Python示例系列 博文目录前言一、AI在智能制造方面的应用场景介绍二、基于AI的智能制造技术经典算法介绍三、支持向量机机器学习算法Python示例代码四、随机森林机器学习算法Python示例代码五、深度学习算法Python示例代码…

linux指令-高阶指令用法

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、pandas是什么?二、使用步骤 1.引入库2.读入数据总结 前言 linux操作系统的环境变量的使用基础需要先了解 提示:以下是本篇文章正文…

【linux】(2)文件内容排序sort

sort 是一个用于排序文件内容的命令行工具,在 Linux 和 Unix 系统中非常常用。 基本用法 sort [OPTION]... [FILE]...常用选项 按数值排序 -n sort -n filename例子:对包含数值的文件进行排序。 按字典顺序排序 -d sort -d filename例子&#xff1…

大宋咨询(深圳酒店神秘顾客调查)酒店客房神秘人体验调查内容

酒店客房神秘检查内容,是酒店管理中至关重要的环节。通过专业的神秘顾客对客房进行细致入微的检查,可以确保客房的清洁度、设施设备的完好性以及服务质量等方面达到高标准,帮助他们更好地了解客户的需求和满意度,从而提高服务质量…

Facebook开户|Facebook公共主页疑难杂症详解

​​要要切克闹,公共主页我来道...哈喽呀家人们中午好,上一次学习还是在上一次..hhh相信很多家人在做Facebook的时候总会遇到各种各样匪夷所思的bug!经常被搞心态吧!那么咱们今天呢就来总结一下各类的bug以及解决方法,…

InvokeAI学习教程三:换脸

启动InvokeAI,我们先生成一张图: 在正向提示词里输入:Avant-garde couture, tactile textures, vogue aesthetics, vibrant color palette, intricate embroidery details, dramatic silhouettes 生成一张高贵夫人的图像, 或者你从…

标准发布 | 废水处理减污降碳协同评估指南(碳中和标准)

本文件主编单位:北京林业大学、北京交通大学、中国电建集团华东勘测设计研究院有限公司、 眉山市城投中恒能环保科技有限公司、 中华环保联合会水环境治理专业委员会。 本文件参编单位:中国市政工程中南设计研究总院有限公司、湖北君集环境科技股份有 公…

C++ B (1124) : 斐波那契数列第n项Plus

文章目录 一、题目描述二、参考代码 一、题目描述 二、参考代码 #include <iostream> #include <vector>using namespace std;const long long MOD 1e9 7; // 取模的值// 定义矩阵类 class Matrix { public:vector<vector<long long>> data;// 构造…

JavaWeb项目规范开发流程详细分解

在JavaWeb项目开发中&#xff0c;遵循规范化的开发流程和最佳实践可以提高代码的可维护性、可扩展性和团队协作效率。规范化的开发流程主要从下面几个方面进行&#xff1a; 1. 项目结构 分层架构&#xff1a;典型的分层架构包括表示层&#xff08;Controller&#xff09;、业…

字节裁员!开启裁员新模式。。

最近&#xff0c;互联网圈不太平&#xff0c;裁员消息此起彼伏。而一向以“狼性文化”著称的字节跳动&#xff0c;却玩起了“低调裁员”&#xff0c;用一种近乎“温柔”的方式&#xff0c;慢慢挤掉“冗余”的员工。 “细水长流”&#xff1a;裁员新模式&#xff1f; 不同于以往…

【TB作品】MSP430F5529,单片机,打地鼠游戏

功能 针对这块开发板做了一个打地鼠游戏&#xff1a; 1 给单片机上电后&#xff0c;初始化显示界面&#xff0c;显示出分数和等级。 2 游戏是一轮一轮进行的&#xff0c;每一轮会以50%几率点亮板子上的五个小灯&#xff0c;表示地鼠露头需要打了。 3 一轮游戏开始后&#xff…

亚马逊又爆单了!做跨境电商就是靠选品!

其实亚马逊运营并不难&#xff0c;只要遵循亚马逊规则去做就不会有问题&#xff0c;亚马逊规则其实就是运营&#xff0c;但是&#xff01;难就难在选品&#xff01;我自己是做精品的&#xff0c;我自己明显的感觉就是&#xff0c;运营技术很厉害&#xff0c;但是好的产品面前一…

贪心算法拓展(反悔贪心)

相信大家对贪心算法已经见怪不怪了&#xff0c;但是一旦我们的决策条件会随着我们的步骤变化&#xff0c;我们该怎么办呢&#xff1f;有没有什么方法可以反悔呢&#xff1f; 今天就来讲可以后悔的贪心算法&#xff0c;反悔贪心。 https://www.luogu.com.cn/problem/CF865Dhttp…

C++栈、队列

文章目录 目录 文章目录 前言 一、stack、queue介绍 1.stack 2.queue 二、stack、queue的习题 1. 最小栈 2. 栈的压入、弹出序列 3.二叉树的层序遍历 三、stack和queue的模拟实现 1.stack的模拟实现 2.queue的模拟实现 前言 栈和队列是俩种特殊的容器&#xff0c;C在实现栈和队…

Go Go-Simple-Mail包进行批量SMTP邮件发送

go-simple-mail 包提供了一种简便的方式来处理和发送邮件。这个包支持保持活动连接、TLS和SSL加密协议,非常适合批量SMTP邮件发送需求。 1、安装Go-Simple-Mail包 go get -u github.com/xhit/go-simple-mail/v2 2、配置SMTP服务器连接 go-simple-mail包支持多种SMTP服务器…

强达电路营收下滑净利润急剧放缓:周转率骤降,2次因环保被罚

《港湾商业观察》施子夫 自2022年6月向深交所创业板递交招股书起&#xff0c;深圳市强达电路股份有限公司&#xff08;以下简称&#xff0c;强达电路&#xff09;已收到深交所下发的两轮审核问询函&#xff0c;并且公司已于2023年3月31日顺利过会。但由于迟迟未提交注册申请&a…