利用 Llama 3.1模型 + Dify开源LLM应用开发平台，在你的Windows环境中搭建一套AI工作流

文章目录

    • 1. 什么是Ollama？
    • 2. 什么是Dify？
    • 3. 下载Ollama
    • 4. 安装Ollama
    • 5. Ollama Model library模型库
    • 6. 本地部署Llama 3.1模型
    • 7. 安装Docker Desktop
    • 8. 使用Docker-Compose部署Dify
    • 9. 注册Dify账号
    • 10. 集成本地部署的 Llama 3.1模型
    • 11. 集成智谱AI大模型
    • 12. 添加Dify团队成员
    • 13. 导入DSL - 小红书文案生成脚本
    • 14. 所遇问题
    • 15. 参考链接

1. 什么是Ollama？

image-20241012175128004

Ollama 是一种可以学习和回答问题的 AI 模型，它能够进行自然语言交互，类似于人类对话。它具备一些独特的功能，如：

  1. 自主学习: Ollama 可以通过自身的学习过程改善其回答质量和知识范围。
  2. 无限回复: Ollama 能够不断地回答问题，无论你问多少个，直到你满意为止。
  3. 自然语言: Ollama 支持多种语言，包括英语、西班牙语等，你可以与它进行母语对话。

2. 什么是Dify？

Dify是一个开源的LLM应用程序开发平台。Dify直观的界面结合了人工智能工作流程、RAG管道、代理功能、模型管理、可观察性功能等，让您快速从原型进入生产。

3. 下载Ollama

下载链接：https://ollama.com

image-20241012170904054

image-20241012170949264

4. 安装Ollama

打开安装包，安装Ollama。

image-20240814172442161

5. Ollama Model library模型库

Ollama supports a list of models available on ollama.com/library

Here are some example models that can be downloaded:

ModelParametersSizeDownload
Llama 3.18B4.7GBollama run llama3.1
Llama 3.170B40GBollama run llama3.1:70b
Llama 3.1405B231GBollama run llama3.1:405b
Phi 3 Mini3.8B2.3GBollama run phi3
Phi 3 Medium14B7.9GBollama run phi3:medium
Gemma 22B1.6GBollama run gemma2:2b
Gemma 29B5.5GBollama run gemma2
Gemma 227B16GBollama run gemma2:27b
Mistral7B4.1GBollama run mistral
Moondream 21.4B829MBollama run moondream
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
LLaVA7B4.5GBollama run llava
Solar10.7B6.1GBollama run solar

Note：You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.

6. 本地部署Llama 3.1模型

To run and chat with Llama 3.1:

ollama run llama3.1:8b

image-20240814171432310

Start ollama

C:\Users\xyb>ollama serve

image-20241012180127996

List models on your computer

C:\Users\xyb>ollama list
NAME            ID              SIZE    MODIFIED
llama3.1:8b     91ab477bec9d    4.7 GB  8 weeks ago

Show model information

C:\Users\xyb>ollama show llama3.1:8bModelarch                    llamaparameters              8.0Bquantization            Q4_0context length          131072embedding length        4096Parametersstop    "<|start_header_id|>"stop    "<|end_header_id|>"stop    "<|eot_id|>"LicenseLLAMA 3.1 COMMUNITY LICENSE AGREEMENTLlama 3.1 Version Release Date: July 23, 2024

ollama -h

C:\Users\xyb>ollama -h
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

7. 安装Docker Desktop

在Windows 环境下，安装Docker Desktop。

image-20241012174905791

8. 使用Docker-Compose部署Dify

进入 Dify 源代码的 docker 目录，执行一键启动命令：

cd dify/dockercp .env.example .envdocker compose up -d

输入过程如下：

C:\dify\docker>docker-compose up  -d
[+] Running 11/11✔ Network docker_default             Created                     0.1s✔ Network docker_ssrf_proxy_network  Created                     0.0s✔ Container docker-web-1             Started                     1.4s✔ Container docker-weaviate-1        Started                     1.2s✔ Container docker-ssrf_proxy-1      Started                     1.9s✔ Container docker-sandbox-1         Started                     1.9s✔ Container docker-redis-1           Started                     1.4s✔ Container docker-db-1              Started                     1.7s✔ Container docker-worker-1          Started                     2.6s✔ Container docker-api-1             Started                     2.8s✔ Container docker-nginx-1           Started                     3.7s

启动完成后，你的 docker 里就会看到这个：

在这里插入图片描述
image-20241012120722598

也可以在Docker-Compose中查看到已启动的容器。

image-20240818150320373

9. 注册Dify账号

打开浏览器，输入http://127.0.0.1

设置管理员账户。输入邮箱、用户名、密码。

image-20241012163648495

填写完成后，点击设置。

image-20240815093239830

跳转至登录揭秘那，输入邮箱和密码完成登录。

image-20240815093327170

至此，我们利用Docker Compose 在Windows本地环境中，完成Dify的搭建部署工作。

image-20240815093356383

10. 集成本地部署的 Llama 3.1模型

  • 点击设置。

image-20240815093653323

  • 选择模型提供商Ollama

image-20240815093813927

填写如下参数信息。

！！！注意！！！：模型名称和基础URL要填写正确，否则会添加失败报错。

image-20240818145633535

  • 添加成功。

image-20240818144324916

  • 我们也可以输入以下地址，验证所添加的ollama模型是否已启动。

image-20241012172323267

11. 集成智谱AI大模型

  • 获取智谱 AI API Key

获取链接：智谱AI开放平台

image-20240818145757305

2e0556xxxxxxxxxxxxxxxxxxxxxxxxxxxE6of

image-20241012164255172

image-20241012164336131

image-20241012164440679

12. 添加Dify团队成员

image-20241012164545813

image-20241012164614694

http://127.0.0.1/activate?email=xxxxxxxx@outlook.com&token=34aa37d7-7d9a-4b64-9ed6-d0372380ad7f

image-20241012165623216

image-20241012165659255

13. 导入DSL - 小红书文案生成脚本

  • 导入DSL

image-20241012170623745

  • 小红书文案生成脚本工作流如下：

image-20240815093458359

  • 输入关键字

image-20241012174128200

  • 输出结果

image-20241012174037311

  • 生成内容如下：
标题：
1. 🌟【日常美学】🌼 这样的小确幸，让你幸福感爆棚！🍵📖✨
2. 💖【生活小秘诀】🌸 发现日常中的小美好，幸福感瞬间up！📸
3. 🌿【限量版生活】🌼 每天都是独一无二的美好！🍵📖✨
4. 📖【生活美学】🌸 一本好书，一杯香茗，幸福感满满！💖
5. 🌼【小确幸分享】🍵 这样的小日常，让你心情大好！📸
6. ✨【日常小美好】🌸 发现生活中的小确幸，幸福感飙升！📖
7. 🍵【生活小确幸】🌼 一杯香茗，一束鲜花，幸福感满满！💖
8. 📸【记录美好】🌸 每天都是限量版，用心发现小确幸！✨
9. 💖【生活美学】🌼 这样的小日常，幸福感瞬间up！🍵📖
10. 🌿【小确幸日常】🌸 一本好书，一束鲜花，幸福感爆棚！✨
11. 🌼【日常小秘诀】🍵 发现生活中的小美好，幸福感大增！💖
12. 📖【限量版日常】🌸 每天都是独一无二的美好！📸✨
13. ✨【生活小确幸】🌼 一杯香茗，一本好书，幸福感满满！🍵
14. 🍵【日常美学】🌸 这样的小确幸，让你心情大好！💖
15. 📸【小确幸分享】🌼 发现日常中的小美好，幸福感飙升！📖
16. 💖【记录美好】🌸 每天都是限量版，用心发现小确幸！🌿✨
17. 🌿【生活小美好】🌼 一本好书，一束鲜花，幸福感满满！🍵
18. 🌼【日常小确幸】🍵 这样的小日常，幸福感瞬间up！📸💖
19. 📖【小确幸日常】🌸 发现生活中的小美好，幸福感大增！✨
20. ✨【限量版生活】🌼 每天都是独一无二的美好！🍵📖💖
文案：
🌿🌸【生活小确幸】🍵 每天都是限量版，用心发现生活中的小美好！📖 一杯香茗，🌼 一本好书，简单日常也能闪闪发光✨。分享我的生活小秘诀，幸福感瞬间up up！📸 记录每一刻，生活美学，从心开始💖。你也有这样的小确幸吗？快来评论区分享吧！🌟🌿#生活美学 #小确幸 #日常分享 #幸福感 #记录美好 #限量版生活

14. 所遇问题

C:\Users\xyb>ollama serve
Error: listen tcp :11434: bind: An attempt was made to access a socket in a way forbidden by its access permissions.C:\Users\xyb>ollama run llama3.1:8b
Error: could not connect to ollama app, is it running?

需要关闭本地环境中的代理。

An error occurred during credentials validation: HTTPConnectionPool(host='127.0.0.1', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7eff701373d0>: Failed to establish a new connection: [Errno 111] Connection refused'))An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7eff70136260>: Failed to establish a new connection: [Errno 111] Connection refused'))

填写Ollama模型名称和基础URL信息有误导致的。

image-20240815115529322

image-20240815115533417

An error occurred during credentials validation: API request failed with status code 404: {"error":"model \"Llama 3.1\" not found, try pulling it first"}

image-20240818132217486

15. 参考链接

1️⃣https://mp.weixin.qq.com/s/jAX7uI_gjV4e7nzgb_rkrQ

2️⃣https://github.com/langgenius/dify

3️⃣Windows preview · Ollama Blog

4️⃣llama3.1:8b

5️⃣Download Ollama on Windows

6️⃣ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

Dify 教程二：使用本地大模型 | Coder 小站 (ihsxu.com)

github.com/langgenius/dify)

3️⃣Windows preview · Ollama Blog

4️⃣llama3.1:8b

5️⃣Download Ollama on Windows

6️⃣ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/881646.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

图像分类-demo(Lenet),tensorflow和Alexnet

图像分类-demo(Lenet),tensorflow和Alexnet

目录 demo(Lenet) 代码实现基本步骤&#xff1a; TensorFlow 一、核心概念 二、主要特点 三、简单实现 参数: 模型编译 模型训练 模型评估 Alexnet model.py train.py predict.py demo(Lenet) PyTorch提供了一个名为“torchvision”的附加库&#xff0c;其中包含…
阅读更多...
修复PDF打印速度慢

修复PDF打印速度慢

详细问题&#xff1a; 当您尝试将 PDF 文件打印到本地或网络打印机时&#xff0c;打印需要很长时间&#xff0c;因为发送打印作业后&#xff0c;打印机开始打印的速度非常慢&#xff0c;在打印任务中可以看到打印传输的数据在缓慢增长。 从其他程序打印时也不会出现打印速度慢…
阅读更多...
单点登录Apereo CAS 7.1安装配置教程

单点登录Apereo CAS 7.1安装配置教程

笔者目前正在做一个单点登录的课题，历时较长总算摸到一些门路，其中的辛酸不易按下不表。截至本文发布，CAS的最新版本为7.1。由于涉及到课题内容，而且内容比较新，整理试验不容易，暂时只对VIP开放，后续课题完成后会完全开放，敬请谅解。 CAS项目区别 在CAS的项目选择上，…
阅读更多...
Vue3 组件封装

Vue3 组件封装

1. 组件特性 在Vue中组件是一个独立的实例&#xff0c;每个组件都有共通点&#xff0c;就是&#xff1a;属性、插槽、事件、方法&#xff1b; 在日常我们使用第三方组件库的时候&#xff0c;组件库的文档都会说明上面四个特性&#xff0c;而组件封装就是围绕这四个特性进行的…
阅读更多...
AI大模型 向量Embeddings+向量数据库实现文搜文、图搜图

AI大模型 向量Embeddings+向量数据库实现文搜文、图搜图

文搜文、图搜图介绍: 文搜文 &#xff1a;即文本搜索文本&#xff0c;是指通过输入关键词或短语&#xff0c;在大量文本数据中检索出与之相关的内容 。 搜 索引擎&#xff08;百度、谷歌、 360 &#xff09; 、 文档管理系统 、 电商搜索 。 图搜图 &#xff1a;即图像搜…
阅读更多...
从零开始搭建一个node.js后端服务项目

从零开始搭建一个node.js后端服务项目

目录 一、下载node.js及配置环境 二、搭建node.js项目及安装express框架 三、集成nodemon&#xff0c;实现代码热部署 四、Express 应用程序生成器 一、下载node.js及配置环境 网上很多安装教程&#xff0c;此处就不再赘述了 版本信息 C:\Users\XXX>node -v v20.15.0…
阅读更多...
IDEA Sping Boot 多配置文件application Maven动态切换

IDEA Sping Boot 多配置文件application Maven动态切换

新建application-dev.yml与application-prod.yml pom.xml文件下添加profiles等 让idea识别出配置文件 <profiles><profile><id>dev</id><properties><!-- 环境标识&#xff0c;需要与配置文件的名称相对应 --><profiles.active>dev&…
阅读更多...
【系统架构设计师】案例专题六（8大系统架构设计之7）： 安全架构设计考点梳理

【系统架构设计师】案例专题六（8大系统架构设计之7）： 安全架构设计考点梳理

更多内容请见： 备考系统架构设计师-核心总结目录 文章目录 一、安全架构概述2、信息安全面临的威胁2、安全架构的定义和范围3、与信息安全相关的国内外标准及组织二、安全模型1、状态机模型2、Bell-LaPadula模型3、Biba模型4、Clark-Wilson模型5、Chinese Wall模型三、系统安全…
阅读更多...
欧科云链研究院深掘链上数据：洞察未来Web3的隐秘价值

欧科云链研究院深掘链上数据：洞察未来Web3的隐秘价值

目前链上数据正处于迈向下一个爆发的重要时刻。 随着Web3行业发展&#xff0c;公链数量呈现爆发式的增长&#xff0c;链上积聚的财富效应&#xff0c;特别是由行业热点话题引领的链上交互行为爆发式增长带来了巨量的链上数据&#xff0c;这些数据构筑了一个行为透明但与物理世…
阅读更多...
（32）噪声信号的时域分析：均值、方差、与功率

（32）噪声信号的时域分析：均值、方差、与功率

文章目录 前言一、生成噪声信号并画图二、计算信号的均值、方差、与功率三、结果分析 前言 本文对叠加了高斯白噪声的一段整周期余弦信号进行时域分析&#xff0c;使用MATLAB进行信号生成&#xff0c;并计算其均值、方差、与功率。最后给出对计算结果的分析&#xff0c;阐明均…
阅读更多...
小程序该如何上架

小程序该如何上架

小程序的上架流程通常包括准备工作、代码审核、人工审核以及上线发布等关键步骤。以下是一个详细的小程序上架指南&#xff1a; 一、准备工作 注册开发者账号&#xff1a; 在微信小程序平台或支付宝开放平台等相应的小程序发布平台上注册开发者账号。 开发小程序&#xff1a; …
阅读更多...
开源新生活，社区齐乐活：COSCon'24 社区合作和开源集市招募中，诚邀广大社区参与！...

开源新生活，社区齐乐活：COSCon'24 社区合作和开源集市招募中，诚邀广大社区参与！...

一年一度的开源盛会&#xff0c;COSCon24第九届中国开源年会暨开源社10周年嘉年华&#xff0c;将于11月2-3日&#xff0c;在北京•中关村国家自主创新示范区展示中心召开&#xff01;本次大会的主题是&#xff1a;「Open Source&#xff0c;Open Life | 开源新生活」&#xff0…
阅读更多...
git error: You have not concluded your merge (MERGE_HEAD exists).

git error: You have not concluded your merge (MERGE_HEAD exists).

本地作了修改并提交远程&#xff0c;但管理员并未合并。此时本地又作了修改&#xff0c;而管理员合并了其它分支&#xff0c;且这个合并分支同时修改了当前本地分支共同的文件。本着提交前同步最新远程代码的原则&#xff0c;结果在合并远程分支时冲突了。其实解决这个冲突再合…
阅读更多...
电脑无线网wifi和有线网同时使用（内网+外网同时使用）

电脑无线网wifi和有线网同时使用（内网+外网同时使用）

一、要求 我这里以无线网wifi为外网&#xff0c;有线网卡为内网为例&#xff1a; 一、基本信息 无线wifi&#xff08;外网&#xff09;&#xff1a;ip是192.168.179.235&#xff0c;网关是192.168.179.95有线网&#xff08;内网&#xff09;&#xff1a;ip是192.168.10.25&…
阅读更多...
C语言实现输出空心数字金字塔

C语言实现输出空心数字金字塔

如下图所示&#xff0c;那么&#xff0c;该怎么实现呢 #include <stdio.h>void hallow(int n);int main(void) {int n;printf("请输入一个数");scanf("%d",&n);hallow(n);return 0; }void hallow(int n) {int i,j,k1;for (i 1; i <n-1; i) {…
阅读更多...
网络爬虫自动化Selenium模拟用户操作

网络爬虫自动化Selenium模拟用户操作

自动化测试和网络爬虫在现代软件开发中占据着重要的位置。它们通过自动化用户操作，减少了人工重复操作的时间成本。Selenium作为一个功能强大且应用广泛的自动化工具，不仅能在不同的浏览器中运行自动化测试，还能进行跨平台测试，并允许与多种编程语言集成。本教程将介绍如何…
阅读更多...
Java面向对象编程--高级

Java面向对象编程--高级

目录 一、static关键字 1.1 静态变量 1.2 静态内存解析 1.3 static的应用与练习 二、单例设计模式 2.1 单例模式 2.2 如何实现单例模式 三、代码块 3.1 详解 3.2 练习&#xff0c;测试 四、final关键字 五、抽象类与抽象方法 5.1 abstract 5.2 练习 六、接口 6.…
阅读更多...
以JavaScript的学习角度看Axios，并以spring boot+vue3为例具体分析实现

以JavaScript的学习角度看Axios，并以spring boot+vue3为例具体分析实现

什么是Axios Axios 是一个基于 Promise 的 HTTP 客户端&#xff0c;用于在浏览器和 后端 中发送异步的 HTTP 请求。它功能强大、易用&#xff0c;常用于与 API 交互&#xff0c;发送 GET、POST、PUT、DELETE 等请求。 Axios 的主要特点&#xff1a; 支持 Promise Axios 基于 …
阅读更多...
连接redis哨兵碰到的一些问题

连接redis哨兵碰到的一些问题

1.Could not get a resource from the pool 可以跟进对应的getResource方法&#xff0c;看下这个问题的具体异常是什么&#xff0c;如NOAUTH Authentication required&#xff0c;这种异常就是说明了漏配置了redis的密码&#xff0c;补充下就好。 2. java.lang.NoSuchMethodE…
阅读更多...
【花卉识别系统】Python+卷积神经网络算法+人工智能+深度学习+图像识别+算法模型

【花卉识别系统】Python+卷积神经网络算法+人工智能+深度学习+图像识别+算法模型

一、介绍 花朵识别系统。本系统采用Python作为主要编程语言&#xff0c;基于TensorFlow搭建ResNet50卷积神经网络算法模型&#xff0c;并基于前期收集到的5种常见的花朵数据集&#xff08;向日葵、玫瑰、蒲公英、郁金香、菊花&#xff09;进行处理后进行模型训练&#xff0c;最…
阅读更多...
最新文章

Copyright @ 2022~2023