树莓派5用docker运行Ollama3

书接上回,树莓派5使用1panel安装 Ollama

点击终端就可以进入容器

输入以下代码

ollama run llama3

Llama3 是市场推崇的版本。您的 树莓派5上必须至少有 4.7GB 的可用空间,因此用树莓派玩机器学习就必须配置大容量的固态硬盘。用1panel部署网络下载速度高达每秒70MB。Ollama 在 Raspberry Pi 5上仅用两分钟完成 Llama3 模型安装,之后启动,您就可以开始与语言模型进行交互式通信了。
在这里插入图片描述

提问环节

输入您的问题:

Shakespeare's main works

树莓派5以每秒1.89 token的速度很快捷的给出了答案。
在这里插入图片描述

您对 Ollama3 的回答满意吗?

William Shakespeare is considered one of the greatest writers in the
English language and has written at least 38 plays and 154 sonnets. Here
are some of his most famous works:
Tragedies:
1.Romeo and Juliet (1595) - a classic tale of star-cross'd lovers.
2.Hamlet (1599-1602) - a prince's quest for justice and revenge.
3.Macbeth (1605-1606) - a Scottish nobleman's descent into madness
and tyranny.
4. Othello (1603-1604) - a tragic love story of a Moorish general and
his white wife.
5. King Lear (1605-1606) - an aging king's struggle with power,
family, and mortality.
Comedies:
1.A Midsummer Night's Dream (1595-1596) - a magical forest, love
potions, and mischief.
2. As You Like It (1599-1600) - a banished duke's journey to
self-discovery and love.
3. Twelfth Night (1601-1602) - a shipwrecked heroine's quest for love
and identity.
4. The Taming of the Shrew (1590-1595) - a battle-of-wits between two
strong-willed individuals.
Histories:
1.Henry IV, Part 1 (1596-1597) - a king's struggle with his own son
and his right to rule.
2. Henry V (1598-1599) - a young king's leadership in the Hundred
Years' War.
3. The First Part of Henry VI (1590-1591) - the early reign of King
Henry VI.
Romances:
1.Pericles, Prince of Tyre (1606-1608) - a prince's journey to
self-discovery and love.
2. Cymbeline (1609-1610) - a king's struggle with his own identity and
power.
3. The Tempest (1611-1612) - a sorcerer's quest for revenge and
forgiveness.
These are just some of the many works by Shakespeare, but they give you an
idea of the range and diversity of his writing.

使用 Curl 在终端上与 Ollama 3通信

Ollama 的一个很酷的功能是它的 API,您可以查询它。使用此 API,您可以请求它使用特定模型生成对提示的响应。

我们点击容器内ollama的端口地址
在这里插入图片描述
浏览器跳转http://192.168.3.9:32768/的ollama容器内,并且显示:Ollama is running
在这里插入图片描述
打开树莓派终端输入如下的json数据

curl  http://192.168.3.9:32768/api/generate -d '{
"model":"llama3",
"prompt": "Which writer is the Little Match Girl?",
"stream": false
}'

解释一下

在JSON的这一部分中,我们指定了以下信息:
model:这是我们希望 Ollama 在 Raspberry Pi 上运行的大型语言模型。我们坚持使用llama3模型。
prompt:提示是你想对模型说的话,通常这是一个问题。我们将询问模型Which writer is the Little Match Girl?。
stream:通过将 “stream” 选项设置为 false,我们告诉 Ollama 我们希望它等到模型完成生成后再发出响应。如果您不想处理来自模型的数据流,这将非常有用。通常,模型一次流式传输回一个单词。

Ollama 将返回结果 JSON 数据。在此内容中,您可以看到结果以及各种附加信息,例如完成提示所需的时间。
在这里插入图片描述
我把response提取出来看看回答的效果。

"response":"The Little Match Girl is a character from a short story by Hans Christian Andersen, titled \"The Little Match-Girl\". It was first published in 1845 and has since become one of Andersen's most famous stories. The story tells the tale of a young girl who sells matches on the street to support her family, but ultimately dies a tragic death after being unable to find any warmth or comfort despite her efforts to light her matches on New Year's Eve."

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/5235.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RTX3090显卡功耗对比

NVIDIA RTX 3090显卡的官方总图形功耗(TGP)为350瓦。这是公版显卡的设计功耗。然而,在实际使用中,尤其是进行高强度任务如游戏或专业渲染时,其功耗可能会超过这个数值,尤其在超频的情况下。有报告指出&…

vue-cli+vue3+vite+ts 搭建uniapp项目全过程(二)

接上一篇 3、别名配置 代替 ./srccomponents代替./src/components 在 Vite 中, __dirname 并不是一个全局变量,所以在vite.config.ts 文件中无法直接使用。 安装依赖 npm install --save-dev types/node vite.config.ts配置 // vite.config.t…

Python | Leetcode Python题解之第58题最后一个单词的长度

题目: 题解: class Solution:def lengthOfLastWord(self, s: str) -> int:ls[]for i in s.split():ls.append(i)return len(ls[-1])

跟TED演讲学英文:The future will be shaped by optimists by Kevin Kelly

The future will be shaped by optimists Link: https://www.ted.com/talks/kevin_kelly_the_future_will_be_shaped_by_optimists Speaker: Kevin Kelly Date: August 2021 文章目录 The future will be shaped by optimistsIntroductionVocabularyTranscriptSummary后记 In…

Verilog基础语法——状态机(类型、写法、状态编码方式)

Verilog基础语法——状态机(类型、写法、状态编码方式) 写在前面一、状态机类型二、状态机写法2.1 一段式2.2 两段式2.3 三段式 三、状态机状态编码方式写在后面 写在前面 在FPGA设计过程,经常会设计状态机用于控制整个硬件电路的工作进程&am…

基于Vue3的Axios异步请求

基于Vue3的Axios异步请求 1. Axios安装与应用2. Axios网络请求封装3. axios网络请求跨域前端解决方案server.proxy 1. Axios安装与应用 Axios是一个基于promise的网络请求库,Axios.js.中文文档:https://axios.js.cn/ 安装:npm install --sa…

CM3:qemu执行汇编

正文 环境:macOS M1。 前文讨论了 qemu 模拟8086 的平台运行8086 汇编代码,本文将讨论 qemu 模拟arm 平台运行 CM3 代码。代码: .syntax unified .cpu cortex-m3.global _start.equ UART0_BASE, 0x4000C000 .equ UART0_DR, UART0_BASE 0x0…

有没有一种可能性,你不投递简历,让HR主动联系你

你是否觉得自己得主动给某个公司投递了简历,他们才会联系你,亦或者是自己得主动在招聘APP上联系那个BOSS,他才会反过来跟你说话,又或者是你千方百计的跟他打招呼了,还是没有回应,这一节有可能让你明白,有时候是可以,你不主动,他也会主动联系你的。 目录 1 简历是如何…

蛋白质相互作用

STRING数据库简介 STRING是一个包含已知和预测蛋白质-蛋白质相互作用的数据库。数据库涵盖了直接(物理)和间接(功能)相互作用。包含来自实验仓库、计算预测方法和公共文本集合的多种证据来源。覆盖超过2400万个蛋白质,涉及5090个生物体。提供R包STRINGdb以方便用户从R访问…

QT:小项目:登录界面 (下一个连接数据库)

一、效果图 登录后&#xff1a; 二、项目工程结构 三、登录界面UI设计 四主界面 四、源码设计 login.h #ifndef LOGIN_H #define LOGIN_H#include <QDialog>namespace Ui { class login; }class login : public QDialog {Q_OBJECTpublic:explicit login(QWidge…

Spark原理之Cache Table的工作原理及实现自动缓存重复表的思考

CACHE TABLE的能力 使用此语法&#xff0c;可以由用户自定义要缓存的结果集&#xff0c;实际上就是一个临时表&#xff0c;不过数据存储在Spark集群内部&#xff0c;由Application所分配的executors管理。 一旦定义了一个缓存表&#xff0c;就可以在SQL脚本中随处引用这个表名…

Ansible自动化运维工具主机清单配置

作者主页&#xff1a;点击&#xff01; Ansible专栏&#xff1a;点击&#xff01; 创作时间&#xff1a;2024年4月24日12点21分 Ansible主机清单文件用于定义要管理的主机及其相关信息。它是Ansible的核心配置文件之一&#xff0c;用于Ansible识别目标主机并与其建立连接。 …

小猫咪邮件在线发送系统源码v1.1,支持添加附件

内容目录 一、详细介绍二、效果展示1.部分代码2.效果图展示 三、学习资料下载 一、详细介绍 小猫咪邮件在线发送系统源码v1.1&#xff0c;支持添加附件 一款免登录发送邮件&#xff0c;支持发送附件&#xff0c;后台可添加邮箱,前台可选择发送邮箱 网站数据采取本地保存&…

Java将文件目录转成树结构

在实际开发中经常会遇到返回树形结构的场景&#xff0c;特别是在处理文件系统或者是文件管理系统中。下面就介绍一下怎么将文件路径转成需要的树形结构。 在Java中&#xff0c;将List<String>转换成树状结构&#xff0c;需要定义一个树节点类&#xff08;TreeNode&#…

CMIP6降水单位转换

cmip6中的降水单位一般是 k g m − 2 s − 1 kgm^{-2}s^{-1} kgm−2s−1 ,一般观测降水数据如GPCP为 m m / d a y mm/day mm/day,如何转换呢&#xff1f; # 转换为mm/day def kgm2s_to_mmday(kg_m2_s):return kg_m2_s * 86400# 转换为mm^2/day^2 def kgm2s_to_mm2day2(kg_m2_s)…

分享一个网站实现永久免费HTTPS访问的方法

免费SSL证书作为一种基础的网络安全工具&#xff0c;以其零成本的优势吸引了不少网站管理员的青睐。要实现免费HTTPS访问&#xff0c;您可以按照以下步骤操作&#xff1a; 一、 选择免费SSL证书提供商 选择一个提供免费SSL证书的服务商。如JoySSL&#xff0c;他们是国内为数不…

OpenResty 安装及lua-resty-redis

目的&#xff1a; 需要记录用户真实IP 访问量 1. 下载openresty&#xff1a; https://openresty.org/download/openresty-1.25.3.1.tar.gz2. 编译安装 ./configure --help | more 可以查看configure 可选参数 # 1、安装前置依赖 yum install -y readline-devel pcre pcre-…

排序算法大总结

引言 排序算法&#xff08;sorting algorithm&#xff09;是用于对一组数据按照特定顺序进行排列。排序算法有着广泛的应用&#xff0c;因为有序数据通常能够被更高效地查找、分析和处理。 如图 1-1 所示&#xff0c;排序算法中的数据类型可以是整数、浮点数、字符或字符串等…

读懂一本书笔记

文章目录 引言 我是一个用读书改变自己生活的人01 会读书&#xff0c;更要会讲书复杂时代&#xff0c;阅读是大众反脆弱的武器你焦虑吗&#xff1f;如何从“单向度的人”变为“多向度的人”第一&#xff0c;读书是主动的学习方式第二&#xff0c;读书是有针对性的学习方式 讲书…

学习CSS3,实现红色心形loading特效

试想一下&#xff0c;如果你的网站在加载过程中&#xff0c;loading图由一个老旧的菊花转动图片&#xff0c;变为一个红色的心形loading特效&#xff0c;那该有多炫酷啊。 目录 实现思路 初始化HTML部分 延迟动画是重点 设定动画效果 完整源代码 最后 实现思路 每个…