安装ollama并部署大模型并测试

Ollama介绍

项目地址:ollama
官网地址: https://ollama.com
模型仓库:https://ollama.com/library
API接口:api接口

Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。可以将其类比为 docker(同基于 cobra (opens new window)包实现命令行交互中的 list,pull,push,run 等命令),事实上它也的确制定了类 docker 的一种模型应用标准,在后边的内容中,你能更加真切体会到这一点。

在管理模型的同时,它还基于 Go 语言中的 Web 框架 gin (opens new window)提供了一些 Api 接口,让你能够像跟 OpenAI 提供的接口那样进行交互。

Ollama安装

从官网下载安装包即可

模型管理

ollama中的常见命令:
ollama list:显示模型列表。
ollama show:显示模型的信息
ollama pull:拉取模型
ollama push:推送模型
ollama cp:拷贝一个模型
ollama rm:删除一个模型
ollama run:运行一个模型

官方提供了一个模型仓库,在这里你可以找到你想要运行的模型。

在这里我选择下载阿里开源的 Qwen1.8b 模型。
命令如下:

ollama run qwen:1.8b

安装完成后测试如下
在这里插入图片描述

同时安装了通义千问1.8b大模型和通义千问4b大模型,并且问了同一问题,反而1.8b的大模型推理效果更好些。
在这里插入图片描述

调用接口

API接口信息详见 https://github.com/ollama/ollama/blob/main/docs/api.md

访问接口

POST   http://localhost:11434/api/chat

body内容

{"model": "qwen:1.8b"#如果设置false为非流式输出,默认为流式输出#"stream":false,"messages": [{"role": "user","content": "什么是大模型"},{"role": "assistant","content": "“大模型”是一种人工智能技术,用于构建能够模拟人类复杂决策过程的大型神经网络。这种模型通常由多层神经元构成,每一层神经元都包含多个隐藏层,这些隐藏层之间的连接权重可以根据实际任务需求进行调整。大模型在许多领域中都有广泛的应用,包括自然语言处理、计算机视觉、智能推荐系统等。此外,大模型还可以用于构建更复杂的智能系统和机器人,以实现自动化生产和服务等目标。"},{"role": "user","content": "你帮我介绍一下大模型在推荐系统的应用"}]
}

输出
在这里插入图片描述

心得体会

ollama启动应用程序后会默认启动ollama中安装的本地大模型,相当于后台起了一个server服务,直接就可以通过接口指定具体模型调用。
对于 ollama run qwen:1.8b 命令也仅仅是调用qwen1.8b大模型的服务。
由于默认会启动所有模型,所以节约了启动大模型的耗时,但是可能会造成内存的浪费。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/13605.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于Hadoop技术的智慧图书馆海量数据储存系统研究

基于Hadoop技术的智慧图书馆海量数据储存系统研究 “A study on the intelligent library’s massive data storage system based on Hadoop technology” 完整下载链接:基于Hadoop技术的智慧图书馆海量数据储存系统研究 文章目录 基于Hadoop技术的智慧图书馆海量数据储存系统…

【vue-3】动态属性绑定v-bind

1、文本动态绑定&#xff1a; <input type"text" v-bind:value"web.url"> 简写&#xff1a; <input type"text" :value"web.url"> 2、文字样式动态绑定 <b :class"{textColor:web.fontStatus}">vue学…

word页眉线如何置于文字上方

然后 敲黑板&#xff0c;点这里

为什么说kafka没办法保证数据不丢?

Kafka设计为高吞吐量和分布式环境中的数据流处理系统&#xff0c;但在某些情况下&#xff0c;它无法完全保证数据不丢失。这种情况可能由以下几个方面引起&#xff1a; Acknowledgment机制 Kafka的生产者在发送消息时&#xff0c;可以通过设置不同的acks参数来决定消息确认的…

SpringBoot前置知识01-SPI接口

SpringBoot前置知识-SPI接口 介绍 Java中SPI是一种服务发现机制&#xff0c;或者说是一种思想&#xff0c;亦是一种约定。其实JDK中的JDBC就是使用了这种用思想&#xff0c;JDBC在JDK中只定义了接口&#xff0c;并没有实现类&#xff0c;连接什么数据库就要引入什么数据库的驱…

【Java超详细的学习笔记】Java超详细的学习笔记,适合小白入门,Java语法学习,Java开发学习笔记,Java入门学习笔记

一&#xff0c;Java初学者学习笔记 Java超详细的学习笔记&#xff0c;点击我获取 1&#xff0c;Java基础语法 一个 Java 程序可以认为是一系列对象的集合&#xff0c;而这些对象通过调用彼此的方法来协同工作。下面简要介绍下类、对象、方法和实例变量的概念。 对象&#…

碳课堂|ISO 14067 产品碳足迹国际标准

为规范评估产品碳排放&#xff0c;国际标准化组织发布了《ISO14067&#xff1a;2018温室气体-产品碳足迹-量化要求及指南》&#xff0c;标准量化产品生命周期阶段&#xff08;包括从资源开采、原材料采购到产品的生产、使用和报废阶段&#xff09;的温室气体排放的通用标准。该…

赶紧收藏!2024 年最常见 20道 Redis面试题(四)

上一篇地址&#xff1a;赶紧收藏&#xff01;2024 年最常见 20道 Redis面试题&#xff08;三&#xff09;-CSDN博客 七、Pipeline有什么好处&#xff0c;为什么要用pipeline&#xff1f; Redis Pipeline 是一种批量执行命令的技术&#xff0c;它允许客户端一次性发送多个命令…

功耗相关总结

文章目录 功耗相关的使用场景MCU中低功耗的应用RTOS中低功耗应用 功耗相关的使用场景 目前越来越多的嵌入式设备采用电池进行供电&#xff0c;而不是跟台式电脑一样&#xff0c;可以一直连接着电源。在电池供电的场景下&#xff0c;对功耗的要求很高&#xff0c;工程师们尽量希…

炫酷gdb

在VS里面调试很方便对吧&#xff1f;&#xff08;F5直接调试&#xff0c;F10逐过程调试--不进函数&#xff0c;F11逐语句调试--进函数&#xff0c;F9创建断点&#xff09;&#xff0c;那在Linux中怎么调试呢&#xff1f; 我们需要用到一个工具&#xff1a;gdb 我们知道VS中程…

2024/5/24 Day38 greedy 435. 无重叠区间 763.划分字母区间 56. 合并区间

2024/5/24 Day38 greedy 435. 无重叠区间 763.划分字母区间 56. 合并区间 遇到两个维度权衡的时候&#xff0c;一定要先确定一个维度&#xff0c;再确定另一个维度。如果两个维度一起考虑一定会顾此失彼。 重叠区间问题 435. 无重叠区间 题目链接 435 给定一个区间的集合 i…

从业务角度来看,DevOps 是什么?

如果您在我们的应用程序名称中看到“DevOps”&#xff0c;这意味着我们必须正确解释该术语&#xff0c;我们会这样做&#xff0c;但角度会有所不同。让我们从业务角度看看 DevOps 是什么。 通用名称 首先你应该知道&#xff0c;DevOps 没有明确的定义。是的。 大多数情况下&a…

07. 哨兵模式

文章目录 概述哨兵模式多哨兵模式测试哨兵模式优缺点哨兵模式的配置 概述 主从切换的技术是&#xff0c;当主服务器宕机后&#xff0c;需要手动把一台从服务器切换为主服务器&#xff0c;这需要人工干预&#xff0c;还会造成一段时间内服务不可用。所以我们考虑使用哨兵模式。…

安卓实现5个底部导航栏切换fragment

步骤&#xff0c;写 5 个 fragment 自定义的类5个布局文件&#xff1a; package com.xmkjsoft.xhgh.fragment;import android.os.Bundle; import android.view.LayoutInflater; import android.view.View; import android.view.ViewGroup;import androidx.annotation.NonNul…

win11安装docker运行Open-Webui 界面化展示 ollama大模型

1.OpenWeb UI运行需要docker 环境下载docker Get Started | Docker 2.需要命令提示符docker -v 查询是否安装成功&#xff1b; 查询docker详情docker version 3.github拉取open-webUi镜像Package open-webui GitHub 复制命令运行在命令提示符&#xff1b; 等待下载完成 4.到…

Web安全:企业如何抵御常见的网络攻击?

近年来随着人类社会向数字世界的加速发展&#xff0c;勒索软件攻击事件在全球范围内呈现快速上升的态势&#xff0c;几乎所有国家的政府、金融、教育、医疗、制造、交通、能源等行业均受到影响&#xff0c;可以说有互联网的地方就可能发生勒索软件攻击事件。 Web安全是一个大课…

蓝桥杯2023(十四届)省赛——统计日期(八重神子)

统计日期 2.日期统计 - 蓝桥云课 (lanqiao.cn) 其实一开始我想直接暴力的&#xff0c;然后写着写着突然觉得可以优化一下&#xff1a; 优化方法&#xff1a;先找所有2023的位置&#xff0c;记录初始和最后的位置 找出所有合法日期的位置&#xff0c;使用前缀和&#xff0c;计…

C语言基础-静态变量(static)

在C语言中&#xff0c;static关键字有多种用途&#xff0c;主要与变量的存储期&#xff08;lifetime&#xff09;和可见性&#xff08;visibility&#xff09;有关。以下是static在C语言中的主要用途&#xff1a; 局部静态变量&#xff1a; 在函数内部定义的局部静态变量&#…

2024-05-24 思考-关于软件架构设计

摘要: 2024-05-24 思考-关于软件架构设计 软件架构设计: 虽然在商业的战略中&#xff0c;软件代码只是起到最后的一个环节&#xff0c;但是对于业务本身来说&#xff0c;还是应该站在商业的视角上&#xff0c;去看待技术的实现此前读过的比较有价值的关于软件架构设计的书&…

【全开源】简单商城系统(PC/UniAPP)

轻松构建您的在线商店 在当今数字化时代&#xff0c;拥有一个在线商店对于许多商家来说已成为必不可少的营销手段。为了满足这一需求&#xff0c;我们推出了“简单商城系统源码”&#xff0c;让您轻松构建并管理您的在线商店。 一、简单易用&#xff0c;快速上手 “简单商城…