大模型管理工具Ollama搭建及整合springboot

目录

一、Ollama介绍

1.1 什么是Ollama

1.2 Ollama特点与优势

二、Ollama本地部署

2.1 版本选择

2.2 下载安装包

2.3 执行安装

2.4 Ollama常用命令

三、使用Ollama部署千问大模型

3.1 千问大模型介绍

3.2 部署过程

四、springboot接入Ollama

4.1 引入Ollama依赖

4.2 添加配置文件

4.3 使用Ollama聊天api

五、写在结尾

一、Ollama介绍

1.1 什么是Ollama

Ollama是一个用于部署和运行各种开源大模型的工具，能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。对用户来说，只需要通过执行几条命令就能在本地运行开源大模型，如Llama 2等。

官网地址：Ollama

1.2 Ollama特点与优势

Ollama具备如下特点和优势

  • 功能齐全
    • Ollama将模型权重、配置和数据捆绑到一个包中，定义成Modelfile。它优化了设置和配置细节，包括GPU使用情况，从而提高了模型运行的效率。
  • 轻量级
    • Ollama的代码简洁明了，运行时占用资源少。这使得它能够在本地高效地运行，不需要大量的计算资源。此外，它还支持热加载模型文件，无需重新启动即可切换不同的模型，这使得它非常灵活多变。
  • 易用性
    • Ollama提供了多种安装方式，支持Mac和Linux平台，并提供了Docker镜像。用户只需按照安装指南进行操作即可完成安装，无需具备专业的技术背景。
  • 捆绑模型组件
    • 它将模型权重、配置和数据捆绑到一个包中，称为 Modelfile，这有助于优化设置和配置细节，包括 GPU 使用情况。
  • 支持多种模型
    • Ollama 支持多种大型语言模型，如 Llama 2、Code Llama、Mistral、Gemma 等，并允许用户根据特定需求定制和创建自己的模型。
  • 跨平台支持
    • 支持 macOS 和 Linux 平台，Windows 平台的预览版也已发布。安装过程简单，用户只需访问 Ollama 的官方网站下载相应平台的安装包即可。

二、Ollama本地部署

接下来演示如何在本地的windows系统上安装Ollama，根据你的实际情况，也可以选择Linux系统进行部署

2.1 版本选择

进入网站之后，点击右上角的 Download按钮，根据个人的实际情况，选择不同类型的安装包进行部署，我这里选择的是Windows的版本；

注意，Ollama部署的时候，对服务器或机器是有一定要求的，所以需要根据你的机器配置情况进行选择，在Ollama的官网通过github的链接点进去，可以看到如下的相关参数指导说明，在这里，你部署的大模型参数越多，理论上来说，对机器的配置要求就越高，目前先关注这一点即可。

2.2 下载安装包

这里选择下载的是windows版本

2.3 执行安装

Ollama的安装比较简单，双击执行这个exe文件，等待安装完成即可

安装完成之后，点击开始进入下面的shell窗口

2.4 Ollama常用命令

cmd窗口输入Ollama，即可了解常用的Ollama命令

如何理解本机部署的这个Ollama呢？如果使用过Docker的同学对docker部署一些中间件应该不陌生，比如使用docker中部署mysql或redis，只需要运行一段docker命令即可完成，非常方便，类比于Ollama，是一个大模型的部署管理工具，只需要使用Ollama的命令，也可以快速部署起一个本地的大模型进行使用。

如果你需要使用Ollama部署大模型，可以在Ollama官网进行搜索，类似于你使用docker search 镜像名一样

如下，进入到某个大模型中，拷贝命令到shell窗口中执行即可

三、使用Ollama部署千问大模型

上面演示了基于本地windows操作系统搭建Ollama过程，下面我们使用Ollama部署一个大模型，这里使用Ollama部署千问大模型。

3.1 千问大模型介绍

“通义千问大模型”是阿里云推出的一个超大规模的语言模型，具有强大的归纳和理解能力，可以处理各种自然语言处理任务，包括但不限于文本分类、文本生成、情感分析等。此模型能够极大地提高了自然语言处理的效率和准确性，给用户提供了一种新的、简便的工具。

3.2 部署过程

在Ollama中搜索关键字qwen，然后选择一个参数相对较少（对本地的空间和资源占用减小）的进行运行

使用下面的命令运行

ollama run qwen:0.5b-chat

然后等待模型下载完成运行起来之后就可以使用了，下面这个进度窗口是不是与docker部署中间件很相像

然后就可以输入文本，与千问大模型进行对话，而后，就可以基于部署的模型应用于实际工作或业务中进行结合使用

四、springboot接入Ollama

由于本地搭建了Ollama，并且在Ollama上安装了千问大模型，就可以将千问大模型当GPT一样使用进行交流，参考下面具体的对接步骤。

4.1 引入Ollama依赖

本地提前搭建一个springboot工程，然后引入Ollama核心依赖

        <dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama-spring-boot-starter</artifactId></dependency>

4.2 添加配置文件

配置文件中添加Ollama相关的配置信息，注意的是，Ollama本地端口为11434

server:port: 8088spring:application:name: chat-001ai:ollama:base-url: http://localhost:11434chat:options:model: qwen:0.5b-chatopenai:api-key: 你的apikeybase-url: openai地址

4.3 使用Ollama聊天api

Ollama聊天API的核心对象为OllamaChatClient，与上述的spring ai中提供的client对象类似，在程序中可以直接调用其api，如下，传入一个msg参数，返回响应的文本内容

import jakarta.annotation.Resource;
import org.springframework.ai.ollama.OllamaChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;@RestController
public class OllamaChatController {@Resourceprivate OllamaChatClient ollamaChatClient;//http://localhost:8088/ollama/chat?msg=大数据的技术栈有哪些@GetMapping("/ollama/chat")public String ollamaChat(@RequestParam String msg){String resMsg = ollamaChatClient.call(msg);return resMsg;}}

启动服务调用一下接口，可以看到响应的内容，通过这种方式，相当于是利用spring ai接入了本地的大模型进行对话聊天。

也可以使用Prompt进行参数传递，看下面的接口

    @GetMapping("/ollama/chat/v2")public Object ollamaChatV2(@RequestParam String msg){Prompt prompt = new Prompt(msg);ChatResponse chatResponse = ollamaChatClient.call(prompt);return chatResponse;}

返回结果如下，返回这种结构的数据在实际使用的时候，需要对json中的字段进行解析即可

spring ai官网中也提供了Ollama的相关文档，地址：Ollama Chat :: Spring AI Reference，在文档中，可以找到很多有关Ollama的详细的配置参数，这些配置参数，都可以在Prompt对象或者配置文件中进行合理的使用，达到最佳的实践效果

比如，在下面的接口中，仍然使用Prompt对象，里面传入更多的参数选项做控制

    //http://localhost:8088/ollama/chat/v3?msg=中国排名前十的大学@GetMapping("/ollama/chat/v3")public Object ollamaChatV3(@RequestParam String msg){Prompt prompt = new Prompt(msg,OllamaOptions.create().withModel("qwen:0.5b-chat").withTemperature(0.4F));ChatResponse chatResponse = ollamaChatClient.call(prompt);return chatResponse.getResult().getOutput().getContent();}

再次调用一下接口，当然这个结果是否一定准确呢？对于结果的使用还需要做认真的鉴别

五、写在结尾

本文详细介绍了基于windows系统部署Ollama的过程，并演示了基于Ollama部署千问大模型的过程，以及如何与springboot对接，更详细和深入的可以参阅官网资料进一步学习，本文到此结束谢谢观看。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/845966.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

树莓派LCD显示屏安装驱动详细教程

树莓派LCD显示屏安装驱动详细教程

使用LCD显示屏有两种方式&#xff0c;1.如果你已安装好树莓派官方系统&#xff0c;需要单独安装驱动才可点亮显示屏。 2. 也可以直接烧录我们提供的系统 里面已含驱动程序。 一&#xff1a;连接方式 按照下图方式连接好LCD显示屏与树莓派主板 二&#xff1a;安装系统镜像&…
阅读更多...
6个适合在家做的副业兼职，做得好的月入过万，适合上班族和宝妈

6个适合在家做的副业兼职，做得好的月入过万，适合上班族和宝妈

嘿&#xff0c;亲爱的朋友们&#xff01;是不是常常觉得钱包瘪瘪&#xff0c;却又因为种种原因无法外出兼职&#xff1f; 别急&#xff0c;我来为大家揭秘几个在家也能轻松赚钱的靠谱副业&#xff0c;让你足不出户也能月入过万&#xff0c;从此告别财务烦恼&#xff01; 副业一…
阅读更多...
7岁男孩学什么编程好一些：探索儿童编程的四大领域与未来潜能

7岁男孩学什么编程好一些：探索儿童编程的四大领域与未来潜能

7岁男孩学什么编程好一些&#xff1a;探索儿童编程的四大领域与未来潜能 在数字化时代&#xff0c;编程已成为一项重要的技能。对于7岁的男孩来说&#xff0c;选择适合的编程学习内容至关重要。那么&#xff0c;究竟哪些编程课程更适合这个年龄段的孩子呢&#xff1f;本文将从…
阅读更多...
1.5.3 基于Java配置方式使用Spring MVC

1.5.3 基于Java配置方式使用Spring MVC

本实战教程主要介绍了如何使用Java配置方式来使用Spring MVC框架。相较于XML配置方式&#xff0c;Java配置方式提供了一种更为简洁和灵活的配置方法。 项目创建与配置 创建一个Jakarta EE项目&#xff0c;并设置项目名称和位置。选择Jakarta EE 10版本&#xff0c;不添加依赖&a…
阅读更多...
python中的预编译正则表达式

python中的预编译正则表达式

预编译正则表达式指的是使用Python的re模块中的re.compile()函数提前将正则表达式的字符串形式编译成一个正则表达式对象。这样&#xff0c;当你需要在多个地方或多次使用同一个正则表达式时&#xff0c;你可以重用这个编译后的对象&#xff0c;而不是在每次使用时重新编译表达…
阅读更多...
404.左叶子之和

404.左叶子之和

计算给定二叉树的所有左叶子之和。 示例&#xff1a; 思路&#xff1a; 通过父节点来判断七子节点是不是我们要收集的元素。因为如果遍历到孩子节点&#xff0c;我们无法判断它是左孩子还是右孩子。 后序遍历&#xff0c;左右中。 判断当前节点是不是左叶子是无法判断的&…
阅读更多...
Turtle中circle用法详解

Turtle中circle用法详解

在Python的Turtle图形库中&#xff0c;circle方法是一个非常灵活的工具&#xff0c;它允许我们以简单的方式绘制圆或圆的一部分。本文将深入探讨circle方法&#xff0c;特别关注radius和extent参数的用途及其正负值的意义。 一、circle方法概览 首先&#xff0c;让我们了解一…
阅读更多...
271 基于matlab的可调Q因子小波变换故障诊断

271 基于matlab的可调Q因子小波变换故障诊断

基于matlab的可调Q因子小波变换故障诊断&#xff0c;可用在轴承、齿轮、活塞等故障诊断中&#xff0c;程序中包含了原始TQWT工具箱和轴承振动信号信号的谱包络的求取。通过仿真数据、实际轴承数据说明了方法的效果。程序已调通&#xff0c;可直接运行。 271 可调Q因子小波变换 …
阅读更多...
JavaScript第五讲：事件，条件循环语句，错误处理

JavaScript第五讲：事件，条件循环语句，错误处理

前言 在编程的世界里&#xff0c;事件、条件和循环语句、以及错误处理是构建任何复杂程序或应用的基石。无论是开发一个简单的网页交互&#xff0c;还是构建一个庞大的企业级系统&#xff0c;这些基础概念都扮演着至关重要的角色。今天星途将通过这篇文章&#xff0c;分别深入…
阅读更多...
java中判断String类型为空和null的方法

java中判断String类型为空和null的方法

1.判断一个String类型的变量是否为空&#xff08;即长度为0&#xff09;或者为null 在Java中&#xff0c;判断一个String类型的变量是否为空&#xff08;即长度为0&#xff09;或者为null&#xff0c;通常需要使用两个条件语句来进行检查。这是因为null表示变量没有引用任何对…
阅读更多...
01PCB设计概述

01PCB设计概述

PCB设计概述 EDA electronic design automatic 电子设计自动化&#xff08;利用计算机来实现电子设计&#xff09; 分为 &#xff1a; 微电子&#xff08;芯片设计&#xff09;、硬件板卡&#xff08;PCB设计&#xff09; 画原理图、画PCB布线 要会绘制原理图库、和封装图库 元…
阅读更多...
计算机组成原理06：浮点数运算

计算机组成原理06：浮点数运算

浮点数加减运算 之前我们提到过&#xff0c;浮点数具有特定的表示形式。因此&#xff0c;在进行浮点数的加减运算之前&#xff0c;需要统一浮点数的表达方式。这里我们主要对浮点数表示中的尾数M进行处理&#xff0c;要求0≤M<1&#xff0c;统一格式如下&#xff1a; 正数…
阅读更多...
在Ubuntu下安装配置和调优iptables的终极指南

在Ubuntu下安装配置和调优iptables的终极指南

嘿&#xff0c;大家好&#xff01;今天我要和大家分享一篇关于在Ubuntu下安装配置和调优iptables防火墙的技术博客。废话不多说&#xff0c;我们直接切入主题。 首先&#xff0c;我要强调一下&#xff0c;今天我在阿贝云免费服务器上进行了部署测试。我得说&#xff0c;这个免…
阅读更多...
LeetCode84：柱形图中最大的矩形

LeetCode84：柱形图中最大的矩形

题目描述 给定 n 个非负整数&#xff0c;用来表示柱状图中各个柱子的高度。每个柱子彼此相邻&#xff0c;且宽度为 1 。 求在该柱状图中&#xff0c;能够勾勒出来的矩形的最大面积。 代码 单调栈 class Solution { public:int largestRectangleArea(vector<int>& h…
阅读更多...
React@16.x（16）Render Props

React@16.x（16）Render Props

目录 1&#xff0c;问题描述2&#xff0c;解决方式2.1&#xff0c;Render Props2.2&#xff0c;HOC 3&#xff0c;使用场景 1&#xff0c;问题描述 当使用组件时&#xff0c;标签中的内容&#xff0c;会被当做 props.children 来渲染&#xff1a; 子组件&#xff1a; import…
阅读更多...
AI 学习神器！大学生必备的 22个 AI 提示词模板

AI 学习神器！大学生必备的 22个 AI 提示词模板

AI 学习神器&#xff01;大学生必备的 22个 AI 提示词模板 博主猫头虎的技术世界 &#x1f31f; 欢迎来到猫头虎的博客 — 探索技术的无限可能&#xff01; 专栏链接&#xff1a; &#x1f517; 精选专栏&#xff1a; 《面试题大全》 — 面试准备的宝典&#xff01;《IDEA开发秘…
阅读更多...
6. MySQL 查询、去重、别名

6. MySQL 查询、去重、别名

文章目录 【 1. 数据表查询 SELECT 】1.1 查询表中所有字段使用 * 查询表的所有字段列出表的所有字段 1.2 查询表中指定的字段 【 2. 去重 DISTINCT 】【 3. 设置别名 AS 】3.1 为表指定别名3.2 为字段指定别名 【 5. 限制查询结果的条数 LIMIT 】5.1 指定初始位置5.2 不指定初…
阅读更多...
基于优化Morlet小波的一维信号瞬态特征提取方法（MATLAB R2018A）

基于优化Morlet小波的一维信号瞬态特征提取方法（MATLAB R2018A）

小波分析方法近些年逐步得到发展的一门数学分析技术&#xff0c;它对许多学科都有十分重要的影响。与傅立叶变换等其他传统方法相比&#xff0c;小波分解的方法中所用的小波基有着多种多样的结构&#xff0c;总结来说又包括正交小波系与非正交小波系。正交小波在信号处理领域目…
阅读更多...
自动化测试：selenium详解（建议收藏）

自动化测试：selenium详解（建议收藏）

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 说到自动化测试&#xff0c;就不得不提大名鼎鼎的Selenium。Selenium 是如今最常用的自动化测试工…
阅读更多...
系统思考—思考快与慢

系统思考—思考快与慢

“膝反射思考做决策&#xff0c;你的公司能走多远&#xff1f;” 在快节奏的商业环境中&#xff0c;我们的大脑往往默认采用“快速直觉反应”模式来做决策&#xff0c;这种方式节省能量&#xff0c;属于我们认知的“系统一”。然而&#xff0c;仅依靠直觉反应&#xff0c;即所…
阅读更多...
最新文章

Copyright @ 2022~2023