超级详细Spring AI运用Ollama大模型

大模型工具Ollama

官网:https://ollama.com/
Ollama是一个用于部署和运行各种开源大模型的工具;
它能够帮助用户快速在本地运行各种大模型,极大地简化了大模型在本地运行的过程。用户通过执行几条命令就能在本地运行开源大模型,如Lama 2等;
综上,Ollama是一个大模型部署运行工具,在该工具里面可以部署运行各种大模型,方便开发者在本地搭建一套大模型运行环境;

下载:https://ollama.com/download

下载Ollama
说明:Ollama的运行会受到所使用模型大小的影响;
1、例如,运行一个7B(70亿参数)的模型至少需要8GB的可用内存(RAM),而运行一个13B(130亿参数)的模型需要16GB的内存,33B(330亿参数)的型需要32GB的内存;
2、需要考虑有足够的磁盘空间,大模型的文件大小可能比较大,建议至少为Ollama和其模型预留50GB的磁盘空间3、性能较高的CPU可以提供更好的运算速度和效率,多核处理器能够更好地处理并行任务,选择具有足够核心数的CPU:
4、显卡(GPU):Ollama支持纯CPU运行,但如果电脑配备了NVIDIA GPU,可以利用GPU进行加速,提高模型的运行速度和性能;

命令行使用ollama 打开终端,输入 ollama -h,查看到所有的命令

service ollama start启动allama

输入ollama -v查看当前版本,能输出版本则安装成功

运行模型单行对话

拉取并运行llama2模型
ollama run llama2
直接输入该命令会检查目录下是否有该模型,没有会自动下载,下载好后自动运行该模型
其他模型见library (ollama.com)

# 查看 Ollama 版本
ollama -v# 查看已安装的模型
ollama list# 删除指定模型
ollama rm [modelname]# 模型存储路径
# C:\Users\<username>\.ollama\models

ollama run qwen:0.5b

默认Ollama api会监听11434端口,可以使用命令进行查看netstat -ano |findstr 114341

//加依赖
<dependency>
<groupld>org.springframework,ai</groupld>
<artifactld>spring-ai-ollama-spring-boot-starter</artifactld>
</dependency>
//写代码
注入OllamaChatClient
@Resource
private OllamaChatClient ollamaChatClient,
//调用call方法
ollamaChatClient.call(msg);

完整pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>3.3.0</version><relativePath/> <!-- lookup parent from repository --></parent><groupId>com.zzq</groupId><artifactId>spring-ai-ollama</artifactId><version>0.0.1-SNAPSHOT</version><name>spring-ai-ollama</name><description>spring-ai-ollama</description><properties><java.version>17</java.version><!--        快照版本--><spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama-spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-devtools</artifactId><scope>runtime</scope><optional>true</optional></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency></dependencies><dependencyManagement><dependencies><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-bom</artifactId><version>${spring-ai.version}</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><configuration><excludes><exclude><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId></exclude></excludes></configuration></plugin></plugins></build><!--    快照版本--><repositories><repository><id>spring-snapshot</id><name>Spring Snapshots</name><url>https://repo.spring.io/snapshot</url><releases><enabled>false</enabled></releases></repository></repositories>
</project>

application文件内容

spring:application:name:spring-ai-05-ollamaai:ollama:base-url: http://localhost:11434chat:options:model: qwen:0.5b

controller

package com.zzq.controller;import jakarta.annotation.Resource;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;@RestController
public class OllamaController {@Resourceprivate OllamaChatModel ollamaChatModel;@RequestMapping(value = "/ai/ollama")public Object ollama(@RequestParam(value = "msg")String msg){String called=ollamaChatModel.call(msg);System.out.println(called);return called;}
}

package com.zzq.controller;import jakarta.annotation.Resource;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaOptions;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;@RestController
public class OllamaController {@Resourceprivate OllamaChatModel ollamaChatModel;@RequestMapping(value = "/ai/ollama")public Object ollama(@RequestParam(value = "msg")String msg){String called=ollamaChatModel.call(msg);System.out.println(called);return called;}@RequestMapping(value = "/ai/ollama2")public Object ollama2(@RequestParam(value = "msg")String msg){ChatResponse chatResponse=ollamaChatModel.call(new Prompt(msg, OllamaOptions.create().withModel("qwen:0.5b")//使用哪个大模型.withTemperature(0.4F)));//温度,温度值越高,准确率下降,温度值越低,准确率上升System.out.println(chatResponse.getResult().getOutput().getContent());return chatResponse.getResult().getOutput().getContent();}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/23233.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PostgreSQL的内存结构

PostgreSQL的内存结构 PostgreSQL 是一个复杂而功能强大的数据库管理系统&#xff0c;其内存结构对于性能和稳定性至关重要。了解 PostgreSQL 的内存管理&#xff0c;可以帮助我们进行数据库调优和故障排查。 内存结构概述 PostgreSQL 的内存结构主要分为三部分&#xff1a;…

每日十题---四

1. 6.5 js 第八题 以下代码的输出结果是 1 2 3 4 var f function g() { return 23; }; typeof g(); 答&#xff1a; 首先声明函数有两种&#xff0c;一种是函数声明&#xff0c;一种是表达式声明。这里就是表达式声明&#xff0c;所以声明之后&#xff0c;只能使用 f(…

SpringBoot:SpringBoot中使用Redisson实现分布式锁

一、前言 Redisson是一个在Redis的基础上实现的Java驻内存数据网格&#xff08;In-Memory Data Grid&#xff09;。它不仅提供了一系列的分布式的Java常用对象&#xff0c;还提供了许多分布式服务。 刚好项目中需要使用到分布式锁&#xff0c;记录一下Redisson是如何使用分布式…

Day1——一些感想,学习计划和自我激励(不重要,跳过吧)

笨人刚刚接触计算机的时候&#xff0c;属于是两眼一抹黑。高考后玩了一整个暑假&#xff0c;脑子已经丢掉了&#xff0c;学起来很痛苦&#xff0c;但是也在学习过程中接触到了很多新鲜的东西&#xff0c;现在对于计算机的各种方向&#xff0c;我都很想试试&#xff08;试试就逝…

(免费领源码)Java#springboot#MySQL书法社团管理系统36200-计算机毕业设计项目选题推荐

目 录 摘要 Abstract 1 绪论 1.1 研究背景 1.2 研究意义 1.3论文结构与章节安排 2 书法社团管理系统系统分析 2.1 可行性分析 2.2 系统流程分析 2.2.1 数据增加流程 2.2.2 数据修改流程 2.2.3 数据删除流程 2.3 系统功能分析 2.3.1 功能性分析 2.3.2 非功能性分析…

SqlServer2016企业版安装

前言 好久没有知识的累积&#xff0c;最近工作上遇到新的SqlServer2016安装&#xff0c;记录一下 参考文章 SQL Server 2016软件安装包和安装教程 - 哔哩哔哩 (bilibili.com) 安装包准备 需要提前准备软件安装包如下 cn_sql_server_2016_enterprise_x64_dvd_8699450&…

【文档智能】符合人类阅读顺序的文档模型-LayoutReader原理及权重开源

引言 阅读顺序检测旨在捕获人类读者能够自然理解的单词序列。现有的OCR引擎通常按照从上到下、从左到右的方式排列识别到的文本行&#xff0c;但这并不适用于某些文档类型&#xff0c;如多栏模板、表格等。LayoutReader模型使用seq2seq模型捕获文本和布局信息&#xff0c;用于…

如何使用 DANN 改进神经网络

文章目录 一、说明二、语言模型真的理解语言吗&#xff1f;三、了解分配转变3.1 样本选择偏差3.2 非静止环境3.3 领域适配挑战3.4 概念漂移 四、对领域对抗训练的介绍 一、说明 由于其多功能性&#xff0c;神经网络是大多数现代机器学习管道的主要内容。他们处理非结构化数据的…

【Visual Studio 2022 部署 .net core website】

部署网站 AdminPortal.csproj false Website File Nameappsettings.jsonAdminPortal.deps.jsonAdminPortal.runtimeconfig.json–web.configAPI.runtimeconfig.json

大模型知识总结

大模型知识总结 重点论文 论文列表&#xff1a;https://zhuanlan.zhihu.com/p/622541777 gpt2: Language Models are Unsupervised Multitask Learners gpt3: Language Models are Few-Shot Learners openai-RHLF(gpt-3.5): Training language models to follow instructio…

idea 中:运行 Application 时出错。命令行过长

一、问题描述&#xff1a; idea 导入新项目&#xff0c;在编译后&#xff0c;运行项目时&#xff0c;报以下错误&#xff1a; 14:47 运行 Application 时出错运行 Application 时出错。命令行过长。通过 JAR 清单或通过类路径文件缩短命令行&#xff0c;然后重新运行。二、问题…

出现TypeError: ‘int‘ object is not callable 的解决方法

目录 1. 问题所示2. 原理分析3. 解决方法1. 问题所示 执行代码的时候出现如下问题: Traceback (most recent call last):File "train.py", line 179, in <module>train(args, model, optimizer)File

GUI guider 常用函数解析

GUI Guider 是 NXP 提供的用于设计和生成 LittlevGL (LVGL) 用户界面的工具。它生成的代码包括初始化、事件处理和其他相关功能。以下是一些常用的 GUI Guider 函数及其介绍&#xff1a; 1. void setup_scr_<screen_name>(lv_ui *ui) 描述: 初始化并设置指定的屏幕。 参…

扩展 Kafka 集群从三台节点到四台节点的过程

扩展 Kafka 集群从三台节点到四台节点的过程可以分为以下几个步骤。这个过程需要同时配置 Kafka 和 ZooKeeper&#xff0c;确保新的节点能够无缝地加入集群。 目录 步骤 1: 安装并配置 Kafka 和 ZooKeeper步骤 2: 配置并启动新的 Kafka 节点步骤 3: 更新集群元数据步骤 4: 更新…

Linux前端与Windows前端区别:深入剖析两大系统的前端差异

Linux前端与Windows前端区别&#xff1a;深入剖析两大系统的前端差异 在前端开发的领域中&#xff0c;Linux和Windows两大操作系统各自拥有着独特的优势和特点。对于开发者而言&#xff0c;理解并把握这些差异&#xff0c;将有助于更高效地选择适合自己的开发环境&#xff0c;…

element ui 实现 分步表单

方法一&#xff1a; <template><div class"main-container"><el-card :body-style"{ padding: 20px }" shadow"hover"><el-steps:active"activeStep"align-centerfinish-status"success"class"s…

大型语言模型智能体(LLM Agent)在实际使用的五大问题

在这篇文章中&#xff0c;我将讨论人们在将代理系统投入生产过程中经常遇到的五个主要问题。我将尽量保持框架中立&#xff0c;尽管某些问题在特定框架中更加常见。 1. 可靠性问题 可靠性是所有代理系统面临的最大问题。很多公司对代理系统的复杂任务持谨慎态度&#xff0c;因…

filter实现模糊查询通用案例

文章目录 一、使用步骤1. 创建模糊过滤函数2. 使用场景3. 模糊搜索算法 一、使用步骤 1. 创建模糊过滤函数 filterFuzzy(input, arr) {// 创建模糊搜索正则表达式const pattern new RegExp(input.toLowerCase().replace(/ /g, |).replace(/\\*/g, .{3,}), i);// 过滤数组返回…

SpringBoot定时任务+Quartz 动态调度

1、分部解释 2、完整代码 3、SpringBoot定时任务Quartz 1、动态定时任务&#xff1a; 动态定时任务&#xff0c;即定时任务的动态调度&#xff0c;可根据需求自由的进行任务的生成、暂停、恢复、删除和更新操作。Quartz本身没有提供动态调度的功能,需要自己根据相关的API开发。…

wireshark源码分析 是怎么完成协议识别的

代码流程 通过process_packet_single_pass处理单个数据包&#xff0c;每层数据包都会使用decode_udp(tcp)_ports识别协议&#xff0c;这里面提供端口和特征识别&#xff1b; 端口识别&#xff1a;dissector_try_uint_new 在接口内通过find_uint_dtbl_entry 如果是一个HTTP数…