gemma2 vllm和ollama推理部署；openai接口调用、requests调用

参考：
https://huggingface.co/google/gemma-2-9b
https://ai.google.dev/gemma/docs/model_card_2?hl=zh-cn
https://huggingface.co/blog/gemma2

发布了两个型号9B\27B
在这里插入图片描述

支持上下文长度有点短：4096
在这里插入图片描述

1、 ollama推理部署

升级ollama：

curl -fsSL https://ollama.com/install.sh | sh

运行：

ollama run gemma2

在这里插入图片描述

ollama 对外接口（openai接口调用、requests调用）参考：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/39183.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

AVL许可证与版权保护

AVL许可证与版权保护

在数字化时代，知识产权保护成为企业发展的重要保障。AVL许可证与版权保护的关系密不可分，共同为企业筑起坚实的防线。本文将深入探讨AVL许可证在版权保护中的重要性、作用以及最佳实践，帮助企业更好地维护自身知识产权。 一、AVL许可证在版权…
阅读更多...
高三才考试努力，请记住这些个学习方法，助你华丽逆袭

高三才考试努力，请记住这些个学习方法，助你华丽逆袭

站在人生的十字路口，高三是整个人生中重要的转折点，这一年的学习成果直接影响我们未来的人生走向。站在我们求学生涯的高度上，高三也是特殊的一年，因为我们要用一整年的时间去复习旧知识。 　　如果你到了高三改意识到自己需要努力…
阅读更多...
AMSA-UNet | 基于自注意力的多尺度 U-Net 提升图像去模糊性能

AMSA-UNet | 基于自注意力的多尺度 U-Net 提升图像去模糊性能

前言 传统的单尺度U-Net在去模糊过程中常常会导致空间信息的丢失，这影响了去模糊的准确性。此外，由于卷积方法在捕捉长距离依赖方面的局限性，恢复图像的质量下降。为了解决上述问题，提出了一种基于自注意力的非对称多尺度U-Net（AMSA-UNet）来提高去模糊方法在准确性和计算…
阅读更多...
修改Springboot项目名称

修改Springboot项目名称

修改Springboot项目名称 1. 整体描述2. 具体步骤2.1 修改module名称2.2 修改程序包名2.3 mybatis/mybatis-plus配置修改2.4 logback文件2.5 yml配置2.6 Application启动类2.7 其他 3. 总结 1. 整体描述 开发过程中，经常遇到新来个项目，需要一份初始代码…
阅读更多...
【前端】HTML+CSS复习记录【5】

【前端】HTML+CSS复习记录【5】

文章目录 前言一、padding、margin、border（边框边距）二、样式优先级三、var（使用 CSS 变量更改多个元素样式）四、media quary（媒体查询）系列文章目录 前言 长时间未使用HTML编程，前端知识感觉…
阅读更多...
去中心化革命：探索区块链技术的前沿

去中心化革命：探索区块链技术的前沿

随着信息技术的飞速发展，区块链技术作为一种新兴的去中心化解决方案，正逐渐改变着我们的经济、社会和技术格局。本文将从区块链的基本原理、当前的应用实例以及未来的发展趋势三个方面，深入探讨区块链技术在革命性变革中的角色和影响。 1. 区…
阅读更多...
构建工程化：建立平台化工程体系

构建工程化：建立平台化工程体系

一、功能描述 工程化体系主要是解决能够统一进行打包的问题，故需要对整体进行描述 1.1、子项目描述 1.1.1、配置管理 对于每一个子项目而言，需要有专门的配置管理目录，目录的建议组建方式为conf/defalut和conf/local，其中defa…
阅读更多...
TypeScript中，如何利用数组生成一个联合类型

TypeScript中，如何利用数组生成一个联合类型

本文由 ChatMoney团队出品 在开发中我们常常会遇到这样一个问题，代码如下： const arr ["a","b","c","d","e","f","g","h","i","j","k&quo…
阅读更多...
利用区块链技术实现返利App的透明化追溯

利用区块链技术实现返利App的透明化追溯

利用区块链技术实现返利App的透明化追溯 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将探讨如何利用区块链技术实现返利App的透明化追溯&#xff0c…
阅读更多...
【信息学奥赛】CSP-J/S初赛06 信息编码（ASCLL码及汉字信息编码）

【信息学奥赛】CSP-J/S初赛06 信息编码（ASCLL码及汉字信息编码）

本专栏👉CSP-J/S初赛内容主要讲解信息学奥赛的初赛内容，包含计算机基础、初赛常考的C程序和算法以及数据结构，并收集了近年真题以作参考。 如果你想参加信息学奥赛，但之前没有太多C基础，请点击👉专栏&#…
阅读更多...
51单片机点亮第一个LED灯

51单片机点亮第一个LED灯

欢迎入群共同学习交流 时间记录&#xff1a;2024/7/2 一、电路原理图 二、代码程序 1.项目代码结构 2.主程序代码 #include <reg51.h>sbit ledP1^0;void delay(int ms) {int i0;while(ms--){for(i0;i<110;i);} }int main() {while(1){led 1;delay(1000);led 0;d…
阅读更多...
01-android studio实现闪屏页功能

01-android studio实现闪屏页功能

在Android开发中&#xff0c;闪屏页面是指应用程序启动时展示的第一个页面&#xff0c;通常用来展示应用的logo或者介绍信息&#xff0c;让用户在应用加载完毕前看到一个友好的界面。本文将介绍如何实现一个简单的Android闪屏页面。 一、创建一个新的SplashActivity 首先&…
阅读更多...
EFCore_悲观锁与乐观锁（MySQL）

EFCore_悲观锁与乐观锁（MySQL）

简述 悲观锁&#xff1a;对并发可能导致的资源抢占问题持悲观态度&#xff0c;总是认为会有其他的线程来抢占资源&#xff0c;所以会在实际上对资源上锁 乐观锁&#xff1a;对并发可能导致的资源抢占问题持乐观态度&#xff0c;并不对资源实际上锁&#xff0c;而是在对资源进行…
阅读更多...
git 禁止dev合并到任何其他分支

git 禁止dev合并到任何其他分支

创建 pre-merge-commit 钩子 导航到 Git 仓库的钩子目录&#xff1a; cd /path/to/your/repo/.git/hooks创建或编辑 pre-merge-commit 钩子&#xff1a; 也可以通过指令创建 nano pre-merge-commit在钩子文件中添加以下代码&#xff1a; #!/bin/sh# 获取当前分支名称 curr…
阅读更多...
矮油，希喂、喜崽、爱立方主食冻干是超贵的进口平替？最新测评

矮油，希喂、喜崽、爱立方主食冻干是超贵的进口平替？最新测评

相信很多铲屎官一到选粮就苦恼&#xff0c;尤其是主食冻干&#xff0c;虽说主食冻干对猫咪的好处是普通猫粮无法比的&#xff0c;其价格也是远超普通猫粮的。所以很多铲屎官就很担心&#xff0c;花了高价买的主食冻干却营养不高。其实除了营养还有更多需要考虑的&#xff0c;比…
阅读更多...
Spring Boot与Solr的集成应用

Spring Boot与Solr的集成应用

Spring Boot与Solr的集成应用 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天我们来聊聊Spring Boot与Solr的集成应用。Solr是一个高性能的开源搜索平台&am…
阅读更多...
proto的前后端使用

proto的前后端使用

首先定义一个input.proto文件 内容如下 syntax "proto3";message InputData {int32 UserId 1; // 将 number 改为 int32 或 int64string UserInput 2;string DrunkState 3; }message ResponseData {string AIResponse 1;string prompt 2;string emoti…
阅读更多...
VBA提取word表格内容到excel

VBA提取word表格内容到excel

这是一段提取word表格中部分内容的vb代码。 Sub 提取word表格() mypath ThisWorkbook.Path & "\"myname Dir(mypath & "*.doc*")n 4 index of rowsRange("A1:F1") Array("课程代码", "课程名称", "专业&…
阅读更多...
Linux miniconda 安装tensorflow-gpu遇到找不到GPU问题

Linux miniconda 安装tensorflow-gpu遇到找不到GPU问题

背景&#xff1a; Linux Miniconda python3.9 安装步骤 1、 pip install tensorflow-gpu2.8.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 2、报错如下&#xff1a; 更换镜像源&#xff0c;单独安装 pip install tf-estimator-nightly2.8.0.dev2021122109 -i https:/…
阅读更多...
Java中的机器学习模型集成与训练实践

Java中的机器学习模型集成与训练实践

Java中的机器学习模型集成与训练实践 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 机器学习模型集成概述 在实际应用中&#xff0c;机器学习模型的集成与训…
阅读更多...
最新文章

Copyright @ 2022~2023