Baichuan2百川模型部署的bug汇总

1.4bit的量化版本最好不要在Windows系统中运行，大概原因报错原因是bitsandbytes不支持window，bitsandbytes-windows目前仅支持8bit量化。

2.在这里插入图片描述

报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。
ag：需要再cli_demo.py的文件中增加
在这里插入图片描述

offload_folder="offload" model.float()

3.安装对应的cuda版本 Python版本 pytorch版本
读者有bug可以在评论区留言，我会尽可能回复解答

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/631763.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【DC-DC】APS54085降压恒流 高辉度调光降压恒流芯片

【DC-DC】APS54085降压恒流 高辉度调光降压恒流芯片

产品描述 APS54085 是一款 PWM 工作模式,高效率、 外围简单、内置功率 MOS 管，适用于 5-100V 输入的高精度降压 LED 恒流驱动芯片。最大电流 2.0A。 APS54085 可实现线性调光和 PWM 调光， 线性调光有效电压范围 0.52-2.55V. PWM 调光频率范围 100…
阅读更多...
React Native实现QQ等级皇冠太阳星星的展示-代码示例

React Native实现QQ等级皇冠太阳星星的展示-代码示例

代码 function LevelGetImages(level: number) {let res []const marks [{ mod: 20, image: Images.setting.level_king },{ mod: 15, image: Images.setting.level_queen },{ mod: 10, image: Images.setting.level_moon },{ mod: 5, image: Images.setting.level_star },…
阅读更多...
metinfo_6.0.0 任意文件读取漏洞复现

metinfo_6.0.0 任意文件读取漏洞复现

漏洞点为/include/thumb.php 一测：/include/thumb.php?dir..././http/..././config/config_db.php 二测：/include/thumb.php?dir.....///http/.....///config/config_db.php 三测：/include/thumb.php?dirhttp/.....///.....///config/conf…
阅读更多...
geopandas 笔记：plot 的scheme

geopandas 笔记：plot 的scheme

transbigdata 笔记：官方文档案例1（出租车GPS数据处理）-CSDN博客 3.3.1 节的内容的拓展，这里主要是比较各个scheme的效果 主代码为：修改的就是第二行scheme的内容 plt.figure(1,(16, 6), dpi300) schemebox_plot #图…
阅读更多...
安装脚手架Vue CLI详解！！！

安装脚手架Vue CLI详解！！！

Vue CLI基本介绍： Vue CLI是Vue官方提供的一个全局命令工具。可以帮助我们快速创建一个开发Vue项目的标准化基础架子【集成了webpack配置】 安装脚手架好处： 开箱即用，零配置；内置babel等工具；标准化 安装步骤&#…
阅读更多...
回馈科教，非凸科技助力第48届ICPC亚洲区决赛

回馈科教，非凸科技助力第48届ICPC亚洲区决赛

1月12日-14日，“华为杯”第48届国际大学生程序设计竞赛（ICPC）亚洲区决赛在上海大学成功举办。非凸科技作为此次赛事的支持方之一，希望携手各方共同推动计算机科学和技术的发展。 这是一场智慧的巅峰对决，320支优秀队伍…
阅读更多...
HTTP超详细介绍

HTTP超详细介绍

HTTP讲解 1.HTTP的介绍2.HTTP协议的特点3.HTTP工作原理4.HTTP三点注意事项5.HTTP消息结构6.客户端请求消息7.服务端响应消息8.HTTP请求方法9.HTTP 响应头信息10.HTTP 状态码（HTTP Status Code）10.1.下面是常见的HTTP状态码10.2.HTTP状态码分类10.3.HTTP状…
阅读更多...
【Linux系列】在Pop!OS的启动器中添加自定义程序图标

【Linux系列】在Pop!OS的启动器中添加自定义程序图标

文章目录 前言一、创建快捷方式二、快捷方式参数三、添加右键菜单和注册MIME 前言 无论是在Windows上，还是Linux，或者安卓这些我们常用的操作系统上，一些应用程序的快捷方式放在桌面或者启动器，只需要简单的点击就可以启动&#…
阅读更多...
ABAP IDOC 2 XML

ABAP IDOC 2 XML

有个需求，外围系统希望我们给到一个IDOC 记录的样例，但是我们we02中并无法看到 就找了一个demo去直接展示IDOC内容 *&---------------------------------------------------------------------* *& Report Z_IDOC_TO_XML *&------------…
阅读更多...
【性能调优】local模式下flink处理离线任务能力分析

【性能调优】local模式下flink处理离线任务能力分析

文章目录 一. flink的内存管理1.Jobmanager的内存模型2.TaskManager的内存模型2.1. 模型说明2.2. 通讯、数据传输方面2.3. 框架、任务堆外内存2.4. 托管内存 3.任务分析 二. 单个节点的带宽瓶颈1. 带宽相关理论2. 使用speedtest-cli 测试带宽3. 任务分析3. 其他工具使用介绍 本…
阅读更多...
定制数据采集分析系统——为实现工业物联打下坚实基础

定制数据采集分析系统——为实现工业物联打下坚实基础

在这个工业4.0或者“工业互联网”的大背景下，工业物联网成为数字化转型中心舞台的一部分。数据是相关产品中的关键资产和生产资料，且在全球连接的产品(在整个生命周期中)的应用分析中是必不可少的功能。 工业物联网是将具有感知、监控能力的各类采集、控…
阅读更多...
MAC相关

MAC相关

MAC地址，英文全称Medium Access Control，直译为介质访问控制，它通常被固化在每个以太网网卡（NIC,Network Interface Card）。MAC（硬件）地址长48位（6字节），采用…
阅读更多...
#LLMOps##AIGC# Dify_构建本地知识库问答应用-生成Al应用的创新引擎 用于构建助手API和GPT的开源开发平台

#LLMOps##AIGC# Dify_构建本地知识库问答应用-生成Al应用的创新引擎 用于构建助手API和GPT的开源开发平台

github： https://github.com/langgenius/dify/blob/main/README_CN.md 介绍文档：https://docs.dify.ai/getting-started/readme Dify 介绍 Dify 笔记 Dify 是什么？ 开源的大语言模型（LLM）应用开发平台融合了后端即服…
阅读更多...
c语言出现打印烫烫烫烫烫烫问题

c语言出现打印烫烫烫烫烫烫问题

系列文章目录 c语言出现打印烫烫烫烫烫烫问题 c语言出现打印烫烫烫烫烫烫问题 系列文章目录一、报错现象二、原因三、解决方法 一、报错现象 二、原因 字符数组初始化用这种方式初始化 %s是以字符串打印，获取是地址，%s会接受字符串结束标志[‘\0’]之前的…
阅读更多...
阿里云 linux Centos7 安装 Miniconda3 + 创建Python环境

阿里云 linux Centos7 安装 Miniconda3 + 创建Python环境

1.下载miniconda （1）法一：可以去下载清华源的miniconda镜像源，选择自己需要的版本，然后上传到Linux服务器上，linux上使用请选择linux版本，如下： （2）法二&…
阅读更多...
日志项目1

日志项目1

文章目录 【C - 基于多设计模式下的同步&异步日志系统】项目介绍 前置技术1. 项目介绍2. 开发环境3. 核心技术4. 环境搭建5. 日志系统介绍5.1 为什么需要日志系统5.2 日志系统技术实现5.2.1 同步写日志5.2.2 异步写日志 6. 前置技术补充6.1 不定参函数6.1.1 不定参宏函数6…
阅读更多...
24年地信专业各大院校，考研真题合集

24年地信专业各大院校，考研真题合集

2024年云南师范大学人文地理学考研真题 一、简答题 1. 人文地理学科的任务 2. 文化生态关系的类型与特点人口出生率低的影响因素现代农业的类型与特点 3. 发展中国家工业发展中存在的问题 二、分析题 1. 结合实例说明城市地域结构模型及主要动力 2. 结合实例论述区域协作组织对…
阅读更多...
【送酒小程序系统源码】/花店送花系统/蛋糕店系统/奶茶店系统源码

【送酒小程序系统源码】/花店送花系统/蛋糕店系统/奶茶店系统源码

前端uniapp后端thinkphp数据库mysql 多门店外卖餐饮点餐系统预约点餐 匹配附近店铺 堂食 外卖带走 菜品管理. 根据用户的位置匹配附近饭店 点餐后,可以在线等叫号 餐时输入手机号并支付后,可以支持外 支持多规格、备注等快捷功能,以吸多 多门店管理 数据概览 支持微…
阅读更多...
克魔助手工具详解、数据包抓取分析、使用教程

克魔助手工具详解、数据包抓取分析、使用教程

目录 摘要 引言 克魔助手界面 克魔助手查看数据捕获列表 数据包解析窗口 数据包数据窗口 克魔助手过滤器表达式的规则 抓包过滤器实例 总结 参考资料 摘要 本文介绍了克魔助手工具的界面和功能，包括数据包的捕获和分析，以及抓包过滤器的使用方…
阅读更多...
HarmonyOS—构建第一个ArkTS应用（Stage模型）

HarmonyOS—构建第一个ArkTS应用（Stage模型）

创建ArkTS工程 构建第一个页面 若首次打开DevEco Studio，请点击Create Project创建工程。如果已经打开了一个工程，请在菜单栏选择File > New > Create Project来创建一个新工程。选择Application应用开发，选择模板“Empty Ability”&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023