大模型增量预训练参数说明

在增量预训练过程中通常需要设置三类或四类参数，模型参数，数据参数，训练参数，额外参数。

下面分别针对这四种参数进行说明。

欢迎关注公众号

模型参数

  1. model_type

模型类型，例如bloom,llama，baichuan，qwen等。

  1. model_name_or_path

模型名称或者路径。

  1. tokenizer_name_or_path

分词器名称或者路径。如果进行了词表扩充或裁剪，则tokenizer_name_or_path和model_name_or_path不同。

  1. load_in_8bit

是否以8bit加载模型。

  1. load_in_4bit

是否以4bit加载模型。

  1. use_fast_tokenizer

是否使用快速分词器。

  1. torch_dtype

张量数值类型

  1. device_map

设置指定设备（也就是在哪张显卡上）

数据参数

  1. dataset_name

数据集的名称&#

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/164585.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JS数组常用的20种方法详解（每一个方法都有例子，超全面，超好理解的教程，干货满满）

JS数组常用的20种方法详解（每一个方法都有例子，超全面，超好理解的教程，干货满满）

目录 1.会改变原数组的方法（7种） 1.push() 2.pop() 3.unshift() 4.shift() 5.reverse() 6.sort() 7.splice() 2.不改变原数组的方法（13种，返回的新数组是从原数组浅拷贝来的） 1.concat() 2.join() 3.slice…
阅读更多...
12个最佳WordPress投票插件

12个最佳WordPress投票插件

您是否正在为您的网站寻找WordPress投票插件？ WordPress投票插件可让您轻松地在您的网站上进行民意调查，用户可以投票。这是在收集见解的同时建立用户参与度的有效策略。 在本文中，我们精心挑选了最好的WordPress投票插件，可帮助…
阅读更多...
代码随想录算法训练营第五十二天|300.最长递增子序列 674. 最长连续递增序列 718. 最长重复子数组

代码随想录算法训练营第五十二天|300.最长递增子序列 674. 最长连续递增序列 718. 最长重复子数组

文档讲解：代码随想录 视频讲解：代码随想录B站账号 状态：看了视频题解和文章解析后做出来了 300.最长递增子序列 class Solution: # 2516 ms, faster than 64.96%def lengthOfLIS(self, nums: List[int]) -> int:n len(nums)dp [1] * n…
阅读更多...
从Discord的做法中学习 — 使用Golang进行请求合并

从Discord的做法中学习 — 使用Golang进行请求合并

正如你可能之前看到的，Discord去年发布了一篇有价值的文章，讨论了他们成功存储了数万亿条消息。虽然有很多关于这篇文章的YouTube视频和文章，但我认为这篇文章中一个名为“数据服务为数据服务”的部分没有得到足够的关注。在这篇文章中&#…
阅读更多...
QT项目移植到VS+QT（RTI-DDS）

QT项目移植到VS+QT（RTI-DDS）

QT中.pro文件中include(./xxx.pri) pri文件如下定义 unset(FILENAMES)for(FILENAME, FILENAMES) {HEADERFILE $$PWD/$${FILENAME}.hif(exists($$HEADERFILE)) {HEADERS * $$HEADERFILE}SOURCEFILE $$PWD/$${FILENAME}.cppif(exists($$SOURCEFILE)) {SOURCES * $$SOURCEFILE}…
阅读更多...
CSS-鼠标属性篇

CSS-鼠标属性篇

属性名：cursor 功能：设置鼠标光标的样式 属性值： pointer：小手move：移动图标text：文字选择器crosshair：十字架wait：等待help：帮助 eg.html{ cursor: wait;}(此处使用css改…
阅读更多...
SpringBoot——MVC原理

SpringBoot——MVC原理

优质博文：IT-BLOG-CN 一、SpringMVC自动配置 SpringMVC auto-configuration：SpringBoot自动配置好了SpringMVC。以下是SpringBoot对SpringMVC的默认配置：[WebMvcAutoConfiguration] 【1】包括ContentNegotiatingViewResolver和BeanNameView…
阅读更多...
Keil工程打开发现目标芯片无法选择解决方案

Keil工程打开发现目标芯片无法选择解决方案

买了一个开发板，配套有一些底层驱动的例程，打开后发现目标芯片无法选择，对应的下载Flash FLM文件也无法选择。从提示框中可以知道所提供的例程是Keil4的例程，我电脑上安装的Keil版本是Keil版本，估计是这个原因导致工程…
阅读更多...
C# 执行Excel VBA宏工具类

C# 执行Excel VBA宏工具类

写在前面 在Excel文档的自动化处理流程中，有部分值需要通过已定义的宏来求解，所以延伸出了用C# 调用Excel中的宏代码的需求。 首先要从NuGet中引入Microsoft.Office.Interop.Excel 类库 using Excel Microsoft.Office.Interop.Excel; 代码实现 /// &l…
阅读更多...
HashMap,1.7与1.8的区别，HashMap的扩容方式有哪些

HashMap,1.7与1.8的区别，HashMap的扩容方式有哪些

HashMap,1.7与1.8的区别 底层数据结构的区别 JDK 1.8之前： 1）JDK1.8 之前HashMap 底层是数组和链表结合在一起使用也就是链表散列。 2）HashMap 通过key 的hashCode 经过扰动函数处理过后得到hash 值，然后通过(n - 1&#xff09…
阅读更多...
修改el-radio-group样式,自定义单选组件

修改el-radio-group样式,自定义单选组件

修改el-radio-group样式,自定义单选组件 自定义组件 MyRadioGroup.vue <template><div class"btnsBox"><el-radio-group v-model"activeIndex" change"handleClick"><el-radio-buttonv-for"(item, index) in list&qu…
阅读更多...
CSS3动画

CSS3动画

在CSS3中新增了一个很有意思的东西&#xff0c;那就是动画&#xff0c;有了动画我们可以做很多的事情&#xff0c;让我为大家介绍一下动画吧&#xff01; 本篇文章关于介绍动画&#xff0c;利用小球移动为你们介绍一下动画 默认样式&#xff1a; <!DOCTYPE html> <ht…
阅读更多...
普通话考试相关（一文读懂）

普通话考试相关（一文读懂）

文章目录&#xff1a; 一&#xff1a;相关常识 1.考试报名时间 2.报名地方 费用 证件 3.考试流程 4.普通话等级说明 二&#xff1a;题型 三&#xff1a;技巧 1.前三题 2.命题说话 四&#xff1a;普通话考试题库 1.在线题库 2.下载题库 一&#xff1a;相关常识 …
阅读更多...
JavaEE(SpringMVC)期末复习

JavaEE(SpringMVC)期末复习

文章目录 JavaEE期末复习一、单选题&#xff1a; JavaEE期末复习 一、单选题&#xff1a; 1.Spring的核⼼技术是&#xff08; A &#xff09;&#xff1f; A依赖注入 B.JdbcTmplate C.声明式事务 D.资源访问 Spring的核心技术包括依赖注入&#xff08;Dependency Injection&am…
阅读更多...
【前端】js通过canvas获取浏览器的唯一指纹可以当做唯一标识

【前端】js通过canvas获取浏览器的唯一指纹可以当做唯一标识

【前端】js通过canvas获取浏览器的唯一指纹可以当做唯一标识 <!DOCTYPE html> <html><head> <meta charset"utf-8" /> <meta name"viewport" content"widthdevice-width" /> <title>JS Bin</title> &…
阅读更多...
解决Emmy Lua插件在IDEA或 Reder 没有代码提示的问题(设置文件关联 增加对.lua.txt文件的支持)

解决Emmy Lua插件在IDEA或 Reder 没有代码提示的问题(设置文件关联 增加对.lua.txt文件的支持)

目录 Reder版本2019.x Reder版本2021.1.5x Reder版本2019.x 解决Emmy Lua插件在IDEA或 Reder 没有代码提示的问题(设置文件关联 增加对.lua.txt文件的支持) Reder版本2021.1.5x 解决Emmy Lua插件在IDEA或 Reder 没有代码提示的问题(设置文件关联 增加对.lua.txt文件的支持)…
阅读更多...
java游戏制作-王者荣耀游戏

java游戏制作-王者荣耀游戏

一.准备工作 首先创建一个新的Java项目命名为“王者荣耀”&#xff0c;并在src下创建两个包分别命名为“com.sxt"、”com.stx.beast",在相应的包中创建所需的类。 创建一个名为“img”的文件夹来储存所需的图片素材。 二.代码呈现 package com.sxt;import javax.sw…
阅读更多...
Netty Review - 探索ByteBuf的内部机制

Netty Review - 探索ByteBuf的内部机制

文章目录 概念ByteBuf VS Java NIO BufferByteBuf实现类HeapByteBuf vs DirectByteBufPooledByteBuf vs UnpooledByteBuf其他 ByteBuf的实现机制 概念 ByteBuf是Netty中用于处理二进制数据的缓冲区 Netty的ByteBuf是一个可用于高效存储和操作字节数据的数据结构。与传统的Byt…
阅读更多...
跳跃游戏[中等]

跳跃游戏[中等]

优质博文&#xff1a;IT-BLOG-CN 一、题目 给你一个非负整数数组nums&#xff0c;你最初位于数组的第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个下标&#xff0c;如果可以&#xff0c;返回true&#xff1b;否则&#xff0c;返…
阅读更多...
阿里入局鸿蒙！鸿蒙原生应用再添两员新丁

阿里入局鸿蒙！鸿蒙原生应用再添两员新丁

今日HarmonyOS微博称&#xff0c;阿里钉钉、蚂蚁集团旗下的移动开发平台mPaaS与华为达成合作&#xff0c;宣布启动鸿蒙原生应用的开发&#xff01;相关应用将以原生方式适配#HarmonyOS NEXT#系统。 #HarmonyOS#市场或迎来爆发式增长&#xff01; 阿里钉钉 阿里钉钉与华为达成合…
阅读更多...
最新文章

Copyright @ 2022~2023