欺诈文本分类微调(七)—— lora单卡二次调优

1. 前言

模型训练是一个不断调优的过程,这注定了我们的需要多次跑同一个训练过程。在前文欺诈文本分类微调(六):Lora单卡跑的整个训练过程中,基本可以分为几步:

  1. 数据加载
  2. 数据预处理
  3. 模型加载
  4. 定义lora参数
  5. 插入微调矩阵
  6. 定义训练参数
  7. 构建训练器开始训练

这个流程基本是固定的,而训练调优过程中需要调整的主要是以下这些项:

  1. 输入和输出:数据路径,模型路径,输出路径
  2. 参数:lora参数,训练参数

因此,我们将整个训练过程中基本不变的部分提取到trainer.py中。内容如下所示:

def load_jsonl(path):with open(path, 'r') as file:data = [json.loads(line) for line in file]return pd.DataFrame(data)def preprocess(item, tokenizer, max_length=2048):input_ids, attention_mask, labels = [], [], []system_message = "You are a helpful assistant."user_message = item['instruction'] + item['input']assistant_message = json.dumps({"is_fraud":item["label"]}, ensure_ascii=False)instruction = tokenizer(f"<|im_start|>system\n{system_message}<|im_end|>\n<|im_start|>user\n{user_message}<|im_end|>\n<|im_start|>assistant\n", add_special_tokens=False)  response = tokenizer(assistant_message, add_special_tokens=False)input_ids = instruction["input_ids"] + response["input_ids"] + [tokenizer.pad_token_id]attention_mask = instruction["attention_mask"] + response["attention_mask"] + [1]  # -100是一个特殊的标记,用于指示指令部分的token不应参与损失计算labels = [-100] * len(instruction["input_ids"]) + response["input_ids"] + [tokenizer.pad_token_id]  # 对输入长度做一个限制保护,超出截断return {"input_ids": input_ids[:max_length],"attention_mask": attention_mask[:max_length],"labels": labels[:max_length]}def load_dataset(train_path, eval_path, tokenizer):train_df = load_jsonl(train_path)train_ds = Dataset.from_pandas(train_df)train_dataset = train_ds.map(lambda x: preprocess(x, tokenizer), remove_columns=train_ds.column_names)eval_df = load_jsonl(eval_path)eval_ds = Dataset.from_pandas(eval_df)eval_dataset = eval_ds.map(

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/52226.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

科创中心“核”动力|趋动科技:AI算力界的领跑者

近日&#xff0c;趋动科技与深信服正式推出联合解决方案。联合解决方案将深信服EDS的高性能存储与趋动科技OrionX AI算力资源池化软件、以及GeminiAI训练平台有机结合&#xff0c;整合存力与算力资源的同时&#xff0c;帮助用户建好AI平台、管好AI资源、用好AI服务。 双方已完成…

Web3链上聚合器声呐已全球上线,开启区块链数据洞察新时代

在全球区块链技术高速发展的浪潮中&#xff0c;在创新发展理念的驱动下&#xff0c;区块链领域的工具类应用备受资本青睐。 2024年8月20日&#xff0c;由生纳&#xff08;香港&#xff09;国际集团倾力打造的一款链上应用工具——“声呐链上聚合器”&#xff0c;即“声呐链上数…

Facebook的区块链战略:如何在社交媒体中实现去中心化

随着区块链技术的发展&#xff0c;Facebook&#xff08;现Meta&#xff09;正积极探索如何将这一技术整合进其社交平台中&#xff0c;以提升用户体验和数据安全。区块链技术以去中心化、透明性和不可篡改性为特点&#xff0c;为社交媒体带来了新的可能性。本文将探讨Facebook在…

嵌入式和单片机有什么区别?

目录 &#xff08;1&#xff09;什么是嵌入式&#xff1f; &#xff08;2&#xff09;什么是单片机&#xff1f; &#xff08;3&#xff09;嵌入式和单片机的共同点 &#xff08;4&#xff09;嵌入式和单片机的区别 &#xff08;1&#xff09;什么是嵌入式&#xff1f; 关…

Linux云计算 |【第二阶段】SECURITY-DAY1

主要内容&#xff1a; 监控基础&#xff08;系统监控命令、监控软件&#xff09;、Zabbix监控服务端部署、Zabbix监控客户端部署、创建监控主机、调用监控模板、自定义key、创建模板、应用集、监控项、绑定模板&#xff1b; 一、监控概述 1&#xff09;监控的目的 ① 实时报…

【Hot100】LeetCode—114. 二叉树展开为链表

目录 1- 思路技巧——借助指针 2- 实现⭐114. 二叉树展开为链表——题解思路 3- ACM 实现 原题连接&#xff1a;114. 二叉树展开为链表 1- 思路 技巧——借助指针 思路&#xff1a;通过 ① 将左子树的右下结点的 .next ——> 拼接到当前节点的右子树上。 构造 cur 指针&a…

flutter 键盘弹出 都会重新Build

原因是调用MediaQuery.of(context)后&#xff0c;点击TextField组件时会导致调用build方法。 解决方法&#xff1a;在Scaffold组件的body嵌套Builder组件&#xff0c;然后设置一个BuildContext变量&#xff0c;将Builder组件中的context传递给BuildContext变量&#xff0c;然后…

数据结构【链试结构二叉树】

&#x1f31f;个人主页&#xff1a;落叶 目录 ​编辑 实现链式结构⼆叉树 前中后序遍历&#xff1a; 遍历规则 代码实现 前序遍历&#xff1a; 中序遍历&#xff1a; 后序遍历&#xff1a; 图解遍历&#xff1a; 函数递归栈帧图&#xff1a; 结点个数以及高度等 【⼆…

每日OJ_牛客_淘宝网店(日期模拟)

目录 牛客_淘宝网店&#xff08;日期模拟&#xff09; 解析代码 牛客_淘宝网店&#xff08;日期模拟&#xff09; 淘宝网店__牛客网 解析代码 这是一个变相的日期计算器。只不过2、3、5、7、11月算1天&#xff0c;其他7个月算2天。 既然是一个变相的日期计算器&#xff0c;那…

基于STM32开发的智能空气质量监测系统

目录 引言环境准备工作 硬件准备软件安装与配置系统设计 系统架构硬件连接代码实现 系统初始化空气质量监测与处理风扇控制与状态显示Wi-Fi通信与远程监控应用场景 家庭和办公室的空气质量监测室内空气净化器的智能控制常见问题及解决方案 常见问题解决方案结论 1. 引言 空气…

单位信息宣传考核投稿方法不对让我尝尽了苦头

自从我担任单位的信息宣传员以来,便深刻体会到“信息宣传”四个字背后的重量。每月的信息宣传考核任务就像一座大山,压在我心头。起初,我像大多数同行一样,习惯于通过电子邮件向各大媒体投稿,但这种方式让我尝尽了苦头。 记得开始尝试通过邮箱投稿时,我满怀信心地将精心准备的文…

web前端之选项卡集合、动态添加类名、动态移除类名、动态添加样式、激活、间距、节流、tabBar

MENU input的checked属性(HtmlStyle)伪元素(HtmlStyleJavaScript)激活类(HtmlStyleJavaScript)vue伪元素 input的checked属性(HtmlStyle) 前言 代码段创建一个使用HTML和CSS实现的标签式内容切换组件。通过选择不同的标签&#xff0c;可以展示相应的内容。 代码段实现一个简洁…

02 tkinter有趣项目-头像制作-界面设计

头像制界面设计 avatar.png 界面 界面分析 背景图片: 顶部中央位置显示一个小孩背着书包的图片。这个图片是程序的背景&#xff0c;占据了大部分的窗口空间。 标题和按钮: 在图片上方&#xff0c;有一个标题栏&#xff0c;显示文本“在线姓氏头像制作”&#xff0c;使用隶书字…

负载均衡详解

概述 负载均衡建立在现有的网络结构之上&#xff0c;提供了廉价、有效、透明的方式来扩展网络设备和服务器的带宽&#xff0c;增加了吞吐量&#xff0c;加强了网络数据的处理能力&#xff0c;提高了网络的灵活性和可用性。项目中常用的负载均衡有四层负载均衡和七层负载均衡。…

redis面试(二十)读写锁WriteLock

写锁WriteLock 和读锁一样&#xff0c;在这个地方执行自己的lua脚本&#xff0c;我们去看一下 和read没有多大的区别 KEYS[1] anyLock ARGV[1] 30000 ARGV[2] UUID_01:threadId_01:write hget anyLock mode&#xff0c;此时肯定是没有的&#xff0c;因为根本没这个锁 …

代码随想录训练营day43|动态规划part10

最长递增子序列 力扣题目链接 class Solution { public:int lengthOfLIS(vector<int>& nums) {int len nums.size();int result 1;vector<int> dp(len, 1);for(int i 1; i < len; i){for(int j 0; j < i; j){if(nums[j] < nums[i]){dp[i] max(…

flink+flinkcdc+同步(MYSQL到MYSQL)实践

flink+flinkcdc+同步MYSQL到MYSQL 目标 通过Flink +FlinkCDC实现MYSQL到MYSQL的同步【单表,多表】运行环境 mysql8.0.3 | flink-1.13.2 | flink-connector-jdbc_2.11-1.13.2.jar |flink-sql-connector-mysql-cdc-2.1.0.jar前置条件 开启bin_log日志 以及设置bin_log格式=RO…

@RequestBody与@RequestParam:Spring MVC中的参数接收差异解析

在Spring MVC中&#xff0c;RequestBody和RequestParam是两个常用于接收客户端请求参数的注解&#xff0c;但它们的使用场景和作用机制存在显著差异。了解这些差异对于开发RESTful API和处理HTTP请求至关重要。本文将详细探讨RequestBody与RequestParam的区别。 RequestParam …

“双指针”算法下篇

WeChat_20240806081335 对双指针这一思想在OJ 里面的相关应用&#xff0c;感兴趣的友友们&#xff0c;可以看下此篇博客 https://blog.csdn.net/X_do_myself/article/details/141291451?spm1001.2014.3001.5502 目录 一盛最多水的容器 1题目链接&#xff1a;盛最多水的容器…

音频分割软件有什么?最方便的音频分割软件分享给你

一段长音频就像是一本厚重的百科全书&#xff0c;而音频剪辑师的任务&#xff0c;就是要将这本书拆分成数个章节&#xff0c;每章都有其独立的主题和内容&#xff0c;这非常考验剪辑师们的音频分割技巧。 幸运的是&#xff0c;随着技术的发展&#xff0c;市面上出现了许多优秀…