关于大模型在文本分类上的尝试

文章目录

  • 前言
  • 所做的尝试
  • 总结

前言

总共25个类别，在BERT上的效果是48%，数据存在不平衡的情况，训练数据分布如下：

在这里插入图片描述

训练数据不多，4000左右

所做的尝试

1、基于 Qwen-14b-base 做Lora SFT，Loss忘记记录

准确率在68%左右

Lora配置

class LoraArguments:lora_r: int = 64lora_alpha: int

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/184764.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

使用机器学习方法进行分析和处理：对高质量图像进行压缩

使用机器学习方法进行分析和处理：对高质量图像进行压缩

使用SVD（奇异值分解）进行图像压缩与普通压缩工具压缩的主要区别在于压缩原理和压缩效果。 压缩原理： 普通图像压缩工具通常采用有损压缩或无损压缩算法，如JPEG、PNG等，它们主要针对图像的像素进行变换和编码。而SVD图像…
阅读更多...
算法高频题目

算法高频题目

LRUCache实现 思路：使用linkedHashMap。按照插入顺序的有序链表。 get 操作。cache不包含，返回-1。包含。我们需要当前key重新put。 /将 key 变为最近使用 put。如果包含。修改当前key值。然后将key变成最近使用。不包含。如果cacheSize大于当前最大size…
阅读更多...
[cocos creator] Label设置为RESIZE_HEIGHT，获取height

[cocos creator] Label设置为RESIZE_HEIGHT，获取height

问题描述： 需要在scrollview 中显示item, item的高度由子节点label的高度动态决定，但更改string后，获取label的高度仍为初始值。 解决办法： //改变string内容 node.getComponent(Label).string str; //加上这一句 node.getCom…
阅读更多...
【JavaEE初阶】volatile 关键字、wait 和 notify

【JavaEE初阶】volatile 关键字、wait 和 notify

目录 一、volatile 关键字 1、volatile 能保证内存可见性 2、volatile 不保证原子性 二、wait 和 notify 1、wait()方法 2、notify()方法 3、notifyAll()方法 4、wait 和 sleep 的对比 一、volatile 关键字 1、volatile 能保证内存可见性 我们前面的线程安全文章中&…
阅读更多...
Docker安装可视化工具Portainer

Docker安装可视化工具Portainer

目录 Portainer简介 Portainer安装 Portainer简介 Portainer是一款开源的容器管理平台，支持多种容器技术，如Docker、Kubernetes和Swarm等。它提供了一个易于使用的Web UI界面，可用于管理和监控容器和集群。Portainer旨在使容器管理更加简单…
阅读更多...
前端三大MV*模式：MVC、mvvm、mvp模式介绍

前端三大MV*模式：MVC、mvvm、mvp模式介绍

MVC（同步通信为主）：Model、View、Controller MVP(异步通信为主)：Model、View、Presenter MVVM(异步通信为主)：Model、View、ViewModel mvc模式介绍 MVC（Model–View–Controller）模式是软件…
阅读更多...
Elk:filebeat 日志收集工具和logstash

Elk:filebeat 日志收集工具和logstash

Elk:filebeat 日志收集工具和logstash Filebeat是一个轻量级的日志手机工具,所使用的系统资源比logstash部署和启动时使用的资源要小得多 Filebeat可以在非java环境使用，他可以代理logstash在非java环境上收集日志 缺点 Filebeat无法实现数据的过滤,一般是结合l…
阅读更多...
Direct local .aar file dependencies are not supported when building an AAR.

Direct local .aar file dependencies are not supported when building an AAR.

Direct local .aar file dependencies are not supported when building an AAR. 问题描述：打debug包没有问题，但是打release包(无论是apk还是aar包)时会报错“Direct local .aar file dependencies are not supported when building an AAR.” 原因&a…
阅读更多...
Linux添加 交换分区/文件 .swap

Linux添加 交换分区/文件 .swap

需求提出 编译时系统卡死 分析 make -j64将内存消耗干净，需要减少-j数量，或者添加swap交换分区 参考链接 Linux交换空间（swap space)-CSDN Linux下增加、删除Swap文件 增加交换分区 swap 解决编译时内存不足问题-博客 添加swap文件 以…
阅读更多...
【路径规划】move_base、路径规划算法、局部避障算法介绍

【路径规划】move_base、路径规划算法、局部避障算法介绍

资料整理供个人学习使用。 文章目录 一、move_base1、move_base 包内容2、move_base 参数解析1. move_base 参数2. 全局代价地图参数3. 局部代价地图参数4. 全局规划器参数5. 局部规划器参数 二、路径规划1、Dijkstra2、最佳优先搜索3、A*4、A* 和 Dijkstra 比较 三、局部避障1…
阅读更多...
k8s部署es和skywalking

k8s部署es和skywalking

使用k8s部署es和skywalking skywalking介绍 skywalking架构 整个架构，分成上、下、左、右四部分： 上部分 Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等…
阅读更多...
【腾讯云 HAI域探秘】使用高性能应用服务HAI快速开发一款赛博朋克风拼图游戏，化繁从简，低成本进入人工智能时代。

【腾讯云 HAI域探秘】使用高性能应用服务HAI快速开发一款赛博朋克风拼图游戏，化繁从简，低成本进入人工智能时代。

前言 人工智能（AI）是当今科技领域的热门话题，尤其是自然语言处理（NLP）技术，它可以让机器理解和生成自然语言。随着大型语言模型（LLM）的发展，如 GPT-3、DALL-E 等&#xf…
阅读更多...
蓝桥杯每日一题2023.11.29

蓝桥杯每日一题2023.11.29

题目描述 #include <stdio.h> #include <string.h>void StringInGrid(int width, int height, const char* s) {int i,k;char buf[1000];strcpy(buf, s);if(strlen(s)>width-2) buf[width-2]0;printf("");for(i0;i<width-2;i) printf("-"…
阅读更多...
常见场景题-幂等性该如何设计？

常见场景题-幂等性该如何设计？

幂等性如何设计&#xff1f; 答&#xff1a;幂等性的设计有以下几种方案&#xff1a; 方案一&#xff1a;唯一索引或唯一组合索引 对订单的幂等性设计&#xff0c;可以使用订单号作为唯一索引&#xff0c;这样如果多次插入的话&#xff0c;就会报错 DuplicatedKeyException…
阅读更多...
【正点原子STM32连载】第六十三章 FreeRTOS移植实验摘自【正点原子】APM32F407最小系统板使用指南

【正点原子STM32连载】第六十三章 FreeRTOS移植实验摘自【正点原子】APM32F407最小系统板使用指南

1&#xff09;实验平台&#xff1a;正点原子APM32F407最小系统板 2&#xff09;平台购买地址&#xff1a;https://detail.tmall.com/item.htm?id609294757420 3&#xff09;全套实验源码手册视频下载地址&#xff1a; http://www.openedv.com/thread-340252-1-1.html## 第六十…
阅读更多...
KT1404C语音芯片为什么用着用着，声音就变大了，发指令设置音量？

KT1404C语音芯片为什么用着用着，声音就变大了，发指令设置音量？

一、问题简介 有客户反馈&#xff0c;使用KT404C语音芯片&#xff0c;每次主板上电的时候&#xff0c;都会发指令将音量设置为20级&#xff0c;但是实际到使用现场&#xff0c;就会有终端的客人反馈&#xff0c;机器的音量变大了&#xff0c;这个是什么情况呢&#xff0c;该如…
阅读更多...
java：IDEA中Maven常用操作

java：IDEA中Maven常用操作

文章目录 背景1、Reload All Maven Projects:2、Generate Sources and Update Folders For All Projects:3、Download Sources and/or Documentation:4、Add Maven Projects5、Run Maven Build6、Execute Maven Goal7、Toggle Offline Mode8、Toggle Skip Tests Mode9、Collaps…
阅读更多...
网络通信概述

网络通信概述

文章目录 IP地址端口号协议三要素作用 五元组协议分层OSI七层模型TCP/IP 五层模型应用层传输层网络层数据链路层物理层 封装和分用发送方 - 封装中间转发接收方 - 分用 一般认为计算机网络就是利用通信线路和通信设备将地理上分散的、具有独立功能的多个计算机系统按不同的形式…
阅读更多...
修复 Apache Kafka 中的远程代码执行漏洞CVE-2023-25194

修复 Apache Kafka 中的远程代码执行漏洞CVE-2023-25194

文章目录 前言一、Log4Shell connection二、DisclosureUpdates, mitigations 前言 Possible RCE and denial-of-service issue discovered in Kafka Connect 在 Kafka Connect 中发现可能的 RCE 和拒绝服务问题。 更新 阿帕奇软件基金会 (ASF) 已解决了一个漏洞&#xff0c;…
阅读更多...
【深度学习实验】图像处理（三）：PIL——自定义图像数据增强操作（随机遮挡、擦除、线性混合）

【深度学习实验】图像处理（三）：PIL——自定义图像数据增强操作（随机遮挡、擦除、线性混合）

文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、实验内容0. 导入必要的库1. PIL基础操作2. Cutout&#xff08;遮挡&#xff09;2.1 原理2.2 实现2.3 效果展示 3. Random Erasing&#xff08;随机擦除&#xff09;3.1 原理3.2 实现3.3 效果展示 4. Mixup&…
阅读更多...
最新文章

Copyright @ 2022~2023