深度学习概念

AIGC数据生产:

AIGC在生成小图片时效果更佳(因为小图信息量更少,相同算力下效果更好);所以适合构造一些交通场景。比如护栏损坏:只mask原图的部分区域(图中白色区域),即可引导模型在mask处生成损坏的护栏。

基于此方法,可以大量生成交通稀缺样本用于模型训练。


数据挖掘:

多模型开集检索:多模态在此处指模型同时具备处理图像和文本的能力,开集是可以输入任意文本。

利用大模型对项目上采集的大量数据进行预处理生成特征底库。利用文本特征(比如用"塑料袋"文本生成的特征)在底库中进行搜索,对搜索结果进行topK排序,即可从大量数据中获取到包含塑料袋的图片。

基于此方法,可以基于大量真实数据 搜索到稀缺样本 用于 模型训练。


数据标注:

主动学习指:使用训练好的模型对Raw data(比如项目上收集的大量数据)做检测,人工校验后形成训练集;

使用大模型模拟主动学习的过程:

        1. 大模型对Raw data做检测,初步形成训练集(内部可能有错误标注)

        2. 使用置信学习,对1中的训练集进行进一步处理形成最终训练集(错误标注大大降低)

关于置信学习,参考
https://zhuanlan.zhihu.com/p/394985481
https://github.com/cleanlab/cleanlab

此方法,几乎不需要人工参与,达到了半监督学习的效果,可大量自动化生成训练数据


模型训练:


蒸馏:利用交通大模型(推理成本高、速度慢) 生成小模型(推理成本低、速度快) ;类似老师(大模型)教学生(小模型)

混合位置蒸馏:小模型的学习目标不只是logits特征,还包括了 卷积特征;理论上蒸馏效果更好

混合架构蒸馏:大模型和小模型的结构不同,比如用transformer架构训练的大模型,蒸馏到纯CNN架构的小模型, 或蒸馏到同时包含transformer、CNN架构的小模型;

预训练蒸馏:指使用已经训练好的模型 蒸馏小模型

训练时蒸馏:相对预训练蒸馏而言,训练时蒸馏指同时训练大模型和小模型,可以让小模型学习到大模型的动态能力

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/825818.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LeetCode热题100】【动态规划】完全平方数

题目链接:279. 完全平方数 - 力扣(LeetCode) 完全平方数是可以表示成某个整数的平方的数,要找和为n的完全平方数的最少数目 满足要求的完全平方数最小是1,最大不会超过n的平方根 所以题目变成要从1,2&am…

【LeetCode热题100】【动态规划】最长递增子序列

题目链接:300. 最长递增子序列 - 力扣(LeetCode) 让dp[i]是以nums[i]为结尾的子序列的最长递增长度,遍历nums[i]之前的元素,如果有比nums[i]小的,说明递增子序列可以延申 class Solution { public:int le…

拖拽式工作流有哪几个优势?

在信息技术迅猛发展的今天,如何助力中小型企业在数字化转型的过程中平稳过渡?又是如何让中小型企业摆脱数据孤岛、成本投入高等各种瓶颈和难题?低代码技术平台是近些年较为理想的平台产品,其中拖拽式工作流优势特点突出&#xff0…

地埋电缆故障检测方法有哪些?地埋电缆故障检测费用是多少?

地埋电缆故障检测方法主要涵盖脉冲反射法、桥接法、高压闪络法和声波定位法等多种方法。选择适当的方法取决于故障类型、电缆类型和实际现场条件。至于地埋电缆故障检测费用则受到多个因素的影响,包括故障类型、检测方法的复杂性、检测设备的先进程度以及所处地区的…

从零开始搭建社交圈子系统:充实人脉的最佳路径

线上交友圈:拓展社交网络的新时代 线上交友圈是社交网络的新引擎,提供了更广泛的社交机会,注重共同兴趣的连接,强调多样性的社交形式,更真实地展示自己,让朋友更全面地了解我们的生活状态。虽然虚拟交往存在…

SD-WAN解决电商企业海外业务网络难题

全球化背景下,众多国内企业都涉及到海外贸易业务,尤其是出海电商得到蓬勃发展。企业做出海电商,需要访问国外网页、社交平台,如亚马逊、TikTok、Facebook、YouTube等与客户沟通互动,SD-WAN的发展正好为解决国际网络访问…

时序分析相关考题汇总

时序分析例题_如下一个分频电路,触发器建立时间tsu 2ns,保持时间thold 2ns,逻辑延时tq -CSDN博客 IC/FPGA笔试/面试题分析(七)建立时间和保持时间类型考题汇总分析_建立时间 保持时间 笔试题-CSDN博客

Qt(十二)Graphics View 绘图架构(三)

文章目录 一、QGraphicsView相关整理二、QGraphicsView架构下实时鼠标绘制图形2.1 鼠标拖拽绘图说明2.2 记录图形第一个绘制点2.3 实时获取鼠标最新位置并绘图2.4 释放绘制点,绘制最终图形 三、QGraphicsView 在鼠标点击处进行放大缩小 一、QGraphicsView相关整理 …

14 Php学习:表单

表单 PHP 表单是用于收集用户输入的工具,通常用于网站开发。PHP 可以与 HTML 表单一起使用,用于处理用户提交的数据。通过 PHP 表单,您可以创建各种类型的表单,包括文本输入框、复选框、下拉菜单等,以便用户可以填写和…

孩子不爱学习的解决办法?最佳回答

孩子说不想上学了,想必这句话很多父母都不陌生,从自家孩子嘴里听到过。孩子十三岁了,正是叛逆的时候,很多孩子会在这个时候出现不爱读书的情况,面对这样的情况,家长要保持冷静,采取合理的解决办…

主存储器与CPU之间的连接(会画图)

位扩展 字扩展 由于只有A13, A14 连到了译码器上,以、因此该译码器是一个 2/4 译码器,对应的选片有四种。选中第一个选片,就是把译码器“0口置0, 1~3口置1”,因为CS有非号,因此,低电…

数据结构——线索树

核心思路就是要先将空指针转为线索 也就是多出来的n1个指针&#xff0c;然后再将这些指针连成一个链表&#xff0c;遍历就可以达到O(n&#xff09;的速度打出 以下代码为中序遍历 前序和后续随缘更新 #include <iostream> #include <stdlib.h> using namespace s…

【C++】string的使用

目录 1、为什么学习string类&#xff1f; 2、标准库中的string类 2.1 string类 2.2 string类的常见接口声明 2.2.1 string类的常见构造 ​编辑 2.2.2 string类对象的访问及遍历操作 2.2.3 string类对象的容量操作 2.2.4 string类对象的修改操作 ​编辑 1、为什么学习s…

npm install CERT_HAS_EXPIRED解决方法

目录 一、问题描述二、问题原因三、解决方法 一、问题描述 执行命令 npm install 报错&#xff1a; npm WARN registry Unexpected warning for https://registry.npm.taobao.org/: Miscellaneous Warning CERT_HAS_EXPIRED: request to https://registry.npm.taobao.org/js-…

excel中vlookup查找值必须在table_array的第一列,有其他办法吗有XLOOKUP

vlookup查找值必须在table_array的第一列&#xff0c;有其他办法吗&#xff1f;有XLOOKUP。 vlookup 查找如下&#xff0c;查找值必须在table_array的第一列 如果下面&#xff0c;编码和名称交换位置&#xff0c;就不能使用vlookup查找了。 XLOOKUP 查找如下

Linux:进程调度

Linux&#xff1a;进程调度 进程优先级查看优先级调整优先级 Linux 2.6 内核进程调度队列 进程优先级 查看优先级 在Linux中&#xff0c;进程是有优先级的&#xff0c;我们可以通过指令ps -la来查看&#xff1a; 其中PRI表示priority优先级&#xff0c;在Linux中&#xff0c;…

算法章节目录

​​​​​​0 决策树基础-CSDN博客 1 GBDT:梯度提升决策树-CSDN博客 2 逻辑斯蒂回归&#xff08;分类&#xff09;-CSDN博客 3 xgboost-CSDN博客 4 lightGBM-CSDN博客 5 CatBoost模型-CSDN博客 6 tabNet: 堪比xgboost的深度学习模型-CSDN博客 7 Transform结构-CSDN博客

Hive:日期函数

1、to_date&#xff1a;日期时间转日期函数 select to_date(2015-04-02 13:34:12);2015-04-022、from_unixtime&#xff1a;转化unix时间戳到当前时区的时间格式 语法: from_unixtime(bigint unixtime[, stringformat]) 返回值: string 说明: 转化UNIX时间戳&#xff08;从197…

解决 vue install 引发的 failed Error: not found: python2 问题

发生 install 异常时&#xff0c;提示信息如下所示&#xff1a; npm ERR! code 1 npm ERR! path U:\cnblogs\fanfengping-dtops\fanfengping-dtops-front\node_modules\node-sass npm ERR! command failed npm ERR! command U:\Windows\system32\cmd.exe /d /s /c node scripts…

【LeetCode热题100】【动态规划】单词拆分

题目链接&#xff1a;139. 单词拆分 - 力扣&#xff08;LeetCode&#xff09; 看能不能用字符串列表里面的字符串组成这个字符串&#xff0c;可以反复使用 即完全背包问题&#xff0c;同之前的完全平方数、零钱兑换&#xff0c;相当于给定几个数&#xff0c;可以反复用&#…