白话大模型② | 如何提升AI分析的准确性?

白话大模型系列共六篇文章,将通俗易懂的解读大模型相关的专业术语。本文为第二篇:如何提升AI分析的准确性?

作者:星环科技 人工智能产品部

面对AI分析落地时的数量化、准确性、泛化性等问题,让我们稍微深入了解下当前的做法。

这里只做形式化的简要概述:

1.需求分解:将需求分解为若干个子问题,比如“人脸检索”可以分解为“人脸检测” 和“人脸识别”两个子问题;

2.技术手段:手工提取费时费力精度低,那么:

•建立映射关系:使用“数据驱动”的“深度学习”自动提取特征和建立人脸图像到人脸嵌入向量 的映射关系,再次提醒嵌入向量就是能描述人脸的一个多维度的向量;

•建立人脸卡片目录:使用这个映射关系,将人脸图像转化为 ID-人脸嵌入向量对;

•建立高效的查询方法:使用同样的映射关系,处理待查的图像,然后使用人脸卡片目录中的人脸嵌入向量,找到最相似的ID,然后再找到对应的人脸图像。

由此,我们构建出来了一个“人脸识别”的小工具的架子。但是问题在于:

1.怎么构建这样的映射关系?

答:用“数据驱动”的“机器学习”方法。

2.怎么建立人脸卡片目录和构建查询方法?

答:用各类“数据库”或者更广义的“信息检索技术”。加上引号的词汇,都是“术语”,我们不急于解释和类比,因为会产生更大的歧义。我们看看实际生产中,是怎么做的。

建立映射关系

• 数据采集 :采集大量的含有清晰可见的人脸数据,根据要求和“泛化性”不同,除了正脸,我们还需要侧脸、带口罩、大俯仰角、杂乱背景(比如人在花丛中)、多人脸(比如会议合影)等各种情况的数据;

• 数据清洗 :将明显不符合需求的数据剔除,比如:人脸不清晰、人脸不完整、人脸不在中心、人脸不是正脸、人脸不是人脸(比如是猫脸)等,再比如算法上有问题的:重复的(直接重复、有些位置移动/旋转的)、数据毒害的(故意数据投毒的、比如打印的人脸/面具而不是真实人脸的)等等,清洗出“高质量”数据实际工作远比看上去的复杂得多得多;

• 数据标注 :标注出 1. 人脸的位置(比如画一个框,将人头框入;但事实可能有更复杂的情况:比如准确绘制出一个多边形而不仅仅是长方形了,或者图像是 3D 的) 2. 其他信息(比如人的一些 ID/性别等属性)

• 特征提取 + 建立模型 :构建“人脸”(图像)到“人脸嵌入向量”(一串数字)的映射(构建方法我们叫“算法”):

• 这个映射是一个黑盒子,上面有很多旋钮,输入是“图像”,输出是“嵌入向量”;

• 我们只能调整旋钮来控制输出;

• 我们可以验证输出的结果是否符合我们的需求并作出:调整旋钮,考察我们预测出来的“人脸框”和其“ID”和标注的是否一样,不一样则调整,直到符合为止;

• 调整的过程我们叫“训练”,调整的方法我们叫“最优化方法”,使用的人力和组织形式可以理解成“算力”。不管是否符合普通人的认知:在使用了大量的数据后,我们可以得到一个“人脸嵌入向量” 的“映射关系”,也就是{黑盒子本身 + 旋钮的扭转档位},这个组合能够将“人脸图像” 转化为“人脸嵌入向量”,这个向量是一个多维度的数字,我们可以认为这个数字是“人脸”的“特征”。

• 模型提升:来了新情况,准确度等不够(比如识别不了带口罩的人脸),我们可以继续采集数据,然后重新训练模型,得到新的“映射关系”,做到提升。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/714830.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

pycharm专业版本的安装

一 、到官网下载对应的pycharm安装包 也可以把安装软件(用物理机下载到共享文件夹) 然后进入Ubuntu系统把下载大的安装包剪贴到目标路径 1 在ubuntu中创建一个用来存放pycharm安装包的文件夹 rootzmq-virtual-machine:/home/zmq/Desktop# mkdir pycha…

京东云硬钢阿里云:承诺再低10%

关注卢松松,会经常给你分享一些我的经验和观点。 阿里云刚刚宣布史上最大规模的全线产品降价20%,这热度还没过,京东云当晚就喊话:“随便降、比到底!,全网比价,击穿低价,再低10%”,并…

[技巧]Arcgis之图斑四至范围批量计算

ArcGIS图层(点、线、面三类图形)四至范围计算 例外一篇介绍:[技巧]Arcgis之图斑四至点批量计算 说明:如下图画出来的框(范围标记不是很准) ,图斑的x最大和x最小,y最大,…

专为大模型训练优化,百度集合通信库 BCCL 万卡集群快速定位故障

1 集合通信对分布式训练至关重要 在分布式训练中,每一块 GPU 只负责处理部分模型或者数据。集群中不同 GPU 之间通过集合通信的方式,完成梯度同步和参数更新等操作,使得所有 GPU 能够作为一个整体加速模型训练。 如果有一块 GPU 在集合通…

C++调用PyTorch模型教程

在人工智能的世界中,PyTorch已经成为了研究人员和工程师们广泛使用的深度学习框架之一。它以其灵活性和动态计算图而闻名,非常适合快速原型设计和实验。然而,当我们想要将训练好的模型部署到生产环境中时,我们可能会倾向于使用C这…

老卫带你学---leetcode刷题(172. 阶乘后的零)

172. 阶乘后的零 问题 给定一个整数 n ,返回 n! 结果中尾随零的数量。 提示 n! n * (n - 1) * (n - 2) * … * 3 * 2 * 1 示例 1: 输入:n 3 输出:0 解释:3! 6 ,不含尾随 0 示例 2: 输入…

Java Web之网页开发基础复习

tomcat之网页开发基础复习 **声明** :HTML标准规范 </!doctype> <html> : 根标签 <head>: 头部标签 内含<title><meta><link><style> <body>: 主体 <body></body> html标签 单标签: <标签名 \> 双标…

Python线性代数数字图像和小波分析之二

要点 数学方程&#xff1a;数字信号和傅里叶分析&#xff0c;离散时间滤波器&#xff0c;小波分析Python代码实现及应用变换过程&#xff1a; 读取音频和处理音频波&#xff0c;使用Karplus-强算法制作吉他音频离散傅里叶计算功能和绘制图示结果计算波形傅里叶系数正向和反向&…

1_SQL

文章目录 前端复习SQL数据库的分类关系型数据库非关系型数据库&#xff08;NoSQL&#xff09; 数据库的构成软件架构MySQL内部数据组织方式 SQL语言登录数据库数据库操作查看库创建库删除库修改库 数据库中表的操作选择数据库创建表删除表查看表修改表 数据库中数据的操作添加数…

性别和年龄的视频实时监测项目

注意&#xff1a;本文引用自专业人工智能社区Venus AI 更多AI知识请参考原站 &#xff08;[www.aideeplearning.cn]&#xff09; 性别和年龄检测 Python 项目 首先介绍性别和年龄检测的高级Python项目中使用的专业术语 什么是计算机视觉&#xff1f; 计算机视觉是使计算机能…

基于Camunda实现bpmn 2.0各种类型的任务

基于Camunda实现bpmn中各种类型任务 ​ Camunda Modeler -为流程设置器&#xff08;建模工具&#xff09;&#xff0c;用来构建我们的流程模型。Camunda Modeler流程绘图工具&#xff0c;支持三种协议类型流程文件分别为&#xff1a;BPMN、DMN、Form。 ​ Camunda Modeler下载…

笨办法:基于后端Matplotlib生成图片, 前端绘制报表

很久很久以前, 做过一个项目, 因为前端基础差, echarts捣鼓不来, 然后就折腾出来一套比较奇葩的技术方案, 就是前端需要什么图表, 后端先绘制好, 然后前端需要什么图表, 再从后端拉取后端之前响应的图片路径, 再去做渲染。 其实基于后端使用 Matplotlib 绘制图表,前端…

DangZero:通过直接页表访问的高效UAF检测(摘要及介绍及背景翻译)

先通过翻译过一遍文章&#xff0c;然后再对每个章节进行总结 摘要 Use-after-free vulnerabilities remain difficult to detect and mitigate, making them a popular source of exploitation. Existing solutions in- cur impractical performance/memory overhead, requir…

powershell界面中,dir命令的效果

常用参数 -path D:\111\111_2。读取指定路径。 -Name。只输出文件名 -Include *.txt。指定后缀的文件 -Recurse。搜索目录及其子目录。 -Force。显示具有 h 模式的隐藏文件。 >1dir.txt。将结果入指定文件 各参数使用效果 dir PS D:\111\111_2> dir 目录: D:\111…

初中孩子最近不愿意上学怎么办?有什么好方法可以解决?

这个年龄段属于叛逆期&#xff0c;这个时候孩子出现厌学问题很正常&#xff0c;家长应该多些耐心和时间&#xff0c;不要一味地责骂&#xff0c;会更加排斥和反感&#xff0c;叛逆的。可以跟孩子好好谈谈聊聊&#xff0c;学会倾听他的心声&#xff0c;愿意听你说话在教育和引导…

配置MySQL与登录模块

使用技术 MySQL&#xff0c;Mybatis-plus&#xff0c;spring-security&#xff0c;jwt验证&#xff0c;vue 1. 配置Mysql 1.1 下载 MySQL :: Download MySQL Installer 1.2 安装 其他页面全选默认即可 1.3 配置环境变量 将C:\Program Files\MySQL\MySQL Server 8.0\bin…

10个常见的Java面试问题及其答案

问题&#xff1a; Java的主要特性是什么&#xff1f; 答案&#xff1a; Java的主要特性包括面向对象、平台无关、自动内存管理、安全性、多线程支持、丰富的API和强大的社区支持。 问题&#xff1a; 什么是Java的垃圾回收机制&#xff1f; 答案&#xff1a; Java的垃圾回收机…

【Spring Boot 源码学习】BootstrapRegistry 初始化器实现

《Spring Boot 源码学习系列》 BootstrapRegistry 初始化器实现 一、引言二、往期内容三、主要内容3.1 BootstrapRegistry3.2 BootstrapRegistryInitializer3.3 BootstrapRegistry 初始化器实现3.3.1 定义 DemoBootstrapper3.3.2 添加 DemoBootstrapper 四、总结 一、引言 前面…

Avalonia学习(二十八)-OpenGL

Avalonia已经继承了opengl&#xff0c;详细的大家可以自己查阅。Avalonia里面启用opengl继承OpenGlControlBase类就可以了。有三个方法。分别是初始化、绘制、释放。 这里把官方源码的例子扒出来给大家看一下。源码在我以前发布的单组件里面。地址在前面的界面总结博文里面。 …

图数据库 之 Neo4j - 应用场景4 - 反洗钱(9)

原理 Neo4j图数据库可以用于构建和分析数据之间的关系。它使用节点和关系来表示数据,并提供实时查询能力。通过使用Neo4j,可以将大量的交易数据导入图数据库,并通过查询和分析图结构来发现洗钱行为中的模式和关联。 案例分析 假设有一家转账服务公司,有以下交易数据,每个…