白话大模型① :AI分析能做什么?在实际落地中会碰到什么问题?

白话大模型系列共六篇文章,将通俗易懂的解读大模型相关的专业术语。本文为第一篇:AI分析能做什么?在实际落地中会碰到什么问题?

作者:星环科技 人工智能产品部

我们使用一个简单的应用实例来解析人工智能分析都在做什么。

以单一AI应用为例

人脸检索

我们以人脸检索为例,来看看利用“人工智能”能力的流程。注意到,实际上有几个视角。•问题是什么:假设已经有很多不同人的正面照(比如证件照)以及对应的 ID,现在拍摄到了一张某人的新照片,我们需要判断这张照片中是的人是谁?•步骤是什么: 基本流程大部分人脑中都有基本印象了,是一套固定的模式

图 1 基础流程比如人脸的例子“采集数据”就替换成“采集人脸数据”

完整的流程

图 2 分析典型的人脸识别要做什么一般而言,完整的数据分析流程的步骤是相对冗长的,上面的内容展示了一个典型的“人脸识别”的 AI 应用形态在“需求分析”角度看,在做什么。使用一个在数字化、智能化之前就存在的例子来说,这就类似在图书馆查书名、作者,可以方便的找到想要的编号(ID)和其所在的书架并借阅这本书。实际工作比较复杂复杂很多,我们下面会稍微详细的叙述。首先从“数量化”开始。

数量化

首先,我们需要将人脸照片转化为计算机能够理解的数据。这个过程叫做“量化”。比如早期的图书馆检索,是通过人工编制索引卡片,然后通过卡片找到书籍的位置。这个过程就是“量化”。我们将书籍的信息转化为了卡片的信息。

图 3 我国澳门公共图书馆的卡片目录(柜)可以看到,为了检索为目的,图书卡片目录至少要1.保存书籍的信息(书名、作者、出版社、出版日期等)2.保存书籍的位置(柜号、层号、架号、排号等)3.保存书籍的编号(索书号、ISBN 等)对应到人脸识别,我们需要保存的信息也是类似的。我们需要保存的“人脸卡片目录”信息包括(姑且认为):1.人脸的特征(比如眼睛、鼻子、嘴巴等):可以是相对大小、颜色等2.人脸的位置:可以是相对位置、绝对位置等3.人脸的编号:可以是身份证号、学号等实际操作中,人脸卡片目录一般都“编码”成了一串固定长度,比如说 1024,的数字(也就是“向量”),其有个特定且形象的名字“嵌入向量”:将人脸的特征(比如瞳距、鼻宽等)、位置(眼相对鼻距离等)、编号等信息,”嵌入“到这 1024 维的“向量”中。

但是,我们需要注意到,这些信息都是“人工”提取的。这个过程是非常耗时的。而且,这些信息的提取是非常“主观”的。不同的人可能会提取出不同的信息。而且,更重要的是,这样提取,很难保证“准确性”和“泛化性”。不考虑严格的学术定义,这两个带引号的词的含义是:

准确性

按照提取的信息,能够准确的找到对应的书籍/人脸的概率。这里,由于信息不准确等问题,通常可能检索出多个待选结果,这里的准确性一般是指排名前几的结果中,是否包含正确结果的概率。这比较好理解,一位作家可能写了多本书,书名、年代可能相似,查询者记忆比较模糊,问的不准确,都可能只能找到一个“范围”。这个范围内,可能有多本书,但是只有一本是正确的。这个时候,我们就需要“挑选”了。到了“人脸检测”,这个问题可能更严重些。根据口、耳、鼻形态的的手工构建的数量化特征,排列组合可能性来找到“相似”的人脸。这样操作下来,排序后找到最相似前五名,使用十五年前最厉害的算法,真正想找的人在其中的概率连一半都不到。事实上,尽管“人脸识别”这个需求自有视频监控和照相技术后就一直是刚需,但这么低的准确率一直持续到 2010 年前后。新的”方法“的出现,才使得准确率有了质的提升。

泛化性

泛化是个阻碍人工智能在应用中大规模铺开的问题。泛化性是指,对同一个问题,对于“新的数据”,人工智能模型还能保证原有的性能(比如查找精度等)。但事实上,问题很多,比如:1.检索书籍中,原本书籍题目限制在 20 字以内,但是现在有了超过 20 字的书籍,比如白居易《望月有感》的诗,题目是《自河南经乱,关内阻饥,兄弟离散,各在一处。因望月有感,聊书所怀,寄上浮梁大兄,于潜七兄,乌江十五兄,兼示符离及下邽弟妹》,共 50 个字,这个时候,原有的卡片目录抄录不下。2.检索人脸中,原本的人脸照片都是正面照,但是现在有了侧面照,这个时候,原有的卡片目录就无法使用了。或者,在最近两年中,原本好用的手机人脸识别解锁,在人带了口罩后(甚至遮挡并不算多),就无法使用了。以上的例子比比皆是,这些问题都是“泛化性”问题。同一个问题, 新的数据,这些日常使用的单词,并没有数量化的定义,甚至不同人、不同领域的认知都完全不同,也客观上导致了现实中 AI 落地的诸多问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/714522.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

若依框架使用mars3d的环境配置,地球构建

因项目需要,原本使用过的cesium依赖,现在想使用火星科技mars3d的一些功能,所以需要引入mars3d依赖,整个过程非常的坎坷,以至于我都不知道到底是哪些部分是标准的。。。先把我认为对的记录一下: 1.vue.conf…

sqlserver保存微信Emoji表情

首先将数据库字段,设置类型为 nvarchar(200)一个emoji表情,占4字节就可以了,web前端展示不用改任何东西,直接提交数据保存;回显也会没有问题,C#代码不用做任何处理; 不哭不闹要睡觉&#x1f31…

【机器学习300问】24、模型评估的常见方法有哪些?

一、为什么要对模型进行评估? 对机器学习和神经网络的模型进行评估是至关重要的,原因如下: 得知模型的泛化能力 模型评估的主要目的是了解模型在未见过的数据上的表现,即其泛化能力。这是因为模型的性能在训练数据上可能会过拟合…

构建大语言模型的四个主要阶段

大规模语言模型的发展历程虽然只有短短不到五年的时间,但是发展速度相当惊人,国内外有超过百种大模型相继发布。中国人民大学赵鑫教授团队在文献按照时间线给出 2019 年至 2023 年比较有影响力并且模型参数量超过 100 亿的大规模语言模型。大规模语言模型…

LangFlow——一款可轻松实验和原型化 LangChain流水线的AI项目

LangFlow——一款可轻松实验和原型化 LangChain流水线的AI项目。 前言 在人工智能兴起的当下,AI正在重塑着很多行业。今天介绍的是一款近期登上github热门的一款可轻松实验和原型化 LangChain[1] 流水线的AI项目—LangFlow。 Flowise——通过拖放界面构建定制的LLM…

Flask学习笔记

不论POST请求还是GET请求都支持在 URL 中添加变量&#xff0c;可以选择性的加上一个转换器&#xff0c;为变量指定数据类型。 history_alarm.route(/test/<int:post_id>, methods[POST]) def test(post_id):print(f"参数类型为&#xff1a;{type(post_id)}")i…

VUE3中的组件传值

一、父传子(props) 在子组件中可以使用defineProps接收父组件向子组件的传值 父组件fatherPage.vue&#xff1a; <template><div class"father"><button click"a a 1">按钮</button><childPage :a"a" /><…

Nginx 隐藏版本信息和logo

1.隐藏版本信息 http {### 隐藏版本号 server_tokens off; } 2.隐藏图标 2.1 cd nginx 安装的路径 cd/XXXX/nginx-1.2.0 2.2 编辑文件 vim src/core/nginx.h 修改define nginx_ver 中的内容 vim src/http/ngx_http_special_response.c 修改 u_char ngx_http_error_tail[]…

java 基础(核心知识搭配代码)

前言 java的学习分为了上部分以及下部分进行学习&#xff0c;上部分就是对于java的基础知识&#xff0c;面向对象上&#xff0c;面向对象下&#xff0c;异常操作&#xff0c;javaApi&#xff1b;下部主要是集合&#xff0c;泛型&#xff0c;反射&#xff0c;IO流&#xff0c;J…

Grid-Based Continuous Normal Representation for Anomaly Detection 论文阅读

Grid-Based Continuous Normal Representation for Anomaly Detection 论文阅读 摘要简介方法3.1 Normal Representation3.2 Feature Refinement3.3 Training and Inference 4 实验结果5 总结 文章信息&#xff1a; 原文链接&#xff1a;https://arxiv.org/abs/2402.18293 源码…

【MIT 6.S081】2020, 实验记录(6),Lab: Copy-on-Write Fork

目录 Task: Implement copy-on writestep 1&#xff1a;对内存块进行引用计数step 2&#xff1a;uvmcopy 实现 fork 时将 parent 的物理页映射到 child 中step 3&#xff1a;在 usertrap 中增加对 page fault 的处理执行测试 官方说明&#xff1a;Lab: Copy-on-Write Fork for …

C++进阶-- map和set

关联式容器 在前面&#xff0c;我们所学的vector、list、deque&#xff0c;这些都是序列容器&#xff0c;也就是底层为线性序列的数据结构。 而关联式容器是C标准库中的一种类别&#xff0c;用于存储键值对&#xff08;key-value pair&#xff09;&#xff0c;关联式容器中的元…

vxe-table编辑单元格动态插槽slot的使用

业务场景&#xff1a;表格中只有特定某一行的的单元格可以编辑&#xff0c;列很多&#xff0c;为每个列写个插槽要写很多重复代码&#xff0c;所以这里使用动态插槽&#xff0c;简化代码量。显示编辑图标&#xff0c;点击编辑图标隐藏。失去焦点保存调后台接口。 解决办法&…

十行代码开发一个AI应用

Semantic Kernal 简介 Semantic Kernel (SK) is a lightweight SDK that lets you easily mix conventional programming languages with the latest in Large Language Model (LLM) AI "prompts" with templating, chaining, and planning capabilities out-of-the-…

关于vue中关于eslint报错的问题

1 代码保存的时候会自动将单引号报错为双引号 导致eslint报错的问题&#xff0c; 解决思路&#xff1a; 在项目根目录下新建一个.prettierrc.json文件 { “tabWidth”: 2,“useTabs”: false,“singleQuote”: true,“semi”: false} 2 关于报错代码的时候 出现尾随逗号报错…

Zabbix 系统告警“More than 75% used in the configuration cache”处理办法

Zabbix系统报错提示 Zabbix 系统告警“More than 75% used in the configuration cache”&#xff0c;看了一下意思是可用的配置缓存超过75%。 修改缓存大小 vim /etc/zabbix/zabbix_server.confesc : /CacheSize 找到配置 将64M改大一点&#xff0c;保存退出。 重启zabbix…

【MySQL】数据库中常用的函数

目录 聚合函数COUNT()函数的多种用法COUNT(*)COUNT(主键)COUNT(1)COUNT(常量)COUNT(非主键)COUNT(distinct(字段)) COUNT()函数小结 字符函数length(str)函数&#xff1a;获取参数值的字节个数concat(str1,str2,...)函数&#xff1a;字符串拼接upper(str)、lower(str)函数:大小…

Linux高负载排查最佳实践

在Linux系统中&#xff0c;经常会因为负载过高导致各种性能问题。那么如何进行排查&#xff0c;其实是有迹可循&#xff0c;而且模式固定。 本次就来分享一下&#xff0c;CPU占用过高、磁盘IO占用过高的排查方法。 还是那句话&#xff0c;以最佳实践入手&#xff0c;真传一句话…

数据库-第二/三章 关系数据库和标准语言SQL【期末复习|考研复习】

前言 总结整理不易&#xff0c;希望大家点赞收藏。 给大家整理了一下计数据库系统概论中的重点概念&#xff0c;以供大家期末复习和考研复习的时候使用。 参考资料是王珊老师和萨师煊老师的数据库系统概论(第五版)。 文章目录 前言第二、三章 关系数据库和标准语言SQL2.1 关系2…

JVM原理-基础篇

Java虚拟机&#xff08;JVM, Java Virtual Machine&#xff09;是运行Java应用程序的核心组件&#xff0c;它是一个抽象化的计算机系统模型&#xff0c;为Java字节码提供运行环境。JVM的主要功能包括&#xff1a;类加载机制、内存管理、垃圾回收、指令解释与执行、异常处理与安…