详谈P(查准率),R(查全率),F1值

怎么来的?

    我们平时用的精度accuracy,也就是整体的正确率

        acc = predict_right_num / predict_num

这个虽然常用,但不能满足所有任务的需求。比如,因为香蕉太多了,也不能拨开人工的一个一个的看它的好坏(我爱吃啊,想想就心疼),此时我们就需要有一种方法,代替拨开香蕉这种粗鲁的手段。这时我们需要通过一些测试,看看哪种方法能更加准确的预测。我们可以通过

    “准”:预测的准确度,就是我预测的结果中真正好的香蕉要越多越好;

    “全”:就是所有的好的香蕉预测出来的越多越好,虽然把有些坏的也预测是好的了,那也不管,“全”就行。

其实这两者都想要达到就好了,但是不行的:

    比如"准",我就预测一个算了,好的香蕉肯定比坏的比例高,也就是我只预测一个,100%比例几率最大了,这时就不“全”了,海域好多好的不能都当成坏的扔了吧。。

    再比如"全",我去全部预测成好的这真正好的都在我的预测里,也就是100%。可是这时的"准"就贼不准了。。

    所以就必须来平衡这俩同志的关系了,怎么平衡呢?肯定是通过权重来的呀,此时,F值登上历史舞台!

啥意思捏?

    实例化讲解吧。比如我们的香蕉中 1 表示好的,0表示坏的,有10个香蕉:

       gold :     [ 1,1,1,1,1,0,0,0,0,0 ]

       pred:   [ 1,0,1,1,1,1,1,0,0,0 ]

    注释:gold是现实的好坏;pred是预测的好坏。

    P(Precision) 查准率:就是上面说的"准"。字面意思好理解呀,就是在预测当中查找准确个数的比例。公式为:

        P = 真正预测准确的数量 / 预测是准确的数量 = 4 / 6

    R(Recall) 查全率:就是上面的"全"。根据字面理解,在预测中看看真正预测对的占全有对的比率。公式为:

      R = 真正预测准确的数量 / 所有真正好的数量 = 4 / 5

    F值是:

        F(k) = ( 1 + k ) * P * R / ( ( k*k ) * P + R )

        注释:k>0 度量了 查全率 对 查准率 的相对重要性。k>1查全率有更大影响;k<1查准率有更大影响。

        在这个实例中可以表示为:k>1就是查全率有更大影响,就是好的香蕉最好都预测出来,因为你觉得不想把好的当成坏的扔点( 真可惜,我爱吃啊 ) ;k<1查准率有更大影响,就是一定要准确,省时间,省力更重要,不在乎好的香蕉当坏的扔点。

    而我们常用的是F1,就是F(1)的意思,k=1,比如我们做一个分类任务,这几个类觉得都一样重要。此时:

        F(1) = 2 * P * R / ( P + R )

代码实现:

    背景:用evalList的长度是我需要求的P,R,F1的个数,比如我的实验是立场检测,分类为FAVOR(支持),AGAINST(反对),NONE(中立)。而NONE一般不考虑,只要求得FAVOR,AGAINST各自的P,R,F1,然后F1求个平均即可。比如这个论文的数据:

from Stance Detection with Bidirectional Conditional Encoding paper

    这时我的evalList里有两个数据分别表示FAVOR,AGAINST各自的P,R,F1值。

    这个P,R,F1的代码为:

code
print

就这样吧。应该讲的很详细了!



作者:zenRRan
链接:https://www.jianshu.com/p/6536d584d5fd
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

转载于:https://www.cnblogs.com/yourcool/p/9609538.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/388570.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网站系统分布式架构

写这篇文章之前&#xff0c;需要有些论点和论据&#xff0c;以表明网络系统在极端情况下的情况&#xff0c;先来看看世界上排名靠前的网站。 1、 FaceBook 2、 Google 从这两个站可以看出&#xff0c;当下比较极限的日均访问量在2~3亿&#xff0c;PV值…

python 数据科学 包_什么时候应该使用哪个Python数据科学软件包?

python 数据科学 包Python is the most popular language for data science. Unfortunately, it can be tricky to know which of the many data science libraries to use when. ☹️Python是数据科学中最流行的语言。 不幸的是&#xff0c;要知道何时使用许多数据科学库中的哪…

Go语言开发环境配置

http://blog.csdn.net/hil2000/article/details/41261267/ 一.我为什么要学习go语言 当今已经是移动和云计算时代&#xff0c;Go出现在了工业向云计算转型的时刻&#xff0c;简单、高效、内 置并发原语和现代的标准库让Go语言尤其适合云端软件开发&#xff08;毕竟它就是为此而…

熊猫tv新功能介绍_您应该知道的4种熊猫绘图功能

熊猫tv新功能介绍Pandas is a powerful package for data scientists. There are many reasons we use Pandas, e.g. Data wrangling, Data cleaning, and Data manipulation. Although, there is a method that rarely talks about regarding Pandas package and that is the …

win与linux渊源,微软与Linux从对立走向合作,WSL是如何诞生的

原标题&#xff1a;微软与Linux从对立走向合作&#xff0c;WSL是如何诞生的正文Windows Subsystem for Linux(WSL)的开发&#xff0c;让微软从Linux的对立面走向合作&#xff0c;并且不断加大对开源社区的支持力度。而作为微软历史上的重要转折点&#xff0c;外界对WSL技术在Pr…

MFC80.DLL复制到程序目录中,也有的说复制到安装目录中

在用VS2005学习C调试程序的时候&#xff0c;按F5键&#xff0c;总提示这个问题&#xff0c; 不晓得什么原因&#xff0c;网上有的说找到MFC80.DLL复制到程序目录中&#xff0c;也有的说复制到安装目录中&#xff0c;可结果很失望&#xff0c;也有的VS2005安装有问题&#xff0…

vs显示堆栈数据分析_什么是“数据分析堆栈”?

vs显示堆栈数据分析A poor craftsman blames his tools. But if all you have is a hammer, everything looks like a nail.一个可怜的工匠责怪他的工具。 但是&#xff0c;如果您只有一把锤子&#xff0c;那么一切看起来都像钉子。 It’s common for web developers or databa…

树莓派 zero linux,树莓派 zero基本调试

回家之前就从网上购买了一堆设备&#xff0c;回去也不能闲着&#xff0c;可以利用家里相对齐全的准备安装调试。结果人还没回来&#xff0c;东西先到了。购买的核心装备是树莓派zero w&#xff0c;虽然已经知道它比家族大哥树莓派小不少&#xff0c;但拿到手里还是惊奇它的小巧…

简单的编译流程

简易编译器流程图: 一个典型的编译器&#xff0c;可以包含为一个前端&#xff0c;一个后端。前端接收源程序产生一个中间表示&#xff0c;后端接收中间表示继续生成一个目标程序。所以&#xff0c;前端处理的是跟源语言有关的属性&#xff0c;后端处理跟目标机器有关的属性。 复…

广告投手_测量投手隐藏自己的音高的程度

广告投手As the baseball community has recently seen with the Astros 2017 cheating scandal, knowing what pitch is being thrown gives batters a game-breaking advantage. However, unless you have an intricate system of cameras and trash cans set up, knowing wh…

验证部分表单是否重复

1. 效果 图片中的名称、机构编码需要进行重复验证2. 思路及实现 表单验证在获取数据将需要验证的表单数据进行保存this.nameChangeTemp response.data.orgName;this.codeChangeTemp response.data.orgCode; 通过rule对表单进行验证 以名字的验证为例rules: {orgName: [// 设置…

python bokeh_提升视觉效果:使用Python和Bokeh制作交互式地图

python bokehLet’s face it, fellow data scientists: our clients LOVE dashboards. Why wouldn’t they? Visualizing our data helps us tell a story. Visualization turns thousands of rows of data into a compelling and beautiful narrative. In fact, dashboard vi…

用C#写 四舍五入函数(原理版)

doubled 0.06576523;inti (int)(d/0.01);//0.01决定了精度 doubledd (double)i/100;//还原 if(d-dd>0.005)dd0.01;//四舍五入 MessageBox.Show((dd*100).ToString()"%");//7%,dd*100就变成百分的前面那一部分了

浪里个浪 FZU - 2261

TonyY是一个喜欢到处浪的男人&#xff0c;他的梦想是带着兰兰姐姐浪遍天朝的各个角落&#xff0c;不过在此之前&#xff0c;他需要做好规划。 现在他的手上有一份天朝地图&#xff0c;上面有n个城市&#xff0c;m条交通路径&#xff0c;每条交通路径都是单行道。他已经预先规划…

C#设计模式(9)——装饰者模式(Decorator Pattern)

一、引言 在软件开发中&#xff0c;我们经常想要对一类对象添加不同的功能&#xff0c;例如要给手机添加贴膜&#xff0c;手机挂件&#xff0c;手机外壳等&#xff0c;如果此时利用继承来实现的话&#xff0c;就需要定义无数的类&#xff0c;如StickerPhone&#xff08;贴膜是手…

nosql_探索NoSQL系列

nosql数据科学 (Data Science) Knowledge on NoSQL databases seems to be an increasing requirement in data science applications, yet, the taxonomy is so diverse and problem-centered that it can be a challenge to grasp them. This post attempts to shed light on…

C++TCP和UDP属于传输层协议

TCP和UDP属于传输层协议。其中TCP提供IP环境下的数据可靠传输&#xff0c;它事先为要发送的数据开辟好连接通道&#xff08;三次握手&#xff09;&#xff0c;然后再进行数据发送&#xff1b;而UDP则不为IP提供可靠性&#xff0c;一般用于实时的视频流传输&#xff0c;像rtp、r…

程序员如何利用空闲时间挣零花钱

一&#xff1a; 私活 作为一名程序员&#xff0c;在上班之余&#xff0c;我们有大把的时间&#xff0c;不能浪费&#xff0c;这些时间其实都是可以用来挖掘自己潜在的创造力&#xff0c;今天要讨论的话题就是&#xff0c;程序员如何利用空余时间挣零花钱&#xff1f;比如说周末…

python中api_通过Python中的API查找相关的工作技能

python中api工作技能世界 (The World of Job Skills) So you want to figure out where your skills fit into today’s job market. Maybe you’re just curious to see a comprehensive constellation of job skills, clean and standardized. Or you need a taxonomy of ski…

欺诈行为识别_使用R(编程)识别欺诈性的招聘广告

欺诈行为识别背景 (Background) Online recruitment fraud (ORF) is a form of malicious behaviour that aims to inflict loss of privacy, economic damage or harm the reputation of the stakeholders via fraudulent job advertisements.在线招聘欺诈(ORF)是一种恶意行为…