ML.NET 0.9特性简介

ML.NET 0.9已于上周发布,距离上次0.8版本的发布只有一个多月,此次增加的新特性主要包括特征贡献计算,模型可解释性增强,ONNX转换对GPU的支持,Visual Studio ML.NET项目模板预览,以及API改进。

特征贡献计算

特征贡献计算(Feature Contribution Calculation)通过决定每个特征对模型分数的贡献,从而显示哪些特征在对特别个体的数据样本的模型预测最有影响力。

当你面临历史数据中有许多特征时而又想选择使用最重要的特征时,特征贡献计算显得十分重要。因为使用太多的特征(尤其是包含对模型没有影响的特征)会减少模型的性能与准确性。因此,使用特征贡献计算你可以从原始特征集中识别最有影响力的正向与负向的贡献。

示例代码:

// 创建特征贡献计算器
// 对已有训练模型参数的所有特征进行计算贡献
var featureContributionCalculator = mlContext.Model.Explainability.FeatureContributionCalculation(model.Model, model.FeatureColumn, numPositiveContributions: 11, normalize: false);
// FeatureContributionCalculatingEstimator可被用作管道中的一个步骤
// 被FeatureContributionCalculatingEstimator保存的特征将在FeatureContribution列中
var pipeline = mlContext.Model.Explainability.FeatureContributionCalculation(model.Model, model.FeatureColumn, numPositiveContributions: 11).Append(mlContext.Regression.Trainers.OrdinaryLeastSquares(featureColumn: "FeatureContributions"));

输出结果可下:

The output of the above code is:Label   Score   BiggestFeature         Value   Weight   Contribution24.00   27.74   RoomsPerDwelling        6.58    98.55   39.9521.60   23.85   RoomsPerDwelling        6.42    98.55   39.0134.70   29.29   RoomsPerDwelling        7.19    98.55   43.6533.40   27.17   RoomsPerDwelling        7.00    98.55   42.52

对于特征选取的模型可解释性的增强

除了特征贡献计算之外,排列特征重要性(PFI)与广义加性模型(GAM)也有加强。

  • 排列特征重要性支持大多数学习任务:回归,二元分类,多元分类与排序。

  • 排列特征重要性允许你在特征重要性分数上计算置信区间,以便可以得到更好的平均值估计。

  • 广义加性模型支持特征贡献计算,以便你可以迅速看到哪些特征驱动个体的预测。

增加对ONNX转换的GPU支持

640?wx_fmt=png

在ML.NET 0.9中通过集成高性能的ONNX运行时库添加了使用激活GPU的CUDA 10.0运行ONNX模型的功能。ONNX模型的GPU支持现在已经可以在Windows 64位系统上使用,不久之后将支持Linux与Mac系统。

新的Visual Studio ML.NET项目模板预览

Visual Studio项目模板现在推出了支持ML.NET的预览版本。下载地址

640?wx_fmt=png

模板涵盖以下场景:

  • ML.NET控制台应用程序

  • ML.NET模型类库

其它API的改进

简化文本数据加载

ML.NET 0.9以前你需要显示的标明列名:

var mlContext = new MLContext();var reader = mlContext.Data.CreateTextReader(new[] {        new TextLoader.Column("IsOver50K", DataKind.BL, 0),        new TextLoader.Column("Workclass", DataKind.TX, 1)},hasHeader: true);var dataView = reader.Read(dataPath);

现在你可以直接使用泛型:

var mlContext = new MLContext();var dataView = mlContext.Data.ReadFromTextFile<InspectedRow>(dataPath, hasHeader: true);private class InspectedRow{[LoadColumn(0)]    public bool IsOver50K { get; set; }[LoadColumn(1)]    public string Workclass { get; set; }
}

获取预测置信因子

通过Calibrator Estimators,除了在评估模型质量时可以获得分数列之外,还可以得到置信因子。

例如,你可以获得每个预测值的概率:

Score - 0.458968    Probability 0.4670409
Score - 0.7022135   Probability 0.3912723
Score 1.138822      Probability 0.8703266

新的键-值匹配估测器及转换

新特性替换了TermLookupTransform,同时提供了指定值之间匹配的新方法。你可以指定键列与值列的匹配关系,但需保证两者数量一致。

其它的改进与变化

  • 允许ML.NET在Windows Nano容器及Windows机器上运行,而无需安装Visual C++运行时。

  • 在包含模型信息的DataView构造器中提供元数据支持,比如被编码为元数据的评估指标可以通过代码解析出来,由此能够使用任何工具进行可视化。

原文地址:https://www.cnblogs.com/kenwoo/p/10284906.html


.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com

640?wx_fmt=jpeg


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/317705.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[学习笔记] 初次见面,请多关照 (公式推导+题集)——杜教筛

筛积性函数的前缀和常见积性函数公式推导狄利克雷卷积杜教筛实现常见卷积习题集Sum神犇和蒟蒻简单的数学题常见积性函数 μ\muμφφφd(n)d(n)d(n)&#xff1a;nnn的约数个数σ(n)σ(n)σ(n)&#xff1a;nnn的约数和ϵ(n)ϵ(n)ϵ(n)&#xff1a;单位元函数&#xff0c;e(n)[n1…

AOP 还在配置吗改用打标签模式吧!

为什么我喜欢打标签来配置AOP1. 配置多很混乱&#xff0c;代码里面很难分辨出来哪些是AOP容器(比如属性注入)2. 对于代码生成器生成的代码里面还需要手动加到配置里面3. 连java spring现在都是清一色的注解来代替xml&#xff0c;这个就是趋势所在我基于Autofac开发了一个基于标…

DZY Loves Math IV(杜教筛)

文章目录titlesolutioncodetitle solution 这道题是多么的妙啊&#xff0c;完全不是我能推出来的式子呢&#xff01; 观察数据范围&#xff0c;有点奇怪欸&#xff0c;在暗示我&#xff1f;&#xff1f; 考虑暴力枚举nnn S(n,m)∑i1mφ(ni)S(n,m)\sum_{i1}^mφ(n\times i)S…

codeforces:CF1604 总结

前言 solve&#xff1a;4 rank&#xff1a;48&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; 这排名我不理解了 solve4真真不算多啊… 而且前四题感觉也不算太难… 仔细看了看榜 哦… 因为这次…

IdentityServer4直播

大家好&#xff0c;很久没有更新公众号&#xff0c;让各位久等了&#xff0c;主要是最近出除了工作之外&#xff0c;一直私下在学习和研究IdentityServer4&#xff0c;后续会腾出一部分时间陆续更新公众号。对于IdentityServer4(简称IDS)&#xff0c;网上的资料少之可怜&#x…

.NET Core 3.0:System.Data的变化

System.Data虽然不引人关注&#xff0c;但在.NET中&#xff0c;System.Data对于各种关系数据库的连接是非常重要的。System.Data也被称为ADO.NET&#xff0c;其前身是ActiveX Data Objects。System.Data提供了通过的框架&#xff0c;在她的基础上.NET数据驱动应用可以被构建。这…

蓝桥杯国赛 皮亚诺曲线距离

参考博客 题意&#xff1a; 题解&#xff1a; 这个很恶魔 本质好说就是找规律&#xff0c;但是贼难写。。 找了篇题解&#xff0c;做法就是大化小&#xff0c;将大阶化为成小阶&#xff0c;计算出离远点的距离。。。我感觉我是写不出来。。 挺秒的&#xff0c;要推公式估计要…

将 Visual Studio 的代码片段导出到 VS Code

导语和原文作者一样&#xff0c;水弟我现在也是使用 VS Code 和 Rider 作为主力开发工具&#xff0c;尤其是 VS Code 可以跨平台&#xff0c;又有丰富的插件支持和多种编程语言支持。当我从 VS 转移到以 VS Code 的开发过程中&#xff0c;遇到的最大问题就是代码提示的不完善&a…

如何基于 Kubernetes 构建完整的 DevOps 流水线

前言关于 DevOps 是一个很大的话题&#xff0c;它可能既涉及到公司的技术文化构建&#xff0c;也包括开发者技术能力的支持&#xff0c;这次技术干货分享主要是侧重于技术方面&#xff0c;就是如何用 Kubernetes 来服务好 DevOps 的流水线。本文从 4 个方面介绍&#xff1a;什么…

[SNOI2017]遗失的答案 (FWT)

description 小皮球在计算出答案之后&#xff0c;买了一堆皮肤&#xff0c;他心里很开心&#xff0c;但是一不小心&#xff0c;就忘记自己买了哪些皮肤了。 ||| 万幸的是&#xff0c;他还记得他把所有皮肤按照 1∼N 来编号&#xff0c;他买来的那些皮肤的编号&#xff08;他至…

Abp中使用可视化的日志面板

如果你还不了解LogDashboard请看这里 使用logdashboard查看可视化日志。ABP的相关知识不做介绍如果有需要请阅读ABP官方文档ABP是Net下非常优秀的开发框架,在中国很多的项目都正在使用它。现在我们可以使用LogDashboard增强在使用ABP开发中的查看日志能力。下载ABP模板项目打开…

J - Just Multiplicative Inverse Gym - 102875J

J - Just Multiplicative Inverse Gym - 102875J 题目&#xff1a; 题解&#xff1a; 给定一个x&#xff0c;求出F(1,x)F(2,x)…F(x-1,x) 的和除以&#xff08;x-1&#xff09; F(x,p)题目已经给出 我们观察F()含义&#xff0c;再结合本题含义&#xff0c;本题并不是要求F(x,…

利用Topshelf把.NET Core Generic Host管理的应用程序部署为Windows服务

2019第一篇文章。此文源于前公司在迁移项目到.NET Core的过程中&#xff0c;希望使用Generic Host来管理定时任务程序时&#xff0c;没法部署到Windows服务的问题&#xff0c;而且官方也没给出解决方案&#xff0c;只能关注一下官方issue #809 等他们方解决了。官方文档只提供了…

开源项目商业模式分析(2) - 持续维护的重要性 - Selenium和WatiN

该系列第一篇发布后收到不少反馈&#xff0c;包括&#xff1a;第一篇里说的MonicaHQ不一定盈利没错&#xff0c;但是问题在于绝大多数开源项目商业数据并没有公开&#xff0c;从而无法判断其具体是否盈利。难得MonicaHQ是公开的&#xff0c;所以才用来做这系列文章的开篇。很多…

深入业务成为更好的软件架构师——信息化建设图鉴一二例

软件开发实际上跟英语比较类似&#xff0c;都是一项工具&#xff0c;服务于各行各业。从程序员的个人修养上来讲&#xff0c;一是要研习好软件开发这门技艺&#xff0c;二是要深入到所服务的行业。说到底&#xff0c;软件的终极目标是模拟业务&#xff0c;在此期间常常会有一个…

恭贺微软技术俱乐部苏州站正式成立

今天去苏州微软中国&#xff0c;参加了微软技术俱乐部苏州站的成立大会。大会的历程悉数经历&#xff0c;这会儿仍在为各位大佬、社区领袖的奉献精神所感动。在通过我们公司同事分享的链接报名时就了解到&#xff0c;大会上有苏震巍老师和蒋金楠老师的分享&#xff0c;便笃定了…

[HNOI2013]消毒 (匈牙利最大匹配)

Description 最近在生物实验室工作的小T遇到了大麻烦。 由于实验室最近升级的缘故&#xff0c;他的分格实验皿是一个长方体,其尺寸为abc&#xff0c;a、b、c 均为正整数。为了实验的方便&#xff0c;它被划分为abc个单位立方体区域&#xff0c;每个单位立方体尺寸为111。用(i,…

.NET Core微服务之路:基于Ocelot的API网关实现--http/https协议篇

前言 最近一直在忙公司和私下的兼职&#xff0c;白天十个小时&#xff0c;晚上四个小时&#xff0c;感觉每天都是打了鸡血似的&#xff0c;精神满满的&#xff0c;连自己那已经学打酱油的娃都很少关心&#xff0c;也有很长一段时间没有更新博客了&#xff0c;特别抱歉&#…

[NOI2009] 变换序列 (匈牙利最大匹配)

description … solution 我竟然一眼题&#xff01;&#xff01; 变换后的TTT数组是[0,n)[0,n)[0,n)的排列&#xff0c;变换规则也有&#xff0c;距离DDD也知道 很明显可以求出iii的可能变换对象 这不就是个最大匹配&#xff1f;&#xff1f; 无解就是匹配数量达不到nnn罢了…

使用 WeihanLi.Npoi 操作 CSV

Intro最近发现 csv 文件在很多情况下都在使用&#xff0c;而且经过大致了解&#xff0c;csv 格式简单&#xff0c;相比 excel 文件要小很多&#xff0c;读取也很是方便&#xff0c;而且也很通用&#xff0c;微软的 ml.net 的示例项目 用来训练模型的数据也是使用的 csv 来保存的…