「数据ETL」从数据民工到数据白领蜕变之旅(三)-除了Excel催化剂之外PowerQuery新物种同样值得期待...

在自助式BI时代以前,Excel级别的数据ETL工作,非常低效,动不动就要启用VBA来完成一些常见的需求,自带的原生功能,未能满足大量的繁琐数据ETL刚需功能。
在Excel2010后,PowerQuery以插件的形式横空出现,并最终在Excel2016中得以深度内置,是一款非常难得的轻量化数据ETL工具。

微软官方插件与第三方插件待遇不同

在使用第三方插件的过程中,可以弥补一些数据处理的刚需,但因每个插件的定位及用途不一,暂没有发现哪个像Excel催化剂这样专注做一些高阶的应用,同时第三方插件的使用体验,略低于原生的功能(需要安装、发布、分享等环节麻烦,同时界面操作没法做到原生那般地紧密相联)

在PowerQuery方面,其因是官方的插件,就算在Excel2010或Excel2013中使用,无论安装的成功率保障还是和原生功能的内置方面,都比我们第三方插件要强得多,同时也更容易过IT审核的关卡,毕竟是官方的插件,肯定对电脑没什么病毒后门式的顾虑。

PowerQuery一个很深入的集成性在于,其数据加载的过程中,原生地开发其以Excel智能表的形式加载出来,并且以数据连接的方式和源数据和加工过程相连接,所以非常好的体验在于数据源更新后,只需刷新一下结果表即可按原来配置过的逻辑对数据进行更新。

在第三方插件中,这个过程肯定需要重新在界面上重来一遍,所以重复性逻辑数据更新还是压倒性地好于第三方插件。

在Excel催化剂中,对于PowerQuery非常擅长的领域,Excel催化剂就比较少去开发,所以使用Excel催化剂的用户群体,更佳的方式是同时掌握Excel催化剂+PowerQuery,在两者中根据自己不同场景,选择使用哪个工具来完成,而不应该生硬地在两者中取一,通过复杂的操作才能完成可能对方很轻松胜任的任务。

PowerQuery学习之我见

PowerQuery的学习,并非是Excel高级用户的专利,相反,它更适合于初中级用户去接触,因其内核使用了.NET Framework的底层架构,非常多的.NET语言的特性都在PowerQuery中得以实现。相对Excel的高级函数技术及VBA才能处理的方案,在PowerQuery中变得非常简单。

并且在PowerQuery中,非常强调界面化操作,在界面上操作,非常直观于数据的生成可视化展现,易于理解和检查。同时PowerQuery上的操作过程,并详细记录为步骤的模块,并且步骤可以在有先后顺序的多个步骤间来回切换,感受步骤的前后对数据源产生的影响,非常好用。

所以,PowerQuery的使用,更合适于对Excel基础操作有所了解,对函数的计算原理有所掌握的群体来使用学习,可以快速地逆袭过往需要Excel高手级别才能完成的事情。

PowerQuery学习资源

在这两年里,PowerBI技术持续地火热,图书、视频市场已经出现非常丰富的中文习资源了。基本上市面上能够找到的热门的学习资料都值得入手学习。

以下这些是笔者有接触过的或购买过的图书,非常不错,可以系统地用来学习。

640?wx_fmt=png第1本,有笔者的推荐语,入门口碑最佳。

同样地学习过程中,需要把握和平衡,使用二八原则的学习方式产出是最大的,例如PowerQuery,尽量学习下界面的操作,再加一些通用性套路玩法即可满足大部分的工作场景,复杂的场景虽然PowerQuery可能也可完成,但可能其他方式的实现成本更低如使用Excel催化剂、SQL、SSIS、VBA等方式。

同样地PowerBI社区的一些公众号、博客文章,也是一个很不错的补充学习,如国内最发烧的施阳大神开辟的博客https://pqfans.com/,和其他公众号、知乎等渠道的PowerBI主题文章里也经常有一些碎片化的学习资料。

同样地,PoweBI社区的免费知识星球【PowerBI朋友圈(P圈)】,里面也汇集了社区内大部分的免费学习资源。

640?wx_fmt=png

结语

本篇从工具的角度,分析在笔者眼中的PowerQuery的功能特性及价值。是轻量级别的中小型数据ETL场景中非常好用的工具,结合Excel催化剂的功能,实现双方的互补,能够给广大普通Excel用户们带来非常大的生产力提升。

笔者只是引路者,真正扎根学习的话,建议到社区里更专业分享PowerQuery工具的老师那里学习。笔者更愿意给读者们带来笔者最擅长的企业级BI工具的分享,敬请关注后续推文。

笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。*

系列文章

从数据民工到数据白领蜕变之旅(一)-工具总览 https://www.jianshu.com/p/2bd3f90206ec
从数据民工到数据白领蜕变之旅(二)-重温Excel催化剂经典 https://www.jianshu.com/p/cb89929bb8ae

关于Excel催化剂

Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!

Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!

Excel催化剂插件下载链接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q

640?wx_fmt=png
联系作者
640?wx_fmt=png
公众号

取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。

最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。*Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!

关于Excel催化剂作者

姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。
服务过行业:零售特别是鞋服类的零售行业,电商(淘宝、天猫、京东、唯品会)

技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。
历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。

擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。

2018年开始职业生涯作了重大调整,从原来的正职工作,转为自由职业者,暂无固定收入,暂对前面道路不太明朗,苦重新回到正职工作,对Excel催化剂的运营和开发必定受到很大的影响(正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外,工作外的时间也十分有限,因已而立之年,家庭责任重大)。

和广大拥护者一同期盼:Excel催化剂一直能运行下去,我所惠及的群体们能够给予支持(多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐,让我的技术可以在贵司发挥价值,实现双赢(初步设想可以数据顾问的方式或一些小型项目开发的方式合作)。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/314516.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker系列之烹饪披萨(二)

上一篇我们讲解了虚拟机和容器的区别,本节我们来讲讲Docker中关于Dockerfile、镜像、容器等基本概念。Docker是一个在容器内开发、部署、运行应用程序的平台,Docker本质上是容器化的代名词,容器对于提高软件开发和数据科学的安全性&#xff0…

史上最能“拜客户教”的公司,是如何做到持续交付的?(第2趴)|DevOps案例研究...

内容来源:DevOps案例深度研究 –Amazon持续交付之道战队(本文只展示部分PPT及研究成果,更多细节请关注案例分享会,及本公众号。)本案例内容贡献者:单冰 (Topic Leader)、 赵栋、梁兴龙、李杰、毛艳清、牛恒…

ASP.NET Core on K8S深入学习(3)Deployment

上一篇《部署过程解析与安装Dashboard》中我们了解K8S的部署过程,这一篇我们来了解一下K8S为我们提供的几种应用运行方式:Deployment、DaemonSet与Job,它们是Kubernetes最重要的核心功能提供者。考虑到篇幅和更新速度,我将其分为两…

8月语言排行:C#继续呈现增长态势

TIOBE 编程语言排行榜 8 月更新已公布,排名前十的分别是:Java, C, Python, C, C#, Visual Basic .NET, JavaScript, PHP, Objective-C 和 SQL。和上个月唯一的不同之处在于 Objective-C 和 SQL 的排名发生了交换。事实上,上周 Dice Insights …

面试必谈的哈希,.Net 程序员温故而知新

引言:作为资深老鸟,有事没事,出去面试;找准差距、定位价值。面试必谈哈希,Q1:什么是哈希?Q2:哈希为什么快?Q3:你是怎么理解哈希算法利用空间换取时间的?Q4:…

Grpc Proto To Nuget Package 插件使用说明

Grpc Proto To Nuget Package 是一个 VS 插件(支持 VS2019),目的是将基于 gRPC 的接口定义 .proto 文件一键转成 Nuget Package,然后发布到私有仓库上。下载最新 GrpcProtoToNugetPackageTemplate.zip ASP.NET 的项目模板&#xf…

.NET Core 3.0预览版7中的ASP.NET Core和Blazor更新

.NET Core 3.0 Preview 7现已推出,它包含一系列ASP.NET Core和Blazor的新更新。以下是此预览中的新功能列表:最新的Visual Studio预览包括.NET Core 3.0作为默认运行时Visual Studio中的顶级ASP.NET核心模板简化的网页模板组件的属性splattingTypeConver…

你必须知道的Docker数据卷

本篇已加入《.NET Core on K8S学习实践系列文章索引》(微信上暂无法访问,可以通过cnblogs博客园访问),可以点击查看更多容器化技术相关系列文章。本篇预计阅读时间为5分钟。01—Docker数据挂载到容器在Docker中,要想实…

牛客小白月赛11:Rinne Loves Data Structure

Rinne Loves Data Structure 思路 我们插入的位置大概分了四种: 第一种 显然我们找到比当前插入的值的pre,也就是比当前节点大的最小值。 第二种 我们只要找到当前节点的suc,也就是比当前节点小的,最大值。 第三种 我们只…

VS Code 1.37 发布!多达数十个图标迎来全新设计

今天(北京时间 2019 年 8 月 9 日),微软发布了 Visual Studio Code 1.37 版本。此版本主要更新的内容包括:Full product icon refresh - 多达数十个图标迎来全新的现代化设计Edit string arrays in the Settings UI - 在配置编辑器…

Serilog 自定义 Enricher 来增加记录的信息

Serilog 自定义 Enricher 来增加记录的信息IntroSerilog 是 .net 里面非常不错的记录日志的库,结构化日志记录,而且配置起来很方便,自定义扩展也很方便Serilog is a diagnostic logging library for .NET applications. It is easy to set up…

基于@media (prefers-color-scheme: [dark|light])的暗黑与亮色主题切换

今天有人反馈使用pdf.js的时候,发现pdf.js阅读器在自己的Mac Book电脑上显示的背景是暗黑色,而别人的电脑上却是白色: 根据这个问题,找到了pdf.js使用的view.css有段代码,类似这样: media (prefers-color-…

做「容量预估」可没有true和false

这里是Z哥的个人公众号每周五11:45 按时送达当然了,也会时不时加个餐~我的第「85」篇原创敬上随着20年来互联网的蓬勃发展,一个软件系统所要面对的访问压力上限被逐渐提高。虽然如此,但是那些体量达到亿级或者是千万级…

你不得不了解的10款服务器监控工具

监控Web服务器或Web主机的运行状况和正常运行非常重要。如果希望确保您的网站可用性在您的控制之中,那你就需要收集服务器各种性能数据以供分析和调整。以下是收集的常用大多数服务器监控组件解决方案。01Performance Co-PilotPerformance Co-Pilot,简称…

统一流控服务开源:基于.Net Core的流控服务

先前有一篇博文,梳理了流控服务的场景、业界做法和常用算法统一流控服务开源-1:场景&业界做法&算法篇最近完成了流控服务的开发,并在生产系统进行了大半年的验证,稳定可靠。今天整理一下核心设计和实现思路,开…

.NET Core 编写 Azure Function 并连接 GitHub 持续部署

点击上方蓝字关注“汪宇杰博客”导语Azure Function 是一个事件驱动型无服务器计算平台,可以解决复杂的业务流程问题,更加高效地进行开发。在本地构建和调试,而无需额外的设置,在云中大规模部署和操作,并使用触发器和绑…

「数据ETL」从数据民工到数据白领蜕变之旅(五)-使用dotNET脚本实现SSIS无限扩展...

在前面一文中,正式引出了SSIS专业数据ETL工具,笔者仅能作引路作用,未能使用文章的方式给大家写出更多的入门级的文章,希望读者们可以自行根据分享的学习资源自行完成入门及进阶的学习。同时也想给大家分享到SSIS的能力边界性&…

数据结构为什么那么难?

来源 | 异步 | 文末赠书2017年8月,本着让更多的人轻松学习算法的初心,我写作了第一本书《趣学算法》,该书在出版后受到广大读者一致好评,在一年内重印了10次,并输出了繁体版的版权。一位读者对我说,读这本书…

书籍推荐:《C#7.0本质论》

在dotNet平台中有多种开发语言可以使用,C#无疑是其中应用得最为广泛的。学习一门编程语言最好的方式就是找一本好书系统地学习,我读过的关于C#的书籍中,我认为下面三本最为经典:《C#本质论》:入门类,目前最…

gRPC的简单使用

前言八月初的时候,在公司内部做了一个主题为《gRPC的简单使用》的分享,其实就是和小伙伴们扯扯淡,现在抽空回忆一下,也算是一个小小的总结吧。现在市面上耳熟能详的RPC框架也很多,下面列举几个遇到比较多的。谷歌的gRP…