数据分析师群体,有别于一般的传统开发群体和数据库运维群体,对Sqlserver的功能需求上也各不相同,本篇以笔者的亲身经历,用一种有别于一般性教程的角度来讲解Sqlserver值得我们学习,投入产出比高的一些功能模块。
当然,知道地越多,能够产生的价值也越大,在平衡投入产出比的前提下,越往深入学习,在特定时候会产生成倍的回报。
相关阅读
数据分析师有理由爱Sqlserver之一-好用的插件工具推荐
数据分析师有理由爱Sqlserver之二-像使用Excel一般地使用SqlServer
数据分析师的定义
虽然真正意义上的数据分析师是很高级的分析水平,也有超强的学习能力,大不必来阅读笔者所写的这些不太有营养的入门读物。
但就像市面上大家都对一个小软件叫系统,一个简单进销存叫ERP一样,大家对数据分析师的称号也是很大的宽容,类似笔者这样一个三流分析水平,经常各种方向到处寻觅的各种知识领域的人,也能叫上个数据分析师的头衔。
本篇的定义的数据分析师也同样是宽泛的,可能只是一个普通数据文员,统计员的角色,但谁都是从普通工作做起,普通数据统计慢慢爬升起来的,笔者也相信这些分享也可以帮助许多的没有明确方向指引的、在数据领域摸爬滚打的人群带来一些帮助的。
数据分析师的刚需
普通的数据分析师,在数据量不大的情形下,使用Excel是一个很不错的选择,但数据量一大,Excel的性能也开始出现瓶颈,就算是现在自助式BI技术的普及,对于定位为单机版的Excel、ACCESS、PowerBIDesktop等工具来说,仍然容易存在性能的瓶颈。
所以,笔者对数据分析师的刚需理解为:数据存储和数据查询与处理方面的相关功能。对应于Sqlserver的使用场景是,能够帮我们把数据顺利地把手头上的数据放到数据库中集中式存放,当要使用时,可以将其重新导出,并且可以适当地作一些加工处理如多个表关联查询,数据颗粒度的汇总聚合等。最终可以有很好的载体来承接这些数据如导出至Excel表格或导入到PowerBI模型或其他SPSS、python等更专业的分析软件或工具中。
总结为Sqlserver上的功能掌握为:数据导入导出、会使用SQL查询数据,知道怎样使用其他软件工具访问Sqlserver数据。
数据分析师的进阶需求
有了前面的一些简单掌握后,基本可满足自身的数据分析需求,但如果需要更加自动化、更灵活安全地数据分发、对数据运算性能的更多地优化,也是需要继续学习Sqlserver的其他一些企业级的功能知识点的。
企业级IT主导和个人部门级业务主导很大的差异点在于企业级的解决方案可满足到:数据权限控制,流程自动化处理,流程稳定性保障,性能并发性满足等等,这些都是单机版文件型的解决方案所难于满足到的。
所以进阶性的需求对应于Sqlserver的知识点为:登录名、用户名的运维,各数据表、视图、存储过程等数据库对象的权限授予分发,查询性能的优化如索引的添加维护、复杂SQL查询的创建,特别是专为数据分析师准备的数据分析窗口函数非常有必要完全掌握,还有一些自动化调度作业系统的使用满足流程的自动化。
数据分析师较少需要关注到的方面
因数据分析的场景不像生产数据环节的业务系统那般高要求,例如不能随便出错,没有机会让你随便死机后重启系统,应对大量用户的高并发查询请求和数据增删改查任务,所以往往一些教材上谈及的高级的功能,对数据分析的群体来说,都是非常少的应用面和非常不实用的知识。
例如:数据库锁机制、触发器、事务、游标、高性能查询优化、日志的维护等等。这些知识点如果在学习过程中遇到,笔者认为只需略略地带过,了解一下即可。
更合理的方案是数据分析使用的数据库,与业务系统的数据库分离,一般专业一点的叫法是组建一个数据中心或数据仓库,专门用于数据分析的查询性需求(这个一般专业做法是使用BI系统中的数据ETL工具,将数据从生产性环境同步一份到分析服务器上)。
有了专门不受生产环境影响的数据仓库,再怎么出错,也最多重启一下,数据不会因这短暂的停止而影响业务进展,同时一般分析性的数据仓库,并发性访问也不高,也无需苦苦地为了优化一个查询从100秒的等待时间优化为1秒这种需要大量的知识储备和专业知识才能完成的高难度任务。
结语
经过以上的简单梳理,再结合上两篇提及的Sqlserver的使用方式(尽可能地使用界面化操作完成降低难度和大量使用外部工具插件提升SQL书写的便捷性),自己再入门一些简单的教程和示例(微软MSDN和微软Learn等资源已经非常丰富,易学),相信对于一名数据库新手来说,要往数据分析师方向发展,往前迈出一步学习下Sqlserver也不会是太难的事情。
当然笔者也会在日后有限的时间内,尽量分享一些简单易行、功能强大的个人的知识输出和观点分享,相信是除了系统学习外一个很好的补充,祝读者朋友们在学习上一路顺利,有问题多回来交流。如果觉得受用,也请多多帮忙传播分享给有需要的人。
笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。
关于Excel催化剂
Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!
Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!
Excel催化剂插件下载链接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q
取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。
最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。*Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!
关于Excel催化剂作者
姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。
服务过行业:零售特别是鞋服类的零售行业,电商(淘宝、天猫、京东、唯品会)
技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。
历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。
擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。
2018年开始职业生涯作了重大调整,从原来的正职工作,转为自由职业者,暂无固定收入,暂对前面道路不太明朗,苦重新回到正职工作,对Excel催化剂的运营和开发必定受到很大的影响(正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外,工作外的时间也十分有限,因已而立之年,家庭责任重大)。
和广大拥护者一同期盼:Excel催化剂一直能运行下去,我所惠及的群体们能够给予支持(多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐,让我的技术可以在贵司发挥价值,实现双赢(初步设想可以数据顾问的方式或一些小型项目开发的方式合作)。