总结
本系列是机器学习课程的第01篇,主要介绍本门课程的课程目标与职位分析
教材
数据挖掘与机器学习
课程教学方法
布鲁姆教学法
认知领域(cognitive domain)
1.知道(知识)(knowledge)
是指认识并记忆。这一层次所涉及的是具体知识或抽象知识的辨认,用一种非常接近于学生当初遇到的某种 观念和现象时的形式,回想起这种观念或现象。
提示:回忆,记忆,识别,列表,定义,陈述,呈现
2.领会(comprehension)
是指对事物的领会,但不要求深刻的领会,而是初步的,可能是肤浅的。其包括“转化”、解释、推断等。
提示: 说明,识别,描述,解释,区别,重述,归纳,比较
3.应用(application)
是指对所学习的概念、法则、原理的运用。它要求在没有说明问题解决模式的情况下,学会正确地把抽象概念运用于适当的情况。这里所说的应用是初步的直接应用,而不是全面地、通过分析、综合地运用知识。
提示: 应用,论证,操作,实践,分类,举例说明,解决
4.分析(analysis)
是指把材料分解成它的组成要素部分,从而使各概念间的相互关系更加明确,材料的组织结构更为清晰,详细地阐明基础理论和基本原理。
提示: 分析,检查,实验,组织,对比,比较,辨别,区别
5.综合(synthesis)
是以分析为基础,全面加工已分解的各要素,并再次把它们按要求重新地组合成整体,以便综合地创造性地解决问题。它涉及具有特色的表达,制定合理的计划和可实施的步骤,根据基本材料推出某种规律等活动。它强调特性与首创性,是高层次的要求。
提示: 组成,建立,设计,开发,计划,支持,系统化
6.评价(evaluation)
这是认知领域里教育目标的最高层次。这个层次的要求不是凭借直观的感受或观察的现象作出评判,而是理性的深刻的对事物本质的价值作出有说服力的判断,它综合内在与外在的资料、信息,作出符合客观事实的推断。
提示: 评价,估计,评论,鉴定,辩明,辩护,证明,预测,预言,支持
依据教学目标,教学设计首先要思考实践项目轴,比如说先了解客户需求,可以参考借鉴的项目有哪些,基于同类产品或是市场需求提出实践项目成果主题,从而进行整体设计。在整体设计当中,还要考虑创新点在哪里,原型如何完成,再来验证功能否满足客户的需求。项目的推进由需求开始,到最终功能实现和功能验证结束,这个就是实践项目轴。
围绕实践项目轴,鼓励学生去调研,让学生参考别人是如何做的,结合自身的理解,自身小组的团队特性,能不能够更好的推进。调研样本轴可以起到上述的作用。
调研的过程会在教学情境轴的各个知识单元中体现,教师讲授对应的情境内容后,学生去调研验证老师所教内容的正确性,然后学以致用,把知识落到自己的本组项目中。
课程知识轴主要是把知识讲清楚,在不同的教学情境下,有哪些知识,有哪些技能,解决了什么问题。而教学情境是伴随知识轴的,情境是跟着知识走,知识需要讲什么,就需要什么样的场景。知识需要讲什么,是从项目的逻辑来的,通过最后的实践项目,来确定各个单元的知识讲什么。
围绕这四个轴,可以贯彻人才成长规律、教育规律和项目运作和事物发展规律。人才成长规律体现尊重学生学情,体现OBE教育理念,以成果为导向,以教学成果为思考点的一个成果导向。教育规律就是一个由浅入深,由感性认知到理性认知,由理论到实践,然后再由实践到反思内化。项目运作和事物发展规律体系体现PBL教学方法,基于客户的新需求,激发创意,融入到教学当中支撑教学。
在上面四个轴的基础上,还有道法术器四个教学内涵轴。Python语言开发有哪些原理,
应用的方向有哪些(道);基于编程语言的原理和应用方向,一个开发的流程是如何的(法);实现这些流程用到哪些方式,哪些方法(术);比如想实现一个开源的三方可视化模块,需要用到哪些工具(器)。这些内容是需要教师教给学生的四个层面。
除了教学层次,在双创和思政方向也可以采用道法术器四个层面进行融合。
教学设计以学生的成长和获得感为设计主线,以问题为导向激活学生、引导教学,以项目为导向体现价值、彰显成果。
毕业设计选题
职位信息
boss直聘
本门课程的目标
完成一个特定行业的算法应用全过程:
定义问题(Problem Definition) -> 数据收集(Data Collection) -> 数据分割(Dataset Spit up) -> 模型训练(Model Training) -> 模型评估(Model Evaluation) -> 应用部署(System Deployment) -> 改变世界(Impact the world)!
作者:adi0229
链接:「ML笔记」- 机器学习生命周期(Machine Learning Lifecycle)
懂业务+会选择合适的算法+数据处理+算法训练+算法调优+算法融合
+算法评估+持续调优+工程化接口实现
干货 | 平安银行算法实践
机器学习职位如何规划
一个产品的出现可以从业务和技术两个方向分析,业务需求+技术支持=产品的出现。
如果把职业也当成一个产品,也有类似的分析,
其中业务也就是领域,即这个业务领域的特点与需求,譬如金融领域的风控模型、营销领域的生命周期、广告领域的点击率预估等,各有各的特色。一般而言,成为某一个领域的数据专家会更为有发展(不要频繁的跨越行业)。
技术对应路线,实现这个产品,路线可以分为哪些阶段,以及每个阶段的实现方法
参考:学习与职业规划——机器学习的学习路径和职业规划(简单版
机器学习的职业规划
一、含义与方法
1、本文所说的“职业规划”是指经过对自我的认知,和行业,公司,职业的认知,确定一个或者几个工作目标,并进行相应的差距分析和提升的过程。
2、职业规划可以理解为一个匹配的过程;将个人和众多的备选职位进行匹配。按照传统的职业相关理论,结合机器学习者的思维习惯,本文把职业规划分为个人认知(相当于取人的feature),职业认知(相当于获取职业相关的信息和取出feature),以及人职匹配(相当于模型算法部分)三个部分。
3、本文的重点是职业认知部分。
二、机器学习相关的公司分析
1、大的有师傅的公司
这类公司主要是百度,阿里和腾讯,字节,华为等。共同的特点是数据很大,机器学习的团队比较庞大,一般进去的同学都可以有师傅带着学习,进步会比较快。
这些公司的特点也有所不同。
百度:机器学习方面的能力对于百度的广告,搜索,移动搜索,LBS,应用分发,移动音乐,移动阅读,移动新闻,图片搜索,语音输入,浏览器,视频等所有业务都非常重要;而百度也非常重视机器学习团队的搭建。目前在产品方面的表现也非常不错。如果近期加入的团队一旦在基础研究以及产品化方面有巨大突破的话,百度的各个核心产品都可能大大的超出其他公司的产品。
百度的机器学习人才的需求种类最宽。阿里目前的机器学习人才主要用在业务挖掘,广告和推荐方面。和阿里的业务非常的匹配;根据IPO公告,以及近期的动作,阿里未来的业务发展方向主要是电商业务的区域扩张(向下是向县城扩张,向上是跨国业务的发展)以及产品品类的扩张(从实物产品的电商向服务,金融方向的扩张。)从这种趋势来看,未来阿里的机器学习人才需求还是以业务挖掘,广告和推荐方面的人才需求为主(图像处理和NLP作为feutrue的提供者,也有需求)。
腾讯公司过去的主要业务是建立在社交网络之上的游戏,互联网增值服务(会员和道具之类的),广告等。根据年报,我认为腾讯今后的重点是在微信的基础上来发展盈利性业务,目前能够看到的业务有游戏,电商,支付,嘀嘀打车等;腾讯也单独把广告和视频业务提出来当做重点业务。
结合以上对于腾讯的业务分析和预测,以及之前对于腾讯的职位的一些认识,我认为腾讯今后对于机器学习类人才的需求主要有业务挖掘,广告算法,推荐等。
从业务上来看,三家公司都具有收入和利润基本都来自核心业务(百度主要来自于搜索广告;腾讯主要来自于游戏和增值服务,阿里主要来自于电商广告),同时有向其他俩家的核心业务扩展的动作但是没有成功的特点(百度尝试过电商和社交;阿里尝试过社交,也正在做搜索;腾讯尝试过搜索,也在做电商)。
从战略和职位设置来看,百度是从基础到产品都做;而阿里和腾讯主要侧重于应用。
2、中等规模的团队搭建中的公司以及专业公司
有一些公司,相对于BAT来说,市场地位相对较弱,但是公司的市场地位也不错;同时机器学习的团队相对较小,或者布置的普遍程度相对较弱。
比如当当,携程,去哪儿,360,58同城,优酷。这类公司一般会设置俩类机器学习的岗位,一是业务挖掘类岗位,另外就是推荐和广告算法的团队。这类公司具有市场地位不够稳固,机器学习团队相对较弱或者较新的特点。
同样有一些中等规模的广告行业的专业公司,也有机器学习的团队,比如MediaV,品友互动等公司。这类公司主要的岗位是计算广告算法工程师。
3、小的专业公司
在移动互联网快速发展的今天,有一些专业性的小公司,产品本身对于机器学习技术的依赖性非常大,也设置了机器学习的岗位,这些小公司大多数是创业公司,业务发展的不确定性比较大,同时需要的机器学习人才和业务本身的相关性非常大。
比如口袋购物(主要需求的是推荐算法,广告算法,NLP和图像处理人才),微博易(主要需要的是文本挖掘类人才),出门问问(主要需要的是语音识别,搜索的人才)。
不同类型的公司对于人才的要求不同,对于能够带给人才的东西也不同,各有优劣。同学们可以根据自己的情况灵活的选择,每类公司中都有非常好的公司和岗位!
2022国外机器学习公司
近年来数据的大量流入,强大的处理能力和经济实惠的数据存储的增长,为机器学习提供了动力。机器学习是一种帮助机器从数据中学习的先进技术。解决方案的性能完全取决于它所提供的数据。早些时候,数据流相对较少。从那时起,机器学习技术经过多年的发展才逐渐成熟,并在市场上崭露头角。
全球机器学习市场预计将从2017年的14.1亿美元增长到2022年的88.1亿美元,预测期内复合年增长率为44.1%。风险管理、性能分析和报告、交易和自动化是机器学习的许多用例中的一些。这项技术在商业部门很有用。借助机器学习,公司可以预测用户行为,最终获得新客户,优化产品和定价,提高客户参与度。要找到一家利用所有这些特性的机器学习公司是相当困难的。研究机构根据其质量、性能、可靠性和能力编制了一份顶级机器学习公司的名单。
回顾2020:全球十大机器学习公司
Prolifics
Prolifics是一家机器学习公司,负责客户的数字未来。prolific成立于1978年,了解并帮助用户满足客户的需求和期望。该公司利用其在云、数据与分析、数字业务、DevOps和质量保证方面的丰富知识,利用用户提供快速、完整的解决方案交付体验。Prolifics随时为所有实践领域提供专家咨询、工程和管理服务。
AI.Reverie
AI.Reverie是一家提供先进人工智能和机器学习服务的端到端数据解决方案公司。这个啊。幻想该团队植根于不同的背景,将人工智能解决人类需求的共同愿景汇聚在一起。利用公司的合成数据学习环境和产品,啊。幻想改变了机器学习的范式,创造了几乎无限的原材料(数据),彻底改变了客户和合作伙伴机器学习投资的成本结构。
UruIT
UruIT是一家解决方案提供商,帮助用户规划、设计和开发他们的产品,以改变他们的业务。在过去的13年里,公司为SaaS、医疗保健和教育等不同行业的无数业务提供了150多个软件设计和开发项目。UruIT将客户的想法转化为现代的、技术上先进的、设计精良的数字产品,使他们能够成长并改变他们的工作方式。
Talentica
Talentica是一家软件产品开发公司,帮助初创企业将想法转化为产品。Talentica公司于2003年开始服务,当时初创企业开始涌现。该公司为初创企业和中小型企业提供定制软件开发、人工智能和区块链解决方案。公司拥有450多名精通Java、Python、R、JavaScript等语言的专家团队。
MobiDev
MobiDev是一家软件开发公司,为企业提供个性化的世界级移动和网络解决方案。MobiDev创建了复杂的业务驱动解决方案,重点是创新和行动的透明度、有保证的产品交付和持续的革命。公司的主要关注领域是机器学习、工业物联网、增强现实、数据科学、区块链、微服务和云基础设施、本地移动和桌面开发以及跨平台解决方案。
TIBCO Software
TIBCO Software是一家独立的基础设施软件提供商,它创建了事件支持型企业,可以释放实时数据的潜力,从而做出更快、更明智的决策。该公司的互联智能平台无缝连接任何应用程序或数据源,智能地统一数据以实现更大的访问、信任和控制,并自信地实时、大规模地预测结果。
Steel Kiwi
Steel Kiwi公司提供网络开发、移动开发、图形设计、技术支持和质量保证等服务。自2011年以来,该公司一直与初创企业和企业家合作,创建、集成和支持现代软件解决方案。凭借尖端技术,SteelKiwi确保了从开始到发布的整个开发周期牢不可破。该公司为其客户的业务提供了一个全新的在线状态,或使现有流程自动化。
Fabrics
Fabrics是一家专业的软件开发公司,在过去的12年里成功地完成了250多个项目。总部设在以色列,Fayrix执行任何规模的软件开发项目。公司在广泛的技术和产品专业知识、对合作伙伴业务的认真和尊重态度以及在不同垂直领域的成功项目方面脱颖而出。
Anodot
Anodot是一家美国数据分析公司,使用机器学习和人工智能进行业务监控和异常检测。Anodot的自主分析平台利用先进的机器学习技术不断分析和关联每个业务参数,提供实时警报和预测,并缩短检测和解决时间。
DeCypher DatLabs
DeCypher DatLabs是一家从事人工智能和机器学习领域的科研和产品开发公司。DeCypher DatLabs总部位于芝加哥,是一家精品商业机构,专门为美国政府机构、商业企业和非营利组织提供高级分析和机器学习服务。该公司提供托管在亚马逊网络服务平台上的人工智能解决方案,并将其集成到客户开发解决方案中。
来源:贤集网
顶级的机器学习公司
顶级机器学习公司
数据被称为新石油:通过分析信息、预测关键业务参数并找到更好的解决方案,您可以远远落后于竞争对手。这就是为什么与机器学习公司合作是一个很好的解决方案,可以将最新的创新技术和解决方案引入业务,从而使组织改善服务、预测未来、自动化流程、增加和推动销售、降低生产成本并预防风险。以下是8大值得信赖的合作伙伴:
1.Brights
我们的领导者拥有超过100名员工和400多个成功案例,为来自世界各地的客户提供服务——这就是Brights。该公司已经成立11年,并且还在不断发展壮大。Brights的机器学习专家可以帮助您和您的企业探索新的特权并了解更多信息。该公司开发定制解决方案,以从头开始自动化大型公司和初创公司的流程。大多数情况下,这些都是交钥匙项目:Brights独立设计、进行研究、原型设计和测试。
2.Dataiku
Dataiku是一家人工智能软件和机器学习公司,提供人工智能服务以使数据民主化。该公司认为,通过数据服务和协作,可以实现业务赋能。Dataiku提供各种人工智能工具和软件来帮助客户流失、欺诈检测、供应链优化、预测性维护等。EverydayAI是Dataiku的核心概念,在日常运营中系统地使用数据使企业有能力在竞争激烈的市场中取得成功。Dataiku在从数据准备到分析应用程序的各个阶段帮助其客户实施数据驱动模型并做出更好的决策。
3.Veda
Veda技术支持更快的数据处理、任务自动化和患者信息的组织。借助ML功能,这些工具可以快速消除错误并处理数据。因此,医疗机构可以在24小时内完成文件处理。该公司的解决方案解决了重复性和与数据相关的任务,使医疗机构能够更有效地工作,并使医生能够将精力集中在患者护理上。
4.IBM
IBM主要以其用于研究和商业产品的人工智能引擎而闻名。它为决策制定、语言处理和智能任务自动化提供人工智能。Watson最初的设计目的是在Jeopardy等游戏中与人类竞争。如今,他们的技术几乎可以集成到任何工作流程中,从人力资源到财务再到供应链管理。
5.DataToBiz
DataToBiz是我们这个时代最有前途的人工智能公司之一。该公司分析人工智能和大数据,帮助组织管理他们的数据资源,并找到从数据中提取信息的最佳方法,以便他们做出数据驱动的决策。DataToBiz提供全面的解决方案,帮助企业利用机器学习、人工智能和数据科学等先进技术取得成功。该公司的解决方案灵活、可扩展且具有成本效益。团队深耕数据,挖掘本质,敢为人先,拥有多年经验,满意度97%以上。该公司是Google Cloud、Microsoft Azure和AWS的认证合作伙伴。它通过实施数据驱动的模型帮助企业克服挑战。
6.Indium Software
Indium Software是领先的数字工程解决方案提供商,在应用程序开发、云工程、数据和分析、DevOps、数字保障和游戏化方面拥有深厚的专业知识。Indium的主要区别在于其在低代码开发、Ai文本分析方面的专业化,以及与Mendix、AWS、Denodo和Striim等技术公司的合作伙伴关系。该公司与来自世界各地的客户合作。Indium Software提供AI和ML服务来开发自学习算法、从数据中学习并得出结论,而无需人工干预。Forbes、Dun & Bradstreet和Clutch等行业影响者已将我们视为创新初创企业和有前途的企业值得信赖的数字工程合作伙伴。
7.Altoros
Altoros是一家经验丰富的IT服务提供商,可帮助企业通过缩短产品上市时间来提高运营效率并加速产品创新。我们的客户通过利用云自动化、微服务、AI/ML和行业专业知识的力量获得可持续的竞争优势。Altoros AI解决方案可帮助公司处理日常任务。Altoros拥有五个全球办事处。公司拥有18年经验,已完成1400个项目。它的总部设在硅谷。
8.Digica
Digica研究、实施和商业化人工智能领域的智能软件,专注于计算机视觉和“边缘人工智能”的深度学习。Digica的优势在于将其在人工智能方面的专业知识与世界一流的软件开发相结合。该公司与许多行业的大公司和创新初创公司合作,包括汽车、国防、医疗、技术和电信。Digica致力于推进人工智能,并受到网络边缘智能设备快速增长的推动——智能手机、智能手表以及安装在机器和基础设施上的传感器。
国内十大人工智能AI公司排行榜
国内十大人工智能AI公司排行榜
1、百度
百度是中国最大的搜索引擎之一,也是国内最早布局人工智能的企业之一。百度在自然语言处理、图像识别、语音识别等领域取得了重大突破,拥有世界领先的技术实力。其AI产品已经广泛应用于智慧医疗、智慧城市、智能交通等领域。
2、阿里巴巴
阿里巴巴是全球最大的电子商务企业之一,也是国内在人工智能领域投入最大的企业之一。阿里巴巴在机器学习、计算机视觉、自然语言处理等领域取得了重大进展,拥有世界领先的技术实力。其AI产品已经广泛应用于智慧金融、智慧物流、智慧城市等领域。
3、云从科技
云从科技是一家专注于人机交互技术和人工智能应用的企业,致力于为客户提供高效、安全、智能的AI解决方案。云从科技在人脸识别、语音识别、自然语言处理等领域有着卓越的表现,被广泛应用于公共安全、智慧金融、智慧零售等领域。
4、图森未来
图森未来是一家专注于自动驾驶技术的企业,致力于为客户提供高效、安全的自动驾驶解决方案。图森未来在计算机视觉、深度学习等领域有着卓越的表现,被广泛应用于公共交通、物流运输等领域。
5、腾讯
腾讯是中国最大的互联网企业之一,也是国内在人工智能领域投入较大的企业之一。腾讯在自然语言处理、计算机视觉、语音识别等领域有着卓越的表现,被广泛应用于游戏、社交、智慧金融等领域。
6、华为
华为是全球最大的通信设备制造商之一,也是国内在人工智能领域具有重要影响力的企业之一。华为在机器学习、计算机视觉、自然语言处理等领域有着卓越的表现,被广泛应用于智慧手机、智慧家居、智慧城市等领域。
7、思必驰
思必驰是一家专注于自然语言处理和语音交互技术的企业,致力于为客户提供高效、智能的AI解决方案。思必驰在语音识别、自然语言理解等领域有着卓越的表现,被广泛应用于智能客服、智能家居、智能车载等领域。
8、商汤科技
商汤科技是一家专注于计算机视觉和深度学习的企业,致力于为客户提供高效、安全的AI解决方案。商汤科技在人脸识别、图像识别、视频分析等领域有着卓越的表现,被广泛应用于智慧城市、智慧医疗、智慧安防等领域。
9、旷视科技
旷视科技是一家专注于机器学习和计算机视觉技术的企业,致力于为客户提供高效、智能的AI解决方案。旷视科技在人脸识别、图像识别、智能监控等领域有着卓越的表现,被广泛应用于金融、教育、智慧城市等领域。
10、科大讯飞
科大讯飞是中国领先的智能语音技术提供商,也是国内在人工智能领域具有重要影响力的企业之一。科大讯飞在语音识别、自然语言处理等领域有着卓越的表现,被广泛应用于智能客服、智能家居、智能车载等领域。
以上就是国内最好的十大AI人工智能企业排行榜。这些企业在各自领域取得了重大突破,具有世界领先的技术实力。它们的AI产品已经被广泛应用于各个领域,为人们的生活和工作带来了便利。未来,随着人工智能技术的不断发展,这些企业将会发挥更加重要的作用。
三、机器学习相关的职位分析
从面临的问题和考核方式来看,机器学习的职位可以分为研发类和应用类俩大类。
研发就是专门寻找没有好的解决办法的问题寻找解决办法,一旦找到了解决办法以后就基本上不管如何实现,以及如何迭代的问题了。这类职位一般都带有“research”字样。这类岗位的主要考核结果可能是paper的质量和数量。
应用类机器学习职位在工作中距离用户更近,和机器和代码更近,更加侧重于应用比较成熟的方法不断的提升解决问题的效果。这类岗位主要的考核结果是基于系统的“率”,比如CTR预估工作的点击率,推荐算法的各种率等。
本文主要介绍应用类的职位。
1、互联网业务挖掘
使用的主要数据和要解决的问题:
参考《Data Mining Techniques For Marketing, Sales, and Customer Relationship Management》
。初级的业务挖掘人员的工作会离数据和算法更近;高级的业务挖掘人员会离用户和业务更近。职位需求趋势:
这类职位的需求量非常大,基本所有的主要互联网公司都设置了这个岗位。这个岗位的名字常常有“分析师”,“数据挖掘工程师”等。
零售,金融,电信,制造业等行业对于互联网业务挖掘人员也持欢迎态度。近几年对于这类人才的需求很能会有非常大的增长。薪水状况:
从我接触到的猎头职位的情况来看,在这个岗位上工作三四年,能够独立和业务部门以及技术部门沟通,并且能够灵活的应用数据为业务部门提出解释和建议的人才的年度薪水在20万元到35万元左右。
2年前见过大的互联网公司的分析总监给到50万元以上。职业发展前景:
我个人认为人类曾经经历过火车时代,电力时代,汽车时代,电子时代;当下的时代是数据时代。具有良好的数据分析能力的人对于越来越多的企业具有至关重要的作用。根据海德思哲公司的分析,未来的企业领袖人物往往是business+science+technology三方面都很强的人,业务挖掘工程师的工作内容和其中的俩项密切相关。
2、推荐算法
使用的数据和要解决的问题:
参考《Recommender Systems Handbook》。
解决的核心问题是给用户想要的,不要给用户不想要的,降低用户找东西的难度,给用户更多的惊喜。
不同的互联网产品在不同的阶段,可以通过推荐系统解决不同的问题和实现不同的目标。职位的设置情况和需求趋势:
相对业务挖掘岗位,有推荐算法职位的公司数量相对比较少。能够看到的一些公司如下。
电商:淘宝,当当,京东,口袋购物。
视频:优酷土豆,爱奇艺,风行在线,乐视。
音乐:豆瓣,虾米,网易云音乐,百度。
新闻APP:今日头条,网易新闻客户端,百度新闻,指阅。
阅读:盛大文学,掌阅科技。
团购:美团,糯米。
社交:微博,linkedin。
手机助手:豌豆荚,
LBS推荐:百度,高德。
相对电脑,手机的私密性更强,屏幕资源更小,可能会有更多的移动应用公司会部署推荐算法的岗位。薪水状况:
我接触到的推荐算法负责人的职位(能够直接面对工程和产品部门,对推荐系统的效果负责),招聘方给到的年度薪在30万元到50万元左右。职业发展前景:
移动互联网是近几年互联网行业最大的潜力细分领域,而推荐对于移动互联网的所有产品都有非常重要的作用,从这个角度来讲推荐算法工程师的职业前景非常不错。
在多个移动互联网的细分领域,推荐都处于核心地位,因此成熟的推荐算法人才创业的机会也比较多。
3、广告算法
使用的数据和要解决的问题:
参考《Computational advertising, AZ Border, 2008(没有找到电子版)》;另外刘鹏前辈也在做一些计算广告相关的课程,大家可以在网上搜索具体的课程内容。
数据主要是俩块,一块是用户的数据,除了公司自有的数据以外,也可以通过DMP(数据管理平台)获取到一些用户的数据;另外一块是关于广告的数据。
需要解决的问题就是把用户和进行更好的匹配,提升总体的市场效率。
其中CTR预估是非常重要的工作内容。职位的设置情况和需求趋势:
和其他的职位相比,计算广告的公司数量比较集中。公司主要分为三类。
一类是有Exchange或者类似体量的公司(相当于有设局或者设立证券交易所的公司),有百度,淘宝,腾讯,搜狗,360,微软,雅虎。这类公司的流量很大,广告主的数量也很大,他们制定各自的市场内的游戏规则(主要是资源分配的办法以及结算办法。)
另外一类是DSP(Demand side platform),比如MediaV,品友互动,浪淘金等。这类公司本身没有大的流量,但是都在努力建立相对广告主更为有效的广告投放能力,主要从广告主挣钱。主要的目标是帮助广告主更有效率的把广告投放到目标群体身上。
第三类公司是类似五八同城,优酷,新浪微博这样的大媒体。或者多盟这样的SSP(Supply side platform)。这类公司自己有一定的流量,也有一些广告主客户。也需要有人来做市场效率的提升。
新增职业机会的来源,我能够看到的主要有以下几种。一种是在搜索市场上取得突破后需要建立商业变现体系的360;还有一些是来自于对淘宝模式模仿的电商公司,比如当当;还有一类是互联网广告公司的业务拓展和创新,比如SSP公司向DSP业务的拓展,或者互联网广告监测公司,或者广告生态种新的角色诞生带来的新职位机会。
近几年看到的互联网广告相关的变化主要有2个,一个是谷歌采用GSP(General second price)竞价方式并逐步被别的公司跟进;另外一个变化就是有些DSP公司大力倡导RTB(Real time bidding)。
这些变化都没有带来行业内计算广告人才需求量的急速增长。看未来,广告生态系统的逐渐完善而催生出的新的细分行业和公司,也没有看到能够带来大的新增职位的急速增长。
但是互联网广告行业面临的挑战和机会也很多,比如多屏互动的期望,以及广告主日益增长的需求,都对企业的创新提出了要求。
综合以上,计算广告行业未来的人才需求特点可能是“少而精”。薪水状况:
广告目前是互联网行业最重要的收入来源。从百度公司和阿里集团招股书中就可以看出,这俩个公司收入的绝大部分都来自广告。
因此计算广告人才的薪水也非常的高。
我了解到的比较成熟的计算广告人才(同时在算法和工程方面很成熟)的年收入有50万元到150万元左右。职位发展前景:
一旦进入计算广告行业,相对其他职位来说,创业机会较少。更有可能的是在行业内的少数几个公司成长。
该类人才的创业机会可能需要具备几个条件,第一是外围环境的重大变化导致的新类型公司的创立机会比较成熟,这个周期可能比较长;另外要有大量资金的支持;另外相对来说可能风险会比较大。
4、NLP
使用的数据和要解决的问题:
参考《Foundations of Statistical Natural Language Processing》,《Speech_and_Language_Processing》。
使用的数据主要是人们日常随意写出来的或者说出来的话。比如新闻,文章,微博上的话,qq的聊天,贴吧里的话,博客上的话,企业呼叫中心的对话等。
要解决的问题主要是对这些内容进行抽象,映射或者响应。比如信息抽取(命名实体识别,情感分析等),机器翻译,聚类,分类,自动问答等。职位的设置情况和需求趋势:
目前看到的NLP岗位设置主要有以下几类。
一类是在搜索公司的query处理相关的工作。目前我了解到的工作主要分俩个部分,一个部分是做query的纠正,改写,或者近义词分析等;另外一类工作是做Topic model的研究,意思就是把用户的需求抽象在一个“model”上,而同时预先把网页到抽象到一个“model”上,然后在model内部挑选出用户最感兴趣的网页优先展示。
还有一类是研发机构的研究岗位,比如微软,富士通研发,三星通信等机构都有NLP的研发岗位。
第三类岗位就是一些专业性公司,比如口袋购物,微博易,今日头条,掌阅科技,简网世纪这样的公司。在这些公司里NLP和图像处理的工作地位类似,就是为下一步的处理提供feature。
从用户端来看,WEB2.0的出现,以及社交网络的大力发展,为NLP积累下了大量的数据,同时企业也越来越重视通过网络来倾听用户,以及和用户进行沟通;同时信息的急速增长,导致用户对于个性化产品的需求越发明显,也促进了NLP工作的推进和岗位的设置。
今后NLP的岗位会急速增长。增长的来源一部分来自于搜索引擎公司,根据李航前辈的微博,未来搜索突破可能来自俩个方向,一个方向是LTR(Learning to rank),另外的一个方向是Semantic match。我的理解可能semantic mtach需要大量的NLP的工作和人才。
另外一类职位我觉得来自于大量的已经产生的大量非结构化的数据处理相关的公司,以及从大量的语音识别转化出来的数据的利用相关的公司。这个具体是在哪个方向上不好说,但是我想趋势上一定是企业对于海量用户产而生的嘈杂的声音的理解和利用。数据的量还在不断的急速增加,NLP工作量和任务类型也在增加,最终导致岗位需求的增加。薪水状况:
NLP人才的需求不象数据挖掘和推荐那样量大和紧缺,和其他的职位相比薪水比较温和。
我接触过的猎头职位,有公司愿意给工作2年左右的NLP工程师20到30万元的年度工资;也有创业公司愿意给NLP leader50万元以上的年度工资。职位发展前景:
我预测NLP工程师在原公司的职业生命活力会比较强(数据,算法以及工作目标可能都会有新的挑战和机会进来);同时成熟的人才也会有很多创业机会可以考虑。
5、图像处理
使用的数据和要解决的问题:
参考《Computer Vision:Algorithms and Applications.Richard Szeliski》,《Multiple_View_Geometry_in_Computer_Vision__2nd_Edition》
面对的数据是图像,具体也会有处理静态图像和动态视频的区别。以及离线处理和在线处理的区别。
常见的要解决的问题有检测(就是看某个图片里是否有某类东西,比如是否有人脸),识别(就是输入一个图片,看这个图片和库里的哪个图片是一致的。)分割,拼接,3D重建,聚类,分类等。职位的设置情况和需求趋势:
传统的图像处理岗位主要分布在类似智慧眼,汉王这样的IT公司和类似佳能,微软这样的研发机构中。
智慧眼和汉王这样的IT公司的产品,主要以行业用户为主,应用的场合有门禁,安全,社保识别等。
在大数据在中国兴起的前后,更多的互联网公司开始设立图像处理的岗位。其中百度是把图像和语音作为文字之外的新的搜索对象来看待的,设立了图像处理的岗位并招聘了人才,但是具体如何产品化目前还不太清楚,目前看到的只有图搜,就是把图片拷贝到检索栏里,然后可以看到一些检索的结果。
淘宝以及一些其他的电商公司也设立了图像处理或者正在招聘相关的人才,主要的工作目标是为广告和推荐等应用提供feature。
与数据挖掘,推荐和NLP职位相比,图像处理的职位数量相对较少,发展相对比较滞后,能够看到的大众用户使用的产品相对比较少。
我个人的感觉是图像处理行业正处在一个爆发的前夕;象智能交通事故报告系统(自动对摄像头采集到的图像进行处理,即使在夜间也可以自动的识别出来重大事故并且提醒交警去救援),自动驾驶,离群人群自动检测(比如机场和火车站的恐怖分子检测)等应用都具有足够的价值,目前系统能够做到的水平也非常接近商品化。
我的判断是随着技术的突破和外围配套(包括法规或者硬件等)的成熟,图像处理的岗位会有大的爆发。薪水状况:
相对其他职位来说,图像处理的职位比较少一些;同时薪水不是很高。但是未来的收入前景不错。
职位发展前景:
不论在公司内部的提升,还是未来创业的角度来看,图像处理工程师的发展机会都会越来越多。
其他相对比较小众的语音识别,语音合成,网页或者广告反作弊,urban computing,生物信息挖掘,金融数据挖掘,社交网络挖掘等职位就不在这里介绍了。
总体来说,机器学习的职位类型,职位的人才需求数量,以及能够应用的行业都在增加,前景大好!
来源:知乎:王俊宏
吴恩达:机器学习毕业后,如何规划职业生涯才能成为“老司机”?