算法工程师的危机

本文为沙漠之鹰第68篇原创文章

9月20号讯飞AI同传语音造假的新闻刷爆科技圈,科大讯飞股价应声下跌3.89%(不是65.3%,标题党文章害死人)。 吃瓜群众纷纷感慨,有多少人工,就有多少智能。

640?wx_fmt=png
小编偷换概念玩的溜

AI概念在2015年起就红得发紫,不论是送外卖,搞团购,卖车,或是推荐莆田医院的,是个公司都会标榜自己是搞人工智能的。在21世纪的第二个十年,计算机专业相关的学生不说自己是搞AI算法的,同学聚会都抬不起头,相亲都没机会。随便从一摞简历里抽出一份,一定会有AI,调参,CNN,LSTM这些关键词。未来最赚钱的职业,一定不是天桥贴膜,而是天桥调参,50块钱一次,一调就灵:

640?wx_fmt=png
天桥贴膜

NIPS会议,人满为患,改改网络结构,弄个激活函数就想水一篇paper;  到处都是AI算法的培训广告,三个月,让你年薪45万!在西二旗或望京的地铁车厢里打个喷嚏,就能让10个算法工程师第二天因为感冒请假。

640?wx_fmt=png
某程序网站的页面广告

谁也不知道这波热潮还能持续多久,但笔者作为一线算法工程师,已经能明显感受到危机的味道: 以大红大紫的图像为例,图像方向简历堆满了HR的办公台,连小学生都在搞单片机和计算机视觉。在笔者所在的公司,人工智能部门正在从早前研究院性质的组织架构分别向前台和后台迁移:前者进入业务部门,背上繁重的KPI,与外部竞争者贴身肉搏;后者则完全融入基础架构,像数据库一样普通和平凡。之前安逸的偏研究生活被打破, AI早已走下神坛。

以笔者愚见,对于一般的算法工程师,这种危机包含两部分:一方面是来自人的竞争,大量便宜的毕业生和培训生涌入这个行业,人才缺口被迅速填满甚至饱和,未来的竞争会更激烈;另一方面则是来自机器的竞争,大量算法工程师会很快被他们每天研究的算法所代替。 这两者互相恶化,AI人才市场终会变成一片红海。

连小学生都会写模型

工具和框架本身的发展,让设计模型所需的代码写得越来越简洁。10年前从头用C++和矩阵库实现梯度下降还是有不小的门槛的,动辄上千行。而当今几十行Keras甚至图形化的模型构建工具,让小学生都能设计出可用的二分类模型。强大的类库吞噬了知识,掩盖了内部的复杂性,但也给从业者带来了不小的惰性。从业者的技术水平,和使用模型的复杂程度关系不大,越是大牛,用的技术更底层更make sense。

不仅如此,深度学习本身的性质,造成了明显的数学鸿沟。与SVM, 决策树不同,由于模型存在大量的非线性和复杂的层次关系,且输入信号(例如图像,文本)也很复杂,因此严格的数学论证是需要极高的抽象技巧的。该方法为什么好,在什么类型的数据上好,有时连作者都在拍脑袋,很多state of arts的方法,成了口口相传的经验和trick,而非严谨的theory。 连batch normlization(批规范化,只包含四个初中数学级别的简单公式)为何有效,都被争论了好几年。只有凤毛棱角的专家,能深入到模型最深处,用数值分析和理论证明给出严谨的答案。 大部分人在入门后便进入漫长的平台期,美其名曰参数调优,实际就像太上老君炼丹一样。

640?wx_fmt=png
image.png

我们把这种现象绘制成下面的AI学习曲线,左侧是稍显陡峭的入门期,需要学习基本的矩阵论,微积分和编程,之后便是漫长的平台期。 随着复杂性越来越高,其学习曲线也越来越陡峭,大部分人也就止步于此。 越来越易用的工具,让曲线的斜率变大,入门期变短,却并不能改变右侧的陡峭程度。

640?wx_fmt=png
AI学习曲线

入门容易深入难,这条曲线同时也能描述AI人才的收入水平。而真正处于危机的,莫过于夹在中间的芸芸众人:对理论一知半解,对工具非常依赖。可替代性很强,一旦AI浪潮过去,就知道谁是在裸泳。

市场和业务变化越来越快,能有哪些核心业务,是能让工程师静心调个一年半载的呢?当一个从培训学校里出来的人都能做模型时,有多少业务能让公司多花两三倍的人力成本,而仅带来1%的性能提升呢?

机器都能调参,要你干吗?

面向大众AI科普节目,最常讨论的便是“AI时代如何不被机器所取代”。很不幸,最容易且最快被取代的反而是算法工程师。

算法岗比工程岗更容易被取代。 在现有技术下,由于业务需求的复杂性, 自动生成一套软件App或服务几乎不可能的(否则就已经进入强人工智能时代了),但模型太容易被形式化地定义了。根据数据性质,自动生成各个领域的端到端(end2end)的模型也逐渐在工业上可用了:图像语音和广告推荐的飞速发展,,直接套用即可。理论和经验越来越完善,人变得越来越可替代。

特征可以自动生成和优选,特征工程师失业了; 深度网络采用经典结构即能满足一般业务需求,参数搜索在AutoML下变得越来越方便,调参工程师的饭碗也丢了; 以前需要大力气搭建的数据回流和预测的链路,已经成了公司的基础组件,数据工程师也没事干了。  此处引用老板经常说的一句话:机器都能干了,要你干吗?

从目前AI热门论文的情况看,广告推荐领域已经逐渐成熟,很多技巧沉淀为一整套方法论,已进入平台期;下一个即将被攻陷的领域应该是图像;而文本由于其内在的抽象性和模糊性,应该是算法工程师最后的一块净土,但这个门槛,五年内就会有爆发式的突破。

如何最优化职业发展?

人工智能已经火了至少五年,它在未来五年是否火爆我们不能确定,但一定会更加两极化:偏基础的功能一般程序员就能搞定,像白开水一样普通。而针对更复杂模型甚至强人工智能的研究会成为少数人的专利。

在一般的技术公司,传统意义的软件开发和产品设计,远比AI算法的需求来的多。算法永远是锦上添花,而非雪中送炭,再好的算法也拯救不了落后的业务和商业模式。一旦经济下行,企业首要干掉的就是锦上添花且人力成本较高的部分。

如果你是顶级的算法专家,这样的问题根本不需担心。但是,对大部分人来说,如何找到自己的梯度上升方向,实现最优的人生优化器呢?

//此处该插播广告,报价最少1万吧

//但沙漠之鹰就是有节操,不插,不插,就是不插。

笔者给出一些不成熟的小建议,供读者抛砖引玉,基本也是往两头走:

首先是深入原理和底层,类似TensorFlow的核心代码至少要读一遍吧?就算没有严格的理论基础,最起码也不能瞎搞啊。 切莫不能被工具带来的易用性迷惑双眼。要熟悉工具箱里每种函数的品性,对流动在模型里的数据有足够的嗅觉,在调参初期就能对不靠谱的参数快速剪枝。

按个人理解,做算法带来的最大收获是科学精神和实验思维,这是做工程很难培养出来的。以前看论文看了introduction和模型设计,草草地读一下实验结果就完事儿了。殊不知AB实验设计很可能才是论文的核心:实验样本是否无偏,实验设计是否严谨,核心效果是否合理,是否能证明论文结论。也许一行代码和一个参数的修改,背后是艰辛的思考和实验,做算法太需要严谨和缜密的思维了。即使未来不做算法,这些经验都会是非常宝贵的财富。

再者是尽早面向领域,面向人和业务。AI本身只是工具,它的抽象性并不能让其成为各个领域的灵丹妙药。 如果不能和AI专家在深度上竞争,就在业务领域专精深挖,拥有比业务人员更好的数据敏感度,成为跨界专家。现在已经有大量AI+金融, AI+医疗,AI+体育的成功案例。 人能熟悉领域背后的数据,背后的人性,这是机器短时间内无法代替的,跨界带来的组合爆炸,也许暗含着危机中的机会吧。

笔者同样处在迷茫期,有想法和见解的朋友欢迎留言。最后感慨一下,同样是80后,年龄相差无几,有人已是副总裁,有人带了几个人的小团队,有人还在基层苦苦挣扎,轨迹在毕业时分叉,几年后早已沧海桑田。

原文地址: https://www.cnblogs.com/buptzym/p/9706227.html


.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/319646.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Cover the Tree(2020多校第二场C)

Cover the Tree 文章目录题意:题解:代码题意: 一个无向树,选择最少数量的链子,能将树上所有边覆盖,答案不唯一 (1≤n≤2105) 链子就是两点之间的边 看看样例 输入 5 1 2 1 3 2 4 2 5输出 2 2…

【DP】【树状数组】折线统计(金牌导航 数据结构优化DP-1)

正题 金牌导航 数据结构优化DP-1 题目大意 平面上有n个点,让你选择若干点,连接x坐标相邻的点,其中连续上升或下降的为一段,问你有多少中选择方案,使得段数为k 解题思路 设fi,j,0/1f_{i,j,0/1}fi,j,0/1​为到第i个点…

AtCoder Beginner Contest 177总结

回学校第一次打AtCoder&#xff0c;感觉晚上在寝室打不在状态~~ A - Don’t be late 数学题签到 #define IO ios::sync_with_stdio(false);cin.tie();cout.tie(0) #include<iostream> #include<algorithm> using namespace std; typedef long long ll; const in…

[模板]多项式全家桶小记(求逆,开根,ln,exp)

前言 这里的全家桶目前只包括了ln,exp,sqrtln,exp,sqrtln,exp,sqrt。还有一些类似于带余数模&#xff0c;快速幂之类用的比较少的有时间再更&#xff0c;NTTNTTNTT这种前置知识这里不多说。 还有一些基本的导数和微积分内容要了解&#xff0c;建议不懂的可以先去翻翻高二数学…

牛客网【每日一题】7月21日题目精讲—区间权值

来源&#xff1a;牛客网&#xff1a; 区间权值 时间限制&#xff1a;C/C 1秒&#xff0c;其他语言2秒 空间限制&#xff1a;C/C 1048576K&#xff0c;其他语言2097152K 64bit IO Format: %lld题目描述 输入描述: 第一行一个正整数 n 第二行 n 个正整数 a1…an 第三行 n 个正…

【DP】【树状数组】免费馅饼(luogu 7302/金牌导航 数据结构优化DP-4)

正题 luogu 7302 金牌导航 数据结构优化DP-4 题目大意 在坐标轴上会出现n个金币&#xff0c;第i个金币tit_iti​时在wiw_iwi​出现&#xff08;只出现一个单位时间&#xff09;&#xff0c;价值为sis_isi​&#xff0c;当你tit_iti​时在wiw_iwi​&#xff0c;就能获得该金币…

Codeforces Round #666 (Div. 2)

哎太菜了就做出2个题掉了19分~~ A - Juggling Letters 统计一下每个字母出现的次数&#xff0c;由于最后要平均分配到每个数组中那么每个字母出现次数应该是n的倍数 #define IO ios::sync_with_stdio(false);cin.tie();cout.tie(0) #include<string> #include<iost…

C# 函数式编程:LINQ

一直以来&#xff0c;我以为 LINQ 是专门用来对不同数据源进行查询的工具&#xff0c;直到我看了这篇十多年前的文章&#xff0c;才发现 LINQ 的功能远不止 Query。这篇文章的内容比较高级&#xff0c;主要写了用 C# 3.0 推出的 LINQ 语法实现了一套“解析器组合子&#xff08;…

【DP】【树状数组】方伯伯的玉米田/优美玉米(luogu 3287/金牌导航 数据结构优化DP-5)

正题 luogu 3287 金牌导航 数据结构优化DP-5 题目大意 有n个玉米&#xff0c;给出高度&#xff0c;你可以选择一个区间&#xff0c;使这个区间的玉米高度1&#xff0c;你可以进行k次这样的操作&#xff0c;查询你操作完后最长不下降子序列最大值 代码 对于选择区间[l,r]&…

2020牛客暑期多校训练营(第六场)

2020牛客暑期多校训练营&#xff08;第六场&#xff09; 额&#xff0c;睡了一下午&#xff0c;直接错过了比赛。。。 文章目录A African Sort题意&#xff1a;题解&#xff1a;代码&#xff1a;B Binary VectorC Combination of Physics and Maths题意&#xff1a;题解&#x…

P4001-[ICPC-Beijing 2006]狼抓兔子【对偶图】

正题 题目链接:https://www.luogu.com.cn/problem/P4001 题目大意 给出一个类似于 的网格图&#xff0c;求起点到终点的最小割。 解题思路 最小割直接跑网络流&#xff0c;然后发现dinicdinicdinic都过不了。&#xff08;好像加点玄学优化就能过&#xff09; 然后上点科技…

私有云方案——利用阿里云云解析实现DDNS

各位都是程序员&#xff0c;工作中是不是遇到个类似情况。在家里研究的一些开源代码或写的一些demo或试验代码&#xff0c;在工作中正好需要参考一下&#xff0c;但是在家里的电脑上。虽然这些都可以用云盘/网盘之类的来完成&#xff0c;源代码也可以托管到源码平台。但是这些都…

Namomo Fish(Easy) Round 1

C - Number 题目链接 做的时候就感觉是预处理aia_iai​变成每个数的步数&#xff0c;然后枚举最终变成的数。不过感觉dist[][]数组开不了那么大&#xff0c;赛后正解真的是这样于是就用map试了一下AC了 #define IO ios::sync_with_stdio(false);cin.tie();cout.tie(0) #inclu…

纪中游记(7.11~7.22)

Day 0 早上 早上十点多从家里出发&#xff0c;坐了一个多小时的车&#xff0c;到广州&#xff0c;路上因为过于无聊&#xff0c;然后直接小颓了一波 中午 到了广州&#xff0c;找大哥出来吃了个饭&#xff08;牛扒直接嗦死&#xff09; 下午 然后又坐车到中山&#xff0c…

2020年首届算法竞赛网络挑战赛直播讲解课程

比赛链接 菜鸡的我&#xff0c;第四名。。 A 矛盾激化 题意 给定地图&#xff0c;这个地图有两个出口&#xff0c;现在我们需要求出从所有点到任意一个出口的距离中的最短路径的最大值 本题为输出答案题&#xff0c;给定你一种情况&#xff0c;然后输出它的答案 题解 如果…

光荣与梦想 | XMove动作捕捉系统(一)

今年春节回到老家&#xff0c;翻出了2011年春节时焊电路用过的松香和和硬盘角落里的代码。感慨万分&#xff0c;遂有此文。文章过长&#xff0c;分为两部分&#xff0c;本文为2010-2011年&#xff0c;XMove从第一代到第三代的故事。诞生于考研的第一代保研尚未确定&#xff0c;…

51nod1355-斐波那契的最小公倍数【min-max容斥】

正题 题目链接:http://www.51nod.com/Challenge/Problem.html#problemId1355 题目大意 定义fif_ifi​表示斐波那契的第iii项&#xff0c;给出一个大小为nnn的集合SSS求lcm(fS)lcm(f_S)lcm(fS​) 解题思路 如果每个质数的次数分开考虑&#xff0c;那么gcdgcdgcd就是次数取min…

二分图相关结论及口胡证明

考虑点集A&#xff0c;B二分图 最小点覆盖&#xff1a; 概念&#xff1a;用最少的点覆盖二分图中所有边。 结论&#xff1a;最小覆盖点最大匹配 证明&#xff1a;选择点集A所有匹配点&#xff0c;如果还存在一条边的两个端点都不在匹配点中那么让该两点匹配则最大匹配数目会增加…

纪中A组模拟赛总结(2021.7.12)

成绩 rankrankranknamenamenamescorescorescoreT1T1T1T2T2T2T3T3T3t4t4t4131313lyflyflyf868686606060252525000111总结 T1考试的时候想出来DP&#xff0c;很复杂&#xff0c;但是有些细节没想好&#xff0c;打挂了&#xff0c;只拿了60分 T2没有想到方法&#xff0c;就先跳了…

牛客网 每日一题 7月23日题目精讲—wpy的请求

来源&#xff1a;牛客网&#xff1a; 文章目录wpy的请求题解&#xff1a;代码&#xff1a;wpy的请求 时间限制&#xff1a;C/C 1秒&#xff0c;其他语言2秒 空间限制&#xff1a;C/C 262144K&#xff0c;其他语言524288K Special Judge, 64bit IO Format: %lld题目描述 “题目…