专访邱锡鹏:人工智能开源社区的「先行者」

b625689aa5d40452382453367479b007.png

文 | 刘冰一、Echo
源 | 极市平台

邱锡鹏,复旦大学理学学士和博士。任职复旦大学计算机科学技术学院教授,博导。发表 CCF A/B 类论文 70 余篇,获得 ACL 2017 杰出论文奖(CCF A类)、CCL 2019 最佳论文奖。出版开源专著《神经网络与深度学习》,主持开发了开源自然语言处理工具 FudanNLP 和 FastNLP,获得了学术界和产业界的广泛使用。

94146e0ba9e0138a4bb1b4d404a91463.png

1c98383233984aa7fa422701ea0f942e.png前章53197d0040c1ded07606ca0a13f2a76c.png

邱锡鹏在复旦大学读本科时专业并不是计算机,他上大学之前也没有接触过计算机,得益于复旦的通识教育,所有理科专业都要学编程语言,他由此对计算机编程产生了浓厚的兴趣,于是辅修了计算机作为第二专业。后来,他读了本校计算机学科的博士,并顺利留校任教。

邱锡鹏主要从事自然语言处理、深度学习等方向的研究。他读博所在小组比较尊重个人兴趣,他的博士论文是计算机视觉方向的,但其研究兴趣更多地偏向于机器学习底层算法研究。他的博导吴立德教授也同时在做自然语言处理方向的研究,因此对自然语言处理并不陌生。

从机器学习研究的角度来说,自然语言处理中的预测问题通常是更有挑战性的结构化学习问题。邱锡鹏对此很感兴趣,也想要挑战一些更难的问题,留校后研究兴趣开始慢慢聚焦于自然语言处理。

吴立德教授对他产生了深远积极的影响。吴教授是数学专业出身,功底很强,是国内第一个发“模式识别与机器智能”顶刊论文的学者。吴教授治学严谨,授课通俗易懂,这是他一直佩服并在学习的一个技能。

操千曲而后晓声,他平时会广泛涉猎,有两种知识输入方式,一种是在谷歌学术订阅相关论文和资讯;其次是通过他带领的研究组所开发的工具,定期爬送供组内成员阅览,碰到质量高的研究就精读深究。

他的研究小组一周举办两次论文分享会,除了组内分享之外,有时还会特邀嘉宾进行线上分享。学海钩沉,新知识“吸附”到既有的知识体系中,让大脑充盈随时进行联想式致知。

一个优秀的教育工作者和学生之间是良性的,他鼓励学生掌握自己的节奏,基本上不会干预学生的研究方式,他希望「学生们都有自己的研究兴趣;培养自己发现问题、解决问题的通用能力;保持对专一领域深入思考,同时一定要多看多听多交流。」

在邱锡鹏看来,知识学习、知识应用和分享是相辅相成的。他长期保持着知识输入习惯,并且勤于总结归纳,也非常乐于分享交流。他认为「要勤于表达交流,发现理解不透彻之处会倒逼自己学得更好。有时候能从一些漫不经心的交流中获得意想不到的启发。

计算机领域在知识分享上做得非常好的,很多优秀的技术极客和研究大牛们都在热心地分享经验技能,这种共享文化可以帮助大家迭代更快,发展更好。」

dfc00e4d14f377e8355abdf886d2a7ca.png赓续科研初心5019bdf0a9b89af162a9fcbcd384f5df.png

2015 年,复旦大学开设了“神经网络与深度学习”的课程。当时没有相关教材,网上有一些关于深度学习电子版课件都讲得比较简单,资料也非常零散。这门课程开设的目的是为了让学生们系统、全面且深入地了解神经网络和深度学习知识,因此,邱锡鹏决定自己动手写讲义。

筚路蓝缕,以开江河,一学期课程结束后,他写了大概五六十页。他觉得应该给这一个学期的授课做一个总结,于是他把讲义总结放在了网络上,收到了有很多有价值的反馈。

有十多位忠实的网络读者让他印象深刻,「我写一章他们看一章,会提很多意见,有些是对讲的模糊部分的追问、有些是指出推导上的错误,有些是对整个体系顺序的建议。」他说,「读者们的增砖添瓦让内容变得更好,我很感激他们的支持和关注。」

直到现在,邱锡鹏仍然在为一届又一届的学生们讲授“神经网络与深度学习”这门课。伴随着行业知识更新、个人认知深化,他每次上课前后都会反复修改,每个学期结束进行汇总调整。就这样亲力亲为、一轮一轮地迭代优化持续了 5 年,课程讲义已从最初的薄薄的几张文档到厚厚一打材料。

将这些更新迅速且十分庞杂的知识系统地归纳串联成一本完整又富有逻辑的教材并非易事,他面临过许多障碍,例如写作书面化和体系化,一个理所当然、一说大家都懂的知识点,但在书中却要掰开揉碎、细致详尽,幽隐毕达地写出来,且内容均需要有充分的考据和印证。

此外,篇章式写作总归是不够系统连贯的。驭文之首术,谋篇之大端,邱锡鹏深晓其理,为形成写作体系花了很多功夫。他很喜欢《模式识别与机器学习-PRML》这本书,作者将机器学习置于一个新的视角,非常有体系地串联了不同知识点。

这种思维让他很受益,经过广泛阅读和积累,博取众长,一遍遍打磨之下,“神经网络与深度学习”的内容变得更加丰盈连贯。

2020 年 4 月,《神经网络与深度学习》付梓,这是国内出版的第一部关于深度学习的专著,面市不到一周即登上了京东和当当的计算机类新书榜第一,豆瓣评分 9.4 分,且截止到目前,它在 Github 累计标星达1.5万。

知识传播就像一棵树摇动一棵树,一朵云推动一朵云,邱锡鹏潜移默化地影响着自己和他人。最初他只是想把课上好,结果出了一本书,成为很多人的深度学习入门必读本,有些学校还拿去当作教材。

这本书客观上也给他带来了一些声誉,让他收获了许多意外的认同和褒奖。「自然语言处理的圈子并不大,圈外人能够通过这本书了解到我。在很多会议上都有同学跟我打招呼说,您好,邱老师,我读过您的《神经网络与深度学习》......」,这让他成就感满满,他调侃,明明在科研上投入的精力更多,但写书得到的收获感更多,这也是教书育人的快乐。

敬酒虽好,但他认为蒲公英书进步空间还很大,写书是一个过程,需要根据行业发展不断补充新知识,比如图神经网络,自监督学习,预训练模型等。

将来,他希望在自然语言处理领域写一本书,将他在该领域多年的研究经验、知识理解和工作心得等等汇成体系分享给大家。

做人工智能领域的研究,理解并掌握底层的机器学习理论知识是入门,算法模型开发是核心,而高效且实用则是其作为一门应用型学科的衡量基准。

为了提升自己的工作效率,同时也为了帮助更多想要进入到这一领域的研究者,自从事自然语言处理研究开始,邱锡鹏便开始着手于开源工具 FudanNLP 的开发。出于对机器学习的兴趣,他独立完成了 FudanNLP 所有底层的机器学习算法。

不同于当时其他的自然语言处理工具,FudanNLP 是集成式的,用一套统一的机器学习算法驱动多种自然语言处理任务。FudanNLP 从底层优化了模型的效率,在 2009年开源后,被许多算法公司所应用。

基于传统统计机器学习的 FudanNLP 在 2014 年停止更新。

当时,基于深度学习的应用出现在自然语言处理研究的新趋势中,邱锡鹏认为,在未来深度学习将会变成自然语言处理的主流方法,因此他想开发出一个基于深度学习的工具。

但那时的应用还非常不成熟,直到 2018 年 Transformer 等各类模型的推出,深度学习在自然语言处理中的技术应用路线终于规范下来,他开始实现自己 14 年时的计划——实现一套基于深度学习的自然语言处理框架,他将这一工具命名为 FastNLP。

在做这件事的时候,已经有许多开源框架都改进并新增了深度学习的内容,但对于部分国内开发者而言,这类工具都存在有语言上的障碍;同时,在与工业界的沟通中,他了解到,很多企业都难以直接应用这些深度学习系统。

因此,他希望首先面向国内开发者,FastNLP 所有的注释都是中文,同时在数据预处理方面的表现十分出色,帮助国内的研究者更快地去上手科研,而工业界则可以直接用它来处理数据,大大缩短了模型开发和调试的周期。

不论是 FudanNLP 还是 FastNLP,邱锡鹏所希望实现的目标都是降低自然语言处理的门槛,加快模型开发部署的速度,同时促进中文自然语言处理的普及。

他还有一个一直想去达成愿望,就是未来我们人工智能算法开发的底层可以不再依赖于 Pytorch、TensorFlow 这些现有的框架,而是由我们自己来实现。FastNLP 未来也会大力支持国内现有的开源框架,以此为提升国产框架的普及尽一份力。

121c06c7d550c6694705011f784d0acd.png推进人工智能术语标准化50fb37efa5049cc968857fbeb2330744.png

中国历史上出现过三次翻译高潮:东汉至唐宋的佛经翻译、明末清初的科技翻译、鸦片战争至“五四”的西学翻译。每次翻译热潮都引发海量知识的交汇融通,外眺可打通中外知识视域,前瞻可优势互补、关注盲点并寻找突破。

当下,信息时代降临,在科研圈更是呼唤有效翻译,启迪影响科研人员,降低交流成本。

2015年,邱锡鹏在写书过程中发现国内学术术语混乱,经常遇到不同的教科书中术语使用标准不一致、中英术语夹杂等问题。

比如很多人把 recurrent neural network 翻译成“递归神经网络”,但 recursive neural network 也被译为“递归神经网络”,这样就分不清了。当时他推荐翻译成“循环神经网络”。

经过这么多年,大家基本认可了“循环神经网络”的叫法。

但是想要推进整个行业术语标准化并不是一件轻松的事情,一是中英文词性的差异,中文词汇存在引申意义,传词达意存在天然鸿沟。

另外,很多翻译其实并不好,但已经被广泛发行刊印,成为业内流行甚至是行业共识称法,这些已被沿袭使用的词汇很难修正,成为推进术语标准化的顽固阻挠。

邱锡鹏希望为术语标准化做一些努力。在2021年上半年,他曾和《统计学习方法》作者李航,《机器学习》作者周志华,《动手深度学习》作者李沐和 Aston Zhang 博士等人开了几次会,探讨在丛书中将术语进行统一对齐,把相关术语整理成一个列表,希望逐步做到规范统一。

当然,日常交流中他推荐术语规范,表达更方便清晰,减少让人产生困惑的地方。一些东西很难翻译,像 Transformer 不论怎么翻译,都不能涵盖其意义和除机器翻译外的场景,此时直接使用原文是便捷的。

他也一直在知乎等技术社区为大家推荐一些更准确的翻译,例如 Pooling 应译为“汇聚”,而非“池化”,因为“池化”没有正确表达出 CNN 执行这一操作的真正含义;Dropout 应译为“暂退”;Robustness 则推荐译为“稳健性”,原翻译“鲁棒性”缺乏中文的美感。

一个人可以走得很快,但一群人可以走得很远,邱锡鹏呼吁更多的人注重术语标准化使用,但他不强求每个人都使用目前所倡导推行的翻译。

比如他不会要求自己的学生如何如何,只管以身作则。在他看来,推行术语标准化是有兼容性的,无论是争议还是随从都是一种积极的信号,这种关注本身就是一种向心力,能促使行业向前。

感恩智识上的先行者,感谢他们托举思考的宝石,缀满某些空白缺失处的漆黑夜幕。感谢邱老师谦逊地垂着他的绿荫,坚持为人工智能研究发展不断地奉献和努力。

5307116ff9619c5a21acf312cc532d5a.png后台回复关键词【入群

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会

获取ACL、CIKM等各大顶会论文集!

d64080629a6bd8ebf171bce9a27e5741.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/477672.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Cloud Stream如何消费自己生产的消息

在上一篇《Spring Cloud Stream如何处理消息重复消费》中,我们通过消费组的配置解决了多实例部署情况下消息重复消费这一入门时的常见问题。本文将继续说说在另外一个被经常问到的问题:如果微服务生产的消息自己也想要消费一份,应该如何实现呢…

LeetCode 400. 第N个数字(数学)

1. 题目 在无限的整数序列 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, …中找到第 n 个数字。 注意: n 是正数且在32为整形范围内 ( n < 2^31)。 示例 1: 输入: 3 输出: 3示例 2: 输入: 11 输出: 0 说明: 第11个数字在序列 1, 2, 3, 4, 5, 6, 7, 8, 9, 1--0--, 11, ... 里是0&a…

图谱实战 | 开源知识图谱融合工具剖析:Dedupe与OpenEA工具实现思想、关键环节与实操分析...

转载公众号 | 老刘说NLP实体对齐旨在发现不同知识图谱中的共指实体&#xff0c;如百度百科的360与Wikipedia中的360 qihoo。实体对齐是知识融合的重要任务&#xff0c;通过实体对齐集成多源知识图谱可以为下游任务提供更加全面的知识表示。实际上&#xff0c;实体对齐本质上就是…

算法岗SSP offer收割指南!

文 | 林小平源 | 知乎前序在本文开始以前&#xff0c;林小平首先需要声明的是这篇超详细面经并不是笔者本人的求职笔记&#xff0c;它是笔者学校隔壁实验室22届毕业学弟的面试心路历程和经验心得。由于笔者和这位学弟经常讨论校招求职和职业发展的问题&#xff0c;并且在秋招以…

Spring Cloud Stream如何处理消息重复消费

最近收到好几个类似的问题&#xff1a;使用Spring Cloud Stream操作RabbitMQ或Kafka的时候&#xff0c;出现消息重复消费的问题。通过沟通与排查下来主要还是用户对消费组的认识不够。其实&#xff0c;在之前的博文以及《Spring Cloud微服务实战》一书中都有提到关于消费组的概…

LeetCode 481. 神奇字符串(找规律)

1. 题目 神奇的字符串 S 只包含 ‘1’ 和 ‘2’&#xff0c;并遵守以下规则&#xff1a; 字符串 S 是神奇的&#xff0c;因为串联字符 ‘1’ 和 ‘2’ 的连续出现次数会生成字符串 S 本身。 字符串 S 的前几个元素如下&#xff1a;S “1221121221221121122 …” 如果我们将…

图谱实战 | ​鲍捷:知识图谱技术在金融领域的分析和应用

转载公众号 | DataFunSummit分享嘉宾&#xff1a;鲍捷博士 文因互联编辑整理&#xff1a;松烨 博瑜科技出品平台&#xff1a;DataFunTalk导读&#xff1a;知识图谱标准件已经全面赋能主流金融场景&#xff0c;经历了7年时间的发展&#xff0c;在金融监管、银行、资管、证券等领…

珍爱生命,远离大厂政治斗争

本文授权转载自公众号“算法圈的小破事”&#xff0c;点击以上卡片进行关注大家好&#xff0c;我是在互联网危险边缘疯狂试探的皮皮虾&#xff0c;今天跟大家分享一个关于大厂政治斗争的故事。有人可能觉得&#xff0c;政治斗争那都是大佬之间的事情&#xff0c;跟我们江湖虾米…

Spring Cloud Finchley版中Consul多实例注册的问题处理

由于Spring Cloud对Etcd的支持一直没能从孵化器中出来&#xff0c;所以目前来说大多用户还在使用Eureka和Consul&#xff0c;之前又因为Eureka 2.0不在开源的消息&#xff0c;外加一些博眼球的标题党媒体使得Eureka的用户有所减少&#xff0c;所以&#xff0c;相信在选择Spring…

论文浅尝 | Continual Learning for Named Entity Recognition

笔记整理&#xff1a;李淑怡&#xff0c;天津大学硕士动机在许多真实任务下&#xff0c;常常需要引入新的实体类型&#xff0c;因此需要重新训练命名实体识别模型。当因为存储或安全问题限制对原始数据的访问时&#xff0c;那么为新实体类型重新标注原始数据的成本将会是高昂的…

Allen AI提出MERLOT,视频理解领域新SOTA!

文 | Yimin_饭煲2021年&#xff0c;多模态领域大概是人工智能研究者们关注者最多的一个领域了。随着各种模态数据集的增长和算力的发展&#xff0c;研究者们开始不断地尝试在一个模型中融合来自各个模态的信息。而在多模态领域的研究中&#xff0c;和视频相关的任务被认为是最复…

基于HMM的中文词性标注 POSTagging

文章目录1. 词性标注1.1 概念1.2 任务1.3 预处理1.4 初步统计预览2. 最大概率模型2.1 训练2.2 预测2.3 结果评估2.4 结果可视化3. 二元隐马尔科夫BiHMM模型3.1 训练3.2 预测3.3 结果评估3.4 结果可视化4. 结果讨论思考本文的代码是在徐老师的代码基础上&#xff0c;自己加了些注…

图谱实战 | 58同城周超:基于招聘场景下的知识图谱构建及应用

转载公众号 | DataFunSummit分享嘉宾&#xff1a;周超 58同城 NLP资深算法工程师编辑整理&#xff1a;吴祺尧 加州大学圣地亚哥分校出品平台&#xff1a;DataFunTalk导读&#xff1a;知识图谱作为一种富信息工程&#xff0c;已经深入到各行各业中&#xff0c;也为产业效率的提升…

2022年薪百万赛道:高性能神经网络与AI芯片应用

随着大数据的发展&#xff0c;计算机芯片算力的提升&#xff0c;人工智能近两年迎来了新一轮的爆发。而人工智能实现超级算力的核心就是AI芯片。AI芯片也被称为人工智能加速器&#xff0c;即专门用于处理人工智能应用中的大量计算任务的模块。2020年我国人工智能芯片市场规模约…

API网关 Zuul1.0 和 2.0 我们该如何选择?

介绍 在今年5月中&#xff0c;Netflix终于开源了它的支持异步调用模式的Zuul网关2.0版本&#xff0c;真可谓千呼万唤始出来。从Netflix的官方博文[附录1]中&#xff0c;我们获得的信息也比较令人振奋&#xff1a; The Cloud Gateway team at Netflix runs and operates more t…

LeetCode 623. 在二叉树中增加一行(BFS/DFS)

文章目录1. 题目2. 解题2.1 BFS2.2 DFS1. 题目 给定一个二叉树&#xff0c;根节点为第1层&#xff0c;深度为 1。在其第 d 层追加一行值为 v 的节点。 添加规则&#xff1a;给定一个深度值 d &#xff08;正整数&#xff09;&#xff0c;针对深度为 d-1 层的每一非空节点 N&a…

论文浅尝 | KR-GCN: 知识感知推理的可解释推荐系统

论文作者&#xff1a;马婷&#xff0c;中国科学院信息工程研究所直博生动机抽取并利用知识图谱(KG)中的多跳关系路径可以提高推荐系统的性能&#xff0c;并提供可解释性。然而&#xff0c;现有的工作仍面临着两个主要的挑战&#xff1a;用户偏好的错误传播和模型的弱解释性。提…

吴恩达,确诊新冠阳性!

编 | 好困 袁榭源 | 新智元【导读】当代人工智能领域最权威的学者之一吴恩达&#xff0c;于2022年2月8日晨在自己推特上宣布新冠检测结果阳性&#xff0c;不过症状轻微。北京时间&#xff0c;2022年2月8日早上6点&#xff0c;吴恩达新冠病毒检测呈阳性。吴恩达表示&#xff0c;…

Spring Cloud Config采用Git存储时两种常用的配置策略

由于Spring Cloud Config默认采用了Git存储&#xff0c;相信很多团队在使用Spring Cloud的配置中心时也会采用这样的策略。即便大家都使用了Git存储&#xff0c;可能还有各种不同的配置方式&#xff0c;本文就来介绍一下两种常用的配置策略。 第一种&#xff1a;多个项目公用一…

图谱实战 | 城市大脑知识图谱构建及应用研究

转载公众号 | 专知随着城市大脑建设进程的推进,城市中积累了大量的物联网(IoT)设备和数据,利用海量设备数据对问题 进行分析和溯源,对于城市大脑建设具有重要意义。该文基于资源描述框架和智能物联网协议概念,提出一种以城市物联网本体为基础的城市大脑知识图谱建设方法,城市大…