英伟达公司首席执行官黄仁勋周五(6月14日)在加州理工学院(Caltech)毕业典礼上发表演讲,鼓励毕业生在逆境中努力,不断寻求新的机遇。
黄说,加州理工学院因其毕业生受人尊敬而闻名,如诺贝尔物理学奖获得者理查德-费曼(Richard Feynman)、诺贝尔化学奖获得者莱纳斯-鲍林(Linus Pauling)和半导体先驱卡佛-米德(Carver Mead),他因创造了 "摩尔定律 "一词而功不可没。黄教授鼓励毕业生投身于人工智能领域,他认为人工智能是现代计算机领域发展最快的领域之一。
黄还说,Nvidia 的两位首席科学家都来自加州理工学院,并提醒毕业生,公司将继续招聘新的工程师。他开玩笑说,Nvidia 是一家非常适合工作的公司,公司的老板也非常出色。
黄还向应届毕业生提出了人生建议,鼓励他们珍惜与父母在一起的时光。他说,他的孩子们直到晚年才搬出家,经过反思,他非常珍惜与孩子们在一起的所有时光。
黄仁勋说,他很荣幸去年在国立台湾大学的毕业典礼上发表了类似的演讲,分享了 Nvidia 一路走来的历程和经验教训。他指出了公司的挫折和成功,并承认要想开拓新的技术领域,犯错是必要的。
他说,现代计算产业的早期是以 IBM System 360 为基础的。黄说,基本的计算机架构、理念和战略仍然来自这个计算系统,尽管它是在黄出生一年后推出的。
在 IBM System 360 之后,Huang 说最重要的计算创新是中央处理器,它推动了计算行业的指数级增长。黄说,CPU 带动了软件产业的发展,而软件产业已成为一个价值数万亿美元的产业。
Huang认为,现在社会正处于一个加速计算的时代,计算任务被卸载到并行工作的GPU上。黄说,计算已经达到了一个临界点,迎来了深度学习和其他进步。
Huang说,现代GPU必须在每一层都进行重塑,包括系统连接和软件。为了实现深度学习,数以千计的工程师必须在相关项目上工作十多年,这花费了 Nvidia 数十亿美元的投资。
"2016年,我们发布了人工智能超级计算机DGX-I,我把它交付给了一家无人知晓的初创公司OpenAI。2022年,也就是十年后,计算量增加了百万倍,公司推出了ChatGPT,现在很多人都知道了。"黄晓庆说。
他说,Nvidia 已经从一家制造 GPU 的图形公司转变为一家制造大规模数据中心级超级计算机的人工智能公司。计算堆栈使用 GPU 来处理由超级计算机训练的大型语言模型,而不是由 CPU 来处理指令。
黄认为,在未来,计算机将对任务进行推理、规划和执行。他认为下一波人工智能浪潮将涉及机器人技术,这是人工智能的一种物理表现形式,将包括小型机器人和整个仓库。
Huang 描述了公司在与 AMD、英特尔、高通等业界重量级公司合作时遇到的一系列挫折。在经历了每一次障碍之后,公司都进行了转型,并寻求新的机遇,例如生产第一台机器人计算机。
十年后的今天,Huang 说他对公司的进步感到非常高兴。具有讽刺意味的是,机器人计算机甚至没有图形功能,而这正是公司的核心优势之一。
他说,未来是不确定的,可能会打出坏牌,他鼓励年轻的毕业生 “迅速摆脱困境”。
以下是演说全文:
黄仁勋:女士们,先生们,罗森鲍姆校长、尊敬的教职员工、贵宾、自豪的父母,最重要的是,加州理工学院 2024 届的毕业生!今天对你们来说真是快乐的一天。你必须看起来更兴奋。你知道你从加州理工学院毕业了。这是伟大的理查德·费曼、莱纳斯·鲍林和对我和我们行业影响很大的卡弗·米德的学校。是的,这是一件大事。
今天是无比自豪和喜悦的一天。这是你们所有人的梦想成真。但不仅仅是你们。因为你们的父母和家人为看到你们达到这一里程碑做出了无数的牺牲。所以让我们抓住这个机会,祝贺他们,感谢他们,让他们知道你爱他们。
你不想忘记这一点,因为你不知道自己会在家里住多久。你今天要非常感激。作为一个骄傲的父母,我真的很喜欢我的孩子们没有搬出去。每天见到他们真是太好了。但现在他们搬出去了,这让我很难过。所以希望你们能花点时间和父母在一起。
你们在这里的旅程证明了你们的性格、决心和为梦想做出牺牲的意愿。你应该感到自豪。做出牺牲、忍受痛苦和磨难的能力,这些品质在生活中是必需的。
你和我有一些共同点。首先,NVIDIA 的两位首席科学家都来自加州理工学院。我今天发表演讲的原因之一是我在招聘。所以我想告诉你们,NVIDIA 是一家非常棒的公司。我是个非常好的老板,深受大家喜爱。来 NVIDIA 工作吧。
你和我都对科学和工程充满热情。虽然我们相差约 40 年,但我们都处于职业生涯的巅峰。对于所有关注 NVIDIA 和我的人,你们都知道我的意思。只是对于你们来说,你们还有许多许多的巅峰要走。我只希望今天不是我的巅峰。不是巅峰。所以我会像以前一样努力工作,确保我未来还有更多的巅峰。
去年我发表毕业典礼演讲,分享了几个关于 NVIDIA 旅程的故事和我们学到的可能对毕业生有价值的经验教训。我不得不承认我不喜欢给建议,尤其是对别人的孩子。所以我今天的建议将主要隐藏在一些我喜欢的故事和我享受的一些生活经历中。
我相信我是当今世界上任职时间最长的科技 CEO。在这 31 年的时间里,我成功地做到了不破产、不厌倦、不被解雇。因此,我很荣幸能够享受人生的很多经历,从创建 NVIDIA 开始,从无到有,再到今天。所以我谈到了创建 CUDA的漫长道路。我们花了 20 多年时间发明的编程模型,它正在彻底改变当今的计算。
我谈到了我们曾经参与的一个非常公开的、被取消的世嘉游戏机项目,以及知识诚实。我知道理查德·费曼非常关心并经常谈论这一点,知识诚实和谦逊拯救了我们的公司。以及如何撤退,战略性撤退,是我们最好的策略之一。所有这些都是我在毕业典礼上谈到的违反直觉的教训。
但我鼓励毕业生参与人工智能,这是我们这个时代最重要的技术。我稍后会再谈一点,但你们都知道人工智能。很难不沉浸其中,被它包围,不被大量关于它的讨论所包围。当然,我希望你们所有人都在使用它,玩弄它,并取得一些令人惊讶的结果,有些是神奇的,有些是令人失望的,有些是令人惊讶的。但你必须享受它,你必须参与其中,因为它发展得如此之快。这是我所知道的唯一一项同时以多个指数级发展的技术。所以这项技术变化得非常非常快。
所以我建议学生们奔跑,不要走路,参与人工智能革命。然而,一年后,它发生了令人难以置信的变化。所以今天,我想做的是从我的角度与你们分享我对你们即将毕业的一些重要事情的看法。
这些是正在发生的非凡的事情,你们应该有一个直观的理解,因为这对你很重要,对行业也很重要,希望你们能抓住眼前的机会。计算机行业正在从基础开始转型,确切地说是从螺柱开始转型。一切都在从头开始改变。在每个层面,很快,每个行业也都将发生改变。原因很明显,因为如今计算机是最重要的知识工具。它是每个行业和每个科学领域的基础。如果我们如此深刻地改变计算机,那么当然会对每个行业产生影响。我稍后会谈到这一点。当你进入行业时,了解正在发生的事情很重要。
现代计算可以追溯到 IBM System 360。那是我从中学习的架构手册。这是一本你不需要学习的架构手册。从那时起,已经提出了很多更好的文档和更好的计算机和架构描述。但 System 360 在当时非常重要。事实上,System 360 的基本思想、架构和原则至今仍主导着计算机行业。它是在我出生一年后推出的。
80 年代,我是第一代 VLSI 工程师之一,他们从 Mead 和 Conway 的里程碑式教科书中学习设计芯片。我不确定这里是否还在教授这本教科书。它应该在 VLSI 系统的介绍中。基于 Carver Mead 在加州理工学院的芯片设计方法和教科书方面的开创性工作,彻底改变了 IC 设计。它使我们这一代人能够设计超巨型芯片,并最终设计出CPU。CPU带来了计算的指数级增长。性能、令人难以置信的技术进步,即所谓的摩尔定律,推动了信息技术革命。
我们这一代人参与的工业革命见证了世界从未见过的大规模生产。看不见的东西的大规模生产,易于复制,软件的大规模生产。它导致了一个价值3万亿美元的产业。当我坐在你这个位置上时,IT行业还很小,而通过销售软件赚钱的想法只是幻想。然而,今天,软件是我们行业生产的最重要的商品、最重要的技术和产品创造之一。
然而,Dennard缩放、晶体管缩放和指令级并行性的极限已经降低了CPU性能。而CPU性能增长放缓正发生在计算需求继续呈指数级增长的时候。如果不加以解决,计算需求和计算机能力之间呈指数级增长的差距,计算能耗和成本、通货膨胀最终将扼杀每个行业。我们可以看到计算通货膨胀的明显迹象。
经过二十年的发展,NVIDIA的CUDA,NVIDIA的加速计算为我们指明了前进的道路。这就是我来这里的原因。因为行业终于意识到了加速计算的惊人有效性,而就在我们目睹了几十年后的计算通货膨胀之时。通过将耗时的算法卸载到专门用于并行处理的GPU,我们通常可以实现十倍、百倍甚至千倍的加速,从而节省资金、成本和能源。
我们现在加速了从计算机图形、光线追踪(当然还有基因测序、科学计算、天文学、量子电路模拟、SQL数据处理,甚至熊猫数据科学)等应用领域。加速计算已经达到了一个临界点。这是我们对计算机行业的第一个伟大贡献。我们对社会的第一个伟大贡献。这就是我们进行加速计算的原因。它现在为我们提供了一条可持续计算的前进道路,随着计算需求的不断增长,成本将继续下降。加速计算带来的时间、成本或能源节省的百倍、千倍,肯定会在其他地方引发新的发展。
直到深度学习进入我们的意识,我们才知道它是什么。一个全新的计算世界出现了。Geoffrey Hinton、Alex和Ilya 使用NVIDIA CUDA GPU训练AlexNet,并在2012年ImageNet挑战赛中获胜,震惊了计算机视觉社区。这是深度学习的重要时刻,是大爆炸,标志着人工智能革命开始的关键时刻。
我们在AlexNet改变了公司之后做出的决定值得注意。我们在AlexNet改变了公司和其他一切之后做出的决定。我们看到了深度学习的潜力,并且相信,只是通过原则思维相信,通过我们自己对深度学习可扩展性的分析相信,我们相信这种方法可以学习其他有价值的功能。也许深度学习是一种通用函数学习器。有许多问题很难或不可能用基本的第一原理来表达。所以当我们看到这一点时,我们认为,这是一项我们真正需要关注的技术,因为它的局限性可能仅受模型和数据规模的限制。
然而,当时也存在挑战。这是2012年,2012年刚过不久。如果不构建这些庞大的GPU集群,我们如何探索深度学习的极限?当时我们是一家相当小的公司。构建这些庞大的GPU集群可能要花费数亿美元。但如果我们不这样做,就无法保证在扩大规模后会有效。但是,没有人知道深度学习可以扩展到多远。如果我们不构建它,我们永远不会知道。这就是其中之一,如果你构建了它,他们会来吗?我们的逻辑是,如果我们不构建它,他们就不会来。
因此,我们根据我们的第一原则信念和分析致力于此,我们让自己相信这将非常有效。当公司相信某件事时,我们应该采取行动。因此,我们深入研究了深度学习,并在接下来的十年里系统地重新发明了一切。我们重新发明了每个计算层。从GPU本身开始。现代GPU的发明与我们最初发明的过去的GPU截然不同,我们继续发明了几乎所有其他计算方面。互连、系统、网络,当然还有软件。
我们投资了数十亿美元。我们向未知领域投资了数十亿美元。十年来,数千名工程师致力于深度学习,推进和扩展深度学习,但并不真正知道我们能将这项技术带到多远。我们投资了数十亿美元,设计和制造了超级计算机,以探索深度学习和人工智能的学习极限。
然后在2016年,我们发布了DGX-1。我们的第一台人工智能超级计算机,我将第一台交付给了旧金山的一家初创公司。一家无人知晓的初创公司。我的一群朋友正在研究人工智能。一家名为OpenAI的公司。
2022年,AlexNet诞生10年后,计算能力增长了约一百万倍。一百万倍。如果你能想象一下如果你的笔记本电脑的功能强大一百万倍会是什么样子。一百万倍之后,OpenAI推出了ChatGPT,AI开始成为主流。
在这十年中,NVIDIA从一家图形公司(许多人可能最初知道我们是一家制造GPU的公司)转型为一家制造大型数据中心级超级计算机的AI公司。我们彻底改变了公司。我们也彻底改变了计算。今天进行计算的基本方式已经发生了根本性的变化。计算堆栈现在使用GPU来处理在超级计算机上训练的大型语言模型,而不是处理程序员编写的指令的CPU。我们现在正在创建人类无法编写的软件。我们现在正在创建能够完成10年前人类无法想象的事情的软件。计算机现在是意图驱动的,而不是指令驱动的。告诉计算机你想要什么,它会弄清楚怎么做。和人类一样,AI应用程序将理解任务原因,规划和协调一个大型语言模型团队来执行任务。未来的应用程序将以与我们非常相似的方式运行和执行,组建专家团队,使用工具,推理和计划,并执行我们的使命。
软件和软件可以做的事情已经完全改变了。甚至我们的行业在改变和转型的过程中也创造了另一个行业,一个世界从未见过的行业。一个行业正在我们眼前形成。人工智能的输入和输出是Token。对于在座的所有工程师来说,你们都知道我的意思。这些是嵌入智能的浮点数。公司现在正在构建一种以前不存在的新型数据中心,专门生产智能Token,本质上是人工智能工厂。就像尼古拉·特斯拉发明的交流发电机一样,在过去的工业革命中,我们现在有了人工智能Token生成器。它们将成为新工业革命的工厂。
有大型工业生产能源、电力。我们现在有一个大型行业生产一种看不见的东西,叫做软件。在未来,在不久的将来,我们将拥有生产制造智能Token的行业——人工智能生成器。一种新的计算模型已经出现,一个新的行业也出现了。这一切都是因为我们从第一原则推理,形成了我们对未来的信念,并根据这些信念采取行动。
人工智能的下一波浪潮是机器人技术。人工智能除了语言模型之外,还有一个物理世界模型。我们与数百家公司合作,制造机器人、机器人车辆、拾取和放置手臂、人形机器人,甚至整个巨大的机器人仓库。但与我们的人工智能工厂战略和我们在那里的经验不同,这些战略和经验实际上是通过推理和深思熟虑的行动形成的,而我们的机器人之旅则源于一系列挫折。
如你所知,NVIDIA发明了GPU。这是在我们发明人工智能工厂之前。我们对计算机行业的第一个伟大贡献是通过可编程着色器重新发明计算机图形。我们在2000年发明了GPU和可编程着色。我们希望将GPU集成到每台计算机中,因此我们开始将GPU与主板芯片相结合,并推出了一款当时适用于AMD CPU的出色集成显卡芯片。我们的芯片组业务一炮打响。我认为它几乎在一夜之间从零发展到10亿美元。
但突然之间,AMD想要控制PC中的所有技术,而我们想要保持独立,因此他们收购了ATI,不再需要我们。我们转向了英特尔。这可能不是一个好主意,但我们转向了英特尔并协商了使用英特尔CPU的许可。苹果对我们正在开发的产品感到兴奋,并要求我们与他们合作开发一款新电脑,也就是第一款 MacBook Air。英特尔看到这种情况后决定不再让我们这样做,于是他们终止了我们的协议。
我们再次转变了方向,这一次,我们获得了 ARM 的许可,并构建了一个低功耗 SoC,一个移动 SoC。世界上第一个 SoC 本质上是一台计算机,一台功能齐全的计算机,这真是令人难以置信。我们的芯片让Google很兴奋,他们要求我们开发一款新设备,结果就是Android移动设备。
但是高通决定不让我们这么做。所以他们不想让我们连接到他们的调制解调器,而如果不连接调制解调器,就很难制造移动设备。而且当时也没有其他 LTE 调制解调器公司。所以我们不得不退出移动设备市场。
这几乎是按年发生的。我们会制造出一些东西,它会非常成功,引起巨大的轰动,然后一年后,我们被踢出这些市场。好吧,没有更多的市场可以依靠,我们决定制造一些我们确定没有客户的东西。因为有一件事是可以肯定的,那就是没有客户的地方也没有竞争对手。没有人关心你。
所以我们选择了一个没有客户的市场,一个 0 亿美元的市场,那就是机器人市场。我们制造了世界上第一台机器人计算机,它处理一种当时没人理解的算法,即深度学习。这已经是 10 多年前的事了。10 年后,我对我们所取得的成就以及创造下一波人工智能的机会感到非常高兴。
更重要的是,我们培养了敏捷性和韧性文化。一个接一个的挫折,我们摆脱了它,滑向下一个机会。每一次,我们都获得了技能并增强了我们的性格。我们加强了我们的企业性格。我们的公司很难分心,很难气馁,如今,我们遇到的任何挫折都看起来不像是一个机会。
具有讽刺意味的是,我们今天制造的机器人计算机甚至不需要图形,这就是我们开始旅程的原因。所以我们今天所处的位置告诉我们一些事情,也教会了我们一些东西。正如理查德·费曼所说,世界是不确定的,世界可能不公平,给你发难牌。迅速摆脱它。显然,你对你的书籍过于关注了。迅速甩掉它。来吧,这很聪明。我笑了。那里还有另一个机会,或者创造一个机会。
让我再给你讲一个故事。我过去每年夏天都会在我们的一个国际站点工作一个月。当我们的孩子十几岁的时候,我们在日本度过了一个夏天。一个周末,我们参观了京都和银庙。如果你还没有机会去,你一定要去。它以其精致的苔藓花园而闻名。我们参观的那天是典型的京都夏日。闷热潮湿,粘稠,热气从地面散发出来。空气很浓,静止不动。我们和其他游客一起漫步在精心修剪的苔藓花园中。我注意到那个孤独的园丁。
现在记住,苔藓花园,这是银庙,苔藓花园非常大。它和这个庭院差不多大。它收藏了世界上几乎所有种类的苔藓,是最大的收藏。而且保存得非常完好。
我注意到那位孤独的园丁蹲在那儿,用竹镊子小心翼翼地摘着青苔,然后把它放进竹篮里。这是一把竹镊子。只有这一位园丁。而且竹篮里看起来是空的。有那么一瞬间,我以为他正在从一堆想象中的死苔藓中摘取想象中的青苔。
于是我走到他面前,问他:“你在干什么?”他用英语说:“我在摘死苔藓。我在照料我的花园。”我说:“但是你的花园那么大。”他回答说:“我已经照料我的花园25年了。我有充足的时间。”
那是我一生中最深刻的学习之一。它真的教会了我一些东西。这位园丁致力于他的手艺,并从事他一生的工作。当你这样做时,你就有充足的时间。
我每天早晨都以同样的方式开始做事,我每天早晨都先做优先级最高的工作。我有一个非常清晰的优先级列表,我先从优先级最高的工作开始。在我上班之前,我的一天就已经很成功了。我已经完成了我最重要的工作,可以将这一天奉献给帮助他人。当人们为打扰我而道歉时,我总是说,我有足够的时间。我确实有。
2024届毕业生们,我几乎无法想象有谁比你们更能为未来做好准备。你们全身心投入,努力工作,在世界上最负盛名的学校之一获得了世界一流的教育。当你进入下一个阶段时,请吸取我的教训,希望它们能帮助你。
我希望你相信一些东西,一些非传统的、未被探索的东西。但要让它变得明智,让它变得合理。然后全身心投入实现它。你可能会找到你的GPU,你可能会找到你的CUDA,你可能会找到你的生成式AI,你可能会找到你的NVIDIA。
我希望你们能将挫折视为新的机遇。你的痛苦和苦难将增强你的性格、你的韧性和敏捷性,它们是终极的超能力。在我最看重的所有能力中,智力并不是最重要的。我忍受痛苦和折磨的能力,我长时间工作的能力,我应对挫折和看到眼前机遇的能力,我认为这些都是我的超能力。我希望你也有。
我希望你能找到一门手艺。我希望你能找到一门手艺。第一天就决定并不重要。甚至在短期内做出决定也不重要。但我希望你能找到一门手艺,你想用一生去完善它,磨练它的技能,让它成为你一生的事业。
最后,优先考虑你的生活。有很多事情要做。有很多事情要做。但优先考虑你的生活,你就有足够的时间去做重要的事情。
恭喜,2024届的毕业生!