AI原生时代,操作系统为何是创新之源?

一直以来,操作系统都是软件行业皇冠上的明珠。

从上世纪40、50年代,汇编语言和汇编器实现软件管理硬件,操作系统的雏形出现;到60年代,高级编程语言和编译器诞生,开发者通过操作系统用更接近人的表达方式去开发应用;再到十多年前,软件复杂度和规模提升,操作系统管理对象变成集群和上面运行的各种“微服务”,云计算成为一种操作系统,让开发者降低集群管理的复杂性。

可以说,一部操作系统的历史就是开发者/开发方式不断演进的历史。如今,步入到AI原生时代,大模型与AI原生应用爆发,一场操作系统的新技术革命已经爆发,操作系统正成为AI原生时代的开发创新之源。

正如本周Create 2024 百度AI开发者大会上,百度智能云率先发布新一代智能计算操作系统--万源,通过对AI原生时代的智能计算平台进行抽象与封装设计,为用户屏蔽掉云原生系统与异构算力的复杂性,重新定义人机交互,为开发者带来简单、流畅的开发体验。

随着万源操作系统的发布,一个人人都是开发者的伟大时代正式拉开序幕。

AI原生时代,操作系统再进化

多年前,Linux操作系统创始人Linus Torvalds有句名言:“Talk is cheap, Show me the code.”

的确,在过去的开发领域,代码胜于雄辩,开发者们希望通过Linus这句话表达对代码技术的推崇。如今,一切都已改变,通过自然语言来编程不是梦。在大模型的加持下,一个人人都是开发者的时代正加速到来。

百度集团执行副总裁、百度智能云事业群总裁沈抖认为,大模型的出现,彻底改变了人与机器之间的关系,从而驱动软件开发范式的变革,“传统云计算系统依然重要,但不再是主角。大模型与AI原生应用爆发后,我们需要一个全新的操作系统。”

仔细分析,未来趋势的确如此。大模型的出现,本质上是一次影响深远的科技平权。以开发为例,过去是少数经过专业训练的程序员的特权,现在则通过自然语言即可实现。在大模型逐渐渗透到各个领域的时代,操作系统亦不除外,加速走向进化。

从技术演进规律和市场需求来看,以AI为核心的新一代智能计算操作系统也是必然的进化方向。

首先,在基础设施硬件变了,随着人工智能应用爆炸性增长,异构计算环境会成为标配,在一个集群中通常会存在数量庞大的不同芯片,尤其大模型训练通常需要万卡集群,需要操作系统有能力进行管理、调度和优化,实现算力资源的高效释放。

其次,操作系统的内核不可避免地走向更加复杂,大模型正在成为操作系统的新内核。大模型作为核心引擎,在操作系统内核中不能缺位。除了各种大模型之外,操作系统还需要具备构建强大的大模型服务能力,提供模型调用、评估、部署、调用等工具链。

第三,操作系统还需要提供好的应用开发工具去做工作流编排、插件管理,重新定义人机交互,为开发者提供更简单、更流畅的开发体验。

“新一代智能计算操作系统除了管理底层硬件转变为异构计算外,还首次增加了大模型压缩的世界知识,管理对象从管理进程、管理微服务变成管理智能,并且彻底改变软件开发范式,编程从面向过程、面向对象到面向需求,编程开发语言到自然语言进化。”沈抖总结道。

某种程度而言,以百度智能云的万源为代表的新一代智能计算操作系统出现,有望真正降低AI应用开发的门槛,让人人都能成为开发者,加速实现AI普惠化。

万源为何能成为AI创新之源

一直以来,操作系统都具有极高的技术难度,市场准入门槛也极高。

进入到AI原生时代,新一代智能计算操作系统更像是硬件能力、AI能力、云能力等综合能力的一次沉淀,建设难度更高。毫无疑问,百度智能云凭借在AI领域、云计算领域、开发者领域多年深厚的积累,使得其万源操作系统在开局就树立起新一代智能计算操作系统的标杆。

作为AI原生时代的智能计算操作系统,万源的架构由由Kernel(内核)、Shell(外壳层)、ToolKit(工具层)组成。

在内核层,万源屏蔽了异构计算的复杂性,其百舸AI异构计算平台在万卡集群上的有效训练时长占比超过98.8%,带宽有效利用率都达到了95%,算力效能业界最高,并且高效适配昆仑芯、昇腾、海光 DCU、英伟达、英特尔等国内外异构芯片,支持以最小代价完成算力适配。

百度集团副总裁侯震宇介绍:“万源基于百度在AI、云计算等领域多年的积累,然后在AI原生时代应运而生。像百舸AI异构计算平台已在大模型训练推理和应用的复杂场景中得到充分验证。”

以异构计算目前面临最大的一云多芯挑战为例,其对于技术能力、工程化能力、生态能力要求极高,需要对不同芯片、芯片架构和应用软件进行全方位的拉通,还需要在真实复杂场景中得到考验。而且,鉴于国内芯片供应现状,“一云多芯”是企业不可避免的选择,要多芯混用来构成集群跑大模型训练任务。

尤其如何在大模型训练、特别是单一训练任务上,管理好不同的芯片就是业界极难攻克的技术难点之一,需要解决不同厂商芯片的算力均匀切分、芯片间通信效率优化等问题。目前,百舸已经实现了单一训练任务下不同厂商芯片的混合训练,且百卡规模性能损失不超过3%,千卡规模性能损失不超过5%,业界领先,最大程度上屏蔽硬件之间差异,帮助用户摆脱单一芯片的依赖。

万源在“一云多芯”方面取得业内超前水平的技术突破数据背后,得益于采用的很多创新技术,一方面百舸底层的加速库AIAK,通过做好网络通信加速,让不同的芯片都能跑起来,实现线性加速比达到95%;此外百舸在底层加速库做并行框架实现,采用Tensor Parallel(张量并行)、流水线并行,模型并行等多种并行策略,且采用自研自适应算法自动实现并行策略的参数设定,实现让异构芯片都跑在同一张算力网里,跑在同一个训练任务上。

除了一云多芯外,万源的内核层还融入了文心大模型系列+三方大模型,大模型可以压缩世界知识,将自然语言的理解、生成、逻辑、记忆能力封装起来、向上提供简单的接口,保障让AI原生应用高效运行,充分满足用户在不同业务场景下的多样化需求。

在内核层之上则是Shell层,通过千帆ModelBuilder来屏蔽掉模型开发的复杂性,解决模型的管理、调度、二次开发问题。千帆Modelbuilder将模型开发工具链产品化,可以满足企业和开发者在细分场景下对基础大模型做快速微调、精调等的需求。此外,千帆ModelBuidler还提供模型路由服务,支持根据不同任务选择适合的模型,组合编排模型来将模型能力最大化。

在Shell层之上,则是有千帆AppBuilder和AgentBuilder应用开发平台组成的工具层,核心就是屏蔽掉应用开发的复杂性,为开发者提供 AI 原生应用开发能力,提升开发效率和使用体验。千帆AppBuilder主要面向AI应用快速开发,AgentBuilder则是聚焦智能体开发工具。

以千帆AppBuilder为例,开发者不需输入代码,使用自然语言就能开发出一个AI原生应用,并且还能通过API或者SDK集成到系统之中,还能快速对外发布。

做好生态,让创新成为活水

操作系统成败在于生态,新一代智能计算操作系统更不可能例外。

AI原生时代,有了新一代智能计算操作系统这个创新之源头,还需要通过生态体系来让创新的活水滋润千行百业。那么,如何让新一代智能计算操作系统的生态体系良好成长?

百度智能云的思路是以应用为牵引,携手头部行业伙伴,共同探索大模型应用的落地与实践,让新一代智能计算操作系统、大模型在生态伙伴的实际业务场景中用起来。截止目前,百度智能云千帆大模型平台近6个月的合作伙伴数量增长已经超过500%,生态体系建设效果显著。

另一方面,万源的发布仅仅是一个起点,百度智能云的思路是未来在生态层进一步开放,通过各种措施来推动万源生态体系的茁壮成长。

具体来看,百度智能云未来向上会开放更多能力和接口,让开发者在开发应用时更加简单;向左则会以万源为基础,面向行业打造垂直行业操作系统,让新一代智能计算操作系统加速进入更多行业;向右则会将万源部署到企业的智算中心,提供稳定、安全、高效的智算环境;向下则会适配更多芯片,进一步隐去异构集群的复杂性,让不同芯片发挥最大的算力效能。

综合来看,百度智能云万源操作系统的发布的确给了业界一个明确的信号,即AI原生时代操作系统会加速走向进化。毫无疑问,百度智能云打造万源,就像是做一件极难但正确的事情,对于AI应用创新、AI普惠等长远发展将大有裨益。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/823.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

方程豹春季品牌发布会:全家族矩阵献礼比亚迪

春意盎然的四月,深圳也迎来了中国新能源汽车领域的一场盛事。 4月16日,作为比亚迪旗下全球首个专业个性化汽车品牌,方程豹在深圳隆重举办春季发布会。 在这场以“方华”为主题的发布会上,方程豹汽车全家族矩阵首次集体亮相&#x…

【数据结构】单链表经典算法题的巧妙解题思路

目录 题目 1.移除链表元素 2.反转链表 3.链表的中间节点 4.合并两个有序链表 5.环形链表的约瑟夫问题 解析 题目1:创建新链表 题目2:巧用三个指针 题目3:快慢指针 题目4:哨兵位节点 题目5:环形链表 介绍完了…

美化博客文章(持续更新)

🎁个人主页:我们的五年 🔍系列专栏:游戏实现:贪吃蛇​​​​​​ 🌷追光的人,终会万丈光芒 前言: 该文提供我的一些文章设计的一些方法 目录 1.应用超链接 1.应用超链接

mysql in查询优化

都说in查询比较慢,要改成子查询模式,ChatGPT大模型告诉了我,SQL中替换In查询的10种方法,太赞了,按照这个说的集中方法,验证一下。因为实际项目中确实存在in很多的情况。 查询执行的先后顺序对优化有必要&am…

【EI会议征稿】2024年先进机械电子、电气工程与自动化国际学术会议(ICAMEEA 2024)

2024 International Conference on Advanced Mechatronic, Electrical Engineering and Automation ●会议简介 2024年先进机械电子、电气工程与自动化国际学术会议(ICAMEEA 2024)将汇聚全球机械电子、电气工程与自动化领域的专家学者,共同…

计算机网络:CSMA/CA协议

计算机网络:CSMA/CA协议 CSMA/CA概述帧间间隔工作原理退避算法虚拟载波监听 CSMA/CA概述 讲解CSMA/CA之前,我们回顾一下CSMA/CD的三个特性: 多址接入MA:多个主机连接在一条总线上,竞争使用总线 载波监听CS&#xff1a…

web网站搭建实验

综合练习:请给openlab搭建web网站 网站需求: 1.基于域名www.openlab.com可以访问网站内容为 welcome to openlab!!! 2.给该公司创建三个子界面分别显示学生信息,教学资料 和缴费网站,基于,www.openlab.com/data网站…

X-314智能合约:金融创新的强大引擎

💥火爆到烫手的X-314智能合约🔥 X-314智能合约是基于以太坊区块链开发的,具有高度可定制性和灵活性。 ave开单独板块;详细资料已经准备好;对web3感兴趣的大佬货;多交流多指导🤝 ​X-314智能合…

JUC(java.util.concurrent) 的常见类

Callable 接口 Callable 的用法 Callable 是一个 interface(类似之前的 Runnable,用来描述一个任务,但是没有返回值)也是描述一个任务的,有返回值。方便程序猿借助多线程的方式计算结果. 例如:创建线程…

Zynq7000系列中PL时钟使用

可编程逻辑(PL)具有自己的时钟管理生成和分配功能,并从处理器系统(PS)中的时钟发生器接收四个时钟信号(如图25-10所示)。 在嵌入式系统中,PL时钟的管理和分配对于确保逻辑电路的正确…

QT跨平台读写Excel

QT跨平台读写Excel 背景Excel工具CMakeLists.txt工程目录 背景 开发框架QT,makefile构建工具CMake,编译器MinGW Excel工具 考虑跨平台则不能使用针对微软COM组件的QAxObject来读写Excel,因此使用开源QtXlsx。 这里是将QXlsx当做源码嵌入使…

使用FastDDS编译IDL文件

1.安装FastDDS环境 Ubuntu22.04 1.1安装依赖的软件 sudo apt-get update //基础工具安装 sudo apt install cmake g python3-pip wget git //Asio 是一个用于网络和低级 I/O 编程的跨平台C库,它提供了一致的 异步模型。 TinyXML2是一个简单,小巧&…

Redis进阶——GEO地理坐标附近商户案例

目录 GEO数据结构的基本用法GEO概述GEO命令的使用GEO数据结构练习 导入店铺数据到GEO业务场景实现代码如下 实现附近商户功能 GEO数据结构的基本用法 GEO概述 GEO就是Geolocation的简写形式,代表地理坐标。Redis在3.2版本中加入了对GEO的支持,允许存储…

过氧化氢滴定方法可用的PFA器皿有哪些?

滴定液:KMnO4标准溶液 试液:H2O2商品液(3%),H2SO4 (3.0mol/L ) 指示剂:酚酞指示剂 仪器:分析天平,PFA酸式滴定管50mL,PFA 移液管10mL/25mL、PFA 容量瓶250mL、PFA锥形瓶250mL 1、KMnO4标准溶液浓度的标定(见实验:高锰酸钾标准溶液的配制与…

nodejs工具脚本json转excel

json转excel 主要使用 sheetjs 库 vim convertJsonToExcel.js 封装转换方法 import fs from fs; import XLSX from xlsx;/*** 扁平化嵌套json对象* param {Object} jsonObj* param {String} prefix* returns*/ export function flattenKeys(jsonObj, prefix ) {const resul…

java-springmvc 01

MVC就是和Tomcat有关。 01.MVC启动的第一步,启动Tomcat 02.Tomcat会解析web-inf的web.xml文件

战姬物语部署

一.准备环境 #关闭seliunx和防火墙 setenforce 0 systemctl stop firewalld systemctl disable firewalld #配置源,并安装常用工 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo curl -o /etc/yum.repos.d/epel.repo …

Spring Task 定时任务(含结合cron 表达式)

目录 一、Spring Task的介绍 二、使用方法 2.1 配置类启用定时任务支持: 2.2 同步定时任务 ​编辑2.3 fixedRate 可以看出不能满足我们的日常需求 那如何让其开启异步呢(开启多个线程工作) 三、Spring Task 结合cron表达式 3.1 corn 表…

【动态规划】dp 路径问题(不同路径、路径最小和、地下城游戏...)

文章目录 1. 前言 - 理解动态规划算法1.5 关于dp路径问题2. 例题2.1_不同路径Warning. 关于状态表示 3. 算法题3.1_不同路径II3.2_珠宝的最高价值3.3_下降路径最小和3.4_最小路径和3.5_地下城游戏关于状态表示的两种选法: 1. 前言 - 理解动态规划算法 关于 动态规划…

超越GPT-4V,苹果多模态大模型上新,神经形态计算加速MLLM(一)

4月8日,苹果发布了其最新的多模态大语言模型(MLLM )——Ferret-UI,能够更有效地理解和与屏幕信息进行交互,在所有基本UI任务上都超过了GPT-4V! 苹果开发的多模态模型Ferret-UI增强了对屏幕的理解和交互&am…