OS2ATC 2021:开源协作,和而不同

12月26日由中科院软件所主办,清华大学、北京大学以及鉴释科技承办的第九届开源操作系统年度技术会议(OS2ATC)正式拉开序幕,百余位重量嘉宾莅临现场,围绕大会主题“开源协作,和而不同”共同探讨操作系统开源生态和技术前沿。

此次大会以线上线下结合的模式举办,共吸引了超过500名业内人士参加。会议当天上午,来自清华大学、上海交通大学、香港大学等国内外高等学府的教授坐阵主会场及圆桌论坛,向大家传递领域内最新科技进展,下午在北京、上海、深圳三地举行分论坛研讨会,更有华为、阿里云、腾讯云、蚂蚁集团等知名科技企业的技术专家围绕往年“内核技术”、“应用生态”、“云原生”、“虚拟化技术”、“编程技术”等主题讨论,以及今年特别增加的“机密计算“、”车载OS“、“硬件”这三大热门的方向展开演讲。八大分会场将同时为大家带去各自主攻技术的主题演讲,为操作系统开源协作建言献策。

在北京的主会场上,本次会议主席,来自中科院软件所的副总工、智能软件研究中心主任武延军老师致开场词,预祝大会顺利进行。

随后来自香港大学、清华大学、上海交大、阿里、腾讯等在操作系统领域卓有建树的专家学者带来的精彩的技术报告:

香港大学助理教授崔鹤鸣带来了主题为《AI大模型并行训练系统平台》的演讲内容,其内容将发表在ASPLOS2022大会上。在演讲中,他介绍了AI大模型三维分割中的流水线并行与大模型的动态性两大问题。针对流水线并行问题,崔鹤鸣老师的研发团队联合华为技术专家与中科大老师研发的系统,通过在底层进行虚拟化的CPU内存管理,合理的通过一系列算法对default、Swap、recompute、Migration四大状态进行分配,从而实现了在整个流水线高吞吐量的同时,又不会影响CPU闪存的工作状态。

同时崔老师也介绍了其团队后续的研究计划,他将带领团队深入研究AI大模型的动态性问题,通过在三维并行之外添加全新的超网子网并行维度,实现更具性能的AI大模型训练平台。

在接下来的演讲中,阿里云智能技术软件部操作系统团队负责人马涛发表了《云计算与操作系统产业的发展》主题演讲。他讲述了阿里云10年的云计算发展实践之路和云原生的发展方向:从开源CentOS到阿里OS再到去IOE浪潮,从技术的内部满足到后来的产品化输出,以及近两年阿里云致力于的开源社区与生态的构建。

在演讲中马涛总结了未来操作系统产业的五大发展趋势与机遇,即:

  • 云计算时代重塑计算形态需要新的运行环境
  • 后摩尔定律时代需要进一步提升计算效率
  • 海量数据爆炸之下遇到的内存墙问题
  • 数据安全和隐私保护推动新的计算技术
  • 下个十年操作系统产业发展依然要以开源社区为中心

继马涛在演讲中提到大数据时代的内存问题,下一位演讲嘉宾清华大学陆游游副教授分享了《内存系统一致性的新探索》主题演讲。针对闪存系统的崩溃一致性问题,陆游游老师的研发团队针对存储系统中的ordering与transaction,通过硬件的方式做出改变与尝试。陆老师介绍的相关内容发表在OSDI2021等国际会议上。

他表示:硬件的性能越来越快,但是很多时候由于软件功能的限制,我们并不能将硬件的性能发挥完全。比如说想要通过传统软件实现通过一个字节访问接口访问PRM是很麻烦的,但通过硬件就比较容易实现。我们所做的便是在软硬件接口上做很小的改变,利用硬件特性扩展的一点点接口,就可以在软件层面上实现很大的改变。

接下来,上海交通大学的糜泽羽带来了主题为《TwinVisor:Hardware-isolated Confidential Virtual Machines for ARM》的演讲,糜老师介绍的相关内容发表在OSDI2021等国际会议上。随着有越来越多的公司和个人将数据托管于云上,来自云上的攻击层出不穷,如何保护用户在云上的数据安全成为一个很大的命题。在演讲中,糜泽羽老师介绍了利用TrustZone技术为云用户提供云虚拟机安全方案的系统Twinvisor。通过复用非安全世界、安全世界之外非常成熟的KVMhypervisor,统一管理物理机器上的所有资源以及NVEM,进行统一调度分配,从而保障安全。

 

在演讲中,糜泽羽老师以TrustZone静态硬件设计假设之上进行动态资源转移的场景案例进行了进一步说明。他表示:利用Linux现有的CMA,我们可以实现动态的内存管理模式,即不用的时候内存可以为Linux其他模块所使用,需要使用时CMA可以大面积管理连续内存。利用这一机制,我们实现了两个世界之间协同的内存管理解决方案。

腾讯云异构计算研发负责人宋吉科为与会嘉宾分享了《腾讯云异构计算技术的演进之路》的主题演讲。随着计算异构化的趋势愈发明显,对于GPU产品而言,单一业务无法保障利用率,而多业务又会存在显存隔离、算力隔离、故障隔离的三大维度问题。所以业界需要一个能够同时满足三大隔离行要求,同时不存在明显短板的GPU共享解决方案。腾讯云所研发的qGPU通过在Kernel space将UMD和KMD之间的通信进行完整的拦截和控制,实习了显存隔离、算力隔离、 故障隔离三大隔离性要求。同时qGPU支持best-effort、fixed-share与burst-share三大模式以满足各类业务场景下的不同需求。

同时在演讲中宋吉科还深入地介绍了腾讯内部虚拟team云帆团队推出的AI加速引擎TACO。该产品由用户态协议栈HARP、分布式训练框架LightCC以及增强版TTensorflow三大组件组成,实现了分布式训练加速以及推理引擎加速的功能。

高级首席工程师林晓东先生介绍了面向机器学习加速的新的x86硬件扩展:AMX(高级矩阵扩展)。AMX设计主要用于对矩阵进行操作,目的是加速机器学习工作负载。矩阵乘法是神经元网络的关键操作,与VNNI(矢量神经元网络指令)相比,AMX为矩阵乘法提供了8倍的FLOPS。伴随着显著的性能提升,AMX引入了一个新的寄存器文件,有8个1KB的架构寄存器。大量的寄存器给操作系统带的进程/线程上下文切换等,特别是进程/线程状态管理,带来了挑战,为此需要采用惰性切换等技术确保进程/线程管理的高效性。最后还具体介绍了AMX在TensorFlow和PyTorch等DL框架中的应用,以及Linux中的进程/线程状态管理的方法。

在时代浪潮的推动下,作为基础软件的三大件之一,操作系统的创新升级与开源协作势在必行。而每年的OS2ATC对于开发者而言,则是一个开拓技术事业,提升行业认知的良好窗口。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512668.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChaosBlade:从混沌工程实验工具到混沌工程平台

简介: ChaosBlade 是阿里巴巴 2019 年开源的混沌工程项目,已加入到 CNCF Sandbox 中。起初包含面向多环境、多语言的混沌工程实验工具 chaosblade,到现在发展到面向多集群、多环境、多语言的混沌工程平台 chaosblade-box,平台支持…

揭秘阿里云 RTS SDK 是如何实现直播降低延迟和卡顿

简介: RTS NetSDK是未来直播和通信一体化SDK的基石。在RTS NetSDK之上,加一个Multimedia Framework,以及QoS消息处理,就可以构成一个一体化SDK。这对于已经有自己的Framework的客户来说是个好消息,不需要为直播和通信分…

Forrester云原生开发者洞察白皮书,低代码概念缔造者又提出新的开发范式

简介: 云原生时代的到来为开发者群体带来了前所未有的机遇,让开发者可以更加专注业务价值创造与创新,并使得人人成为开发者成为现实。广大开发者如何转型成为云原生开发者?运维等专业人员在云原生时代如何避免边缘化的囧境&#x…

彻底理解内存泄漏,memory leak

作者 | 码农的荒岛求生来源 | 码农的荒岛求生内存申请就好比去停车场找停车位,找到停车位后你就可以把车停在这里。从这个类比看什么是内存泄漏呢?内存泄漏看上去是停车场的车辆只进不出导致最终找不到停车位,从程序员的角度看就是内存只申请…

动态后台获取_后台管理系统的权限以及vue处理权限的思路

一般来说,在(后台)管理系统(最早的企业级的项目和网站的后台管理系统现在大部分人都叫后台管理系统)中才会有权限之说。权限分为功能级权限和数据级权限。这篇文章主要谈论功能级权限。一、名词解释:权限的…

ARMv9刷屏 —— 号称十年最大变革,Realm机密计算技术有什么亮点?

简介: 让我们看下ARMv9机密计算相关的新特性Realm。 ARMv9的新闻刷屏了。ARMv9号称十年以来最重大变革,因此让我们看下ARMv9中机密计算相关的新特性Realm。(注:本文是对Introducing the Confidential Compute Architecture的部分翻…

JVM性能提升50%,聊一聊背后的秘密武器Alibaba Dragonwell

简介: 你要知道的关于Alibaba Dragonwell一些重要优化措施。 今年四月五日,阿里云开放了新一代ECS实例的邀测[1],Alibaba Dragonwell也在新ECS上进行了极致的优化。相比于之前的dragonwell_11.0.8.3版本,即将发布的dragonwell_11.…

34 年了,“杀”不死的 Perl!

作者 | 祝涛 出品 | CSDN(ID:CSDNnews)2021年12月18日,Perl迎来了自己34岁的生日。当程序员聊到Perl会聊些什么呢?在各大平台搜索Perl时,你会发现大家对Perl的态度呈现出一种两级分化的状态&#xff…

“不服跑个分?” 是噱头还是实力?

简介: Linux内核社区常常以跑分软件得分,来评价一个优化补丁的价值。让软件跑高分,就是实力的体现! 一、背景:性能之战 “不服跑个分”已经沦为手机行业的调侃用语,但是实话实说,在操作系统领域…

Medusa 又一个 Shopify 的开源替代品!

作者 | Eason来源 | 程序员巴士Medusa是一个开源的headless商务引擎,具有速度快且可定制的优点。由于 Medusa 分为 3 个核心组件 - 公开的REST API headless商务部分、商店的前端以及admin面板 - 大家可以自由地整体使用该平台或者来适配设置电子商店。在本教程系列…

coredump 瘦身风云

简介: minicoredump神也! 继上一篇非典型程序员青囊搞定内存泄露问题后,美美地睡了一觉。睡梦中,突然金光闪闪,万道光芒照进时光隧道,恍惚来到大唐神龙年间。青囊此时化身狄仁杰高级助理,陪同狄…

谁来拯救存量SGX1平台?又一个内核特性合并的血泪史

简介: 今天的故事主角,是一个被称为Flexible Launch Control的SGX平台特性。 前言 自从Intel内核开发人员Jarkko Sakkinen于2017年9月2日在intel-sgx-kernel-devlists.01.org邮件列表上发出v1版的SGX in-tree驱动以来,时间已经过去了3年多了…

DataWorks 功能实践速览

简介: DataWorks功能实践系列,帮助您解析业务实现过程中的痛点,提高业务功能使用效率! 功能推荐:独享数据集成资源组 如上期数据同步解决方案介绍,数据集成的批数据同步任务运行时,需要占用一…

spring 事务隔离级别和传播行为_Java工程师面试1000题146-Spring数据库事务传播属性和隔离级别...

146、简介一下Spring支持的数据库事务传播属性和隔离级别介绍Spring所支持的事务和传播属性之前,我们先了解一下SpringBean的作用域,与此题无关,仅做一下简单记录。在Spring中,可以在元素的scope属性中设置bean的作用域&#xff0…

长江存储发布PCle4.0 固态硬盘致态TiPro7000,顺序读取7400MB/s

2021年12月29日,长江存储重磅发布全新消费级旗舰固态硬盘产品致态TiPro7000。该产品采用基于Xtacking(晶栈) 2.0架构的长江存储第三代三维闪存芯片,支持PCle Gen4x4接口、NVMe 1.4协议,顺序读取速度高达7400MB/s。该产…

图像ISP处理——畸变校正算法

图像畸变校正算法主要用于矫正图像中因为摄像机镜头畸变而引起的形状和尺寸变化。摄像机镜头畸变主要包括径向畸变和切向畸变。以下是一些常见的图像畸变校正算法: 多项式畸变校正法(Polynomial Distortion Correction): 原理&am…

KubeDL 加入 CNCF Sandbox,加速 AI 产业云原生化

简介: 2021 年 6 月 23 日,云原生计算基金会(CNCF)宣布通过全球 TOC 投票接纳 KubeDL 成为 CNCF Sandbox 项目。KubeDL 是阿里开源的基于 Kubernetes 的 AI 工作负载管理框架,取自"Kubernetes-Deep-Learning"…

预登录握手失败_英雄联盟手游登录问题汇总

1、出现“无法安装完成”的情况已经获取了资格,但出现“无法安装完成”的情况,譬如谷歌商店的下载界面一直闪退、下载没进度、卡在安装中、卡在等待中怎么办?可前往第三方下载软件,(推荐介绍GamesToday)下载游戏。2、提示:目前还…

云云协同解决方案全景图发布 华为云助力科技企业云上创新

12月29日,以“云云协同 共创云上新价值”为主题的华为云&华为终端云服务创新峰会2022在京圆满召开。华为云与产业专家和企业代表们共同探讨了在产业数字化机遇与挑战并存的新形势下,如何推动产业升级,共创新价值。 会上,面向科…

解密万亿参数M6模型预训练背后的分布式框架Whale

简介: 最近,阿里云PAI团队和达摩院智能计算实验室一起发布“低碳版”巨模型M6,大幅降低万亿参数超大模型训练能耗。借助我们自研的Whale框架仅使用480卡GPU,即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6,与…