XSKY CTO 在英特尔存储技术峰会的演讲:LLM 存储,架构至关重要

5 月 17 日,英特尔存储技术峰会在北京顺利举办。作为英特尔长期的合作伙伴,星辰天合受邀参加了此次峰会。星辰天合 CTO 王豪迈作为特邀嘉宾之一,作了主题为《LLM 存储:架构至关重要》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战,与来自阿里云、英特尔等公司的诸位业界专家共同探讨了人工智能时代存储系统的发展愿景与技术趋势。


5bd4212ff29d54d5eb9b0a39963420f2.jpeg

人工智能时代的存储系统技术趋势

大模型时代企业竞争的核心要素就是数据,在数据处理和流通的过程中,数据存储是不可或缺的重要一环,而高效可靠的存储系统将成为人工智能的重要底座。

此次英特尔存储技术峰会,英特尔邀请了业界合作伙伴、专家等深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括如何发挥高性能存储介质的性能、如何利用新一代互联技术重构存储系统、如何进行下一代存储软件系统创新等等,旨在通过多方协作,为客户构建拥有极致性能、安全可靠、高可扩展性和高能效的新一代存储系统。


XSKY 主题演讲:LLM 存储,架构至关重要 

在 XSKY 主题演讲环节,XSKY CTO 王豪迈首先介绍了 CPU 和 GPU 在处理大规模 AI 应用中的不同表现。CPU 内存系统优化了低延迟和深度缓存层次结构,适合处理延迟敏感的代码,例如链表操作。相比之下,GPU 内存系统则优化了高吞吐量和高带宽缓存,更适合数据和数学密集型代码,例如向量归约。为此,高带宽存储(HBM)成为解决存储瓶颈的关键技术之一,它能够显著提升存储系统的性能,从而满足未来高性能计算和 AI 应用的需求。

王豪迈指出,HBM 是存储转型的驱动力。在大模型训练中,存储系统需要处理的大量数据写入,这使得存储写带宽成为决定性能竞争力的关键因素。特别是在多模态场景中,大量小文件的处理对底层存储性能是一个重大挑战。

c8e20399a5eda385d5f2c5ba638e3c84.jpeg

现有的传统 NAS 存储架构以及并行文件系统架构,都有对应优势和适应场景,但是都存在一些架构的限制,使得在一些问题上应对困难,比如在大语言模型的场景下,前者会遭遇写放大的严酷挑战,而后者在应对多模态场景中的海量小文件时,可能会碰到性能不足的问题。

d763af9fd90ef23a2101300a6cd0fe08.jpeg

王豪迈表示,星辰天合最新发布的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)将是应对大语言模型存储需求的理想架构,它由于采用了全共享架构,因此在针对慢盘、亚健康网络问题时,能在 100 毫秒内快速切换,以保证系统的稳定运行;由于采用了单层 SSD 架构,可以借助 QAT 加速数据压缩/解压缩的强大能力,采用大规模的 EC+压缩,从而实现 100%的存储空间利用率;也由于采用了端到端的 NVME,因此能够实现 100 微秒的低延迟。

41851c2677bda6962a42cfa7abf0bbaf.jpeg

此外,基于 XSEA、针对大语言模型存储需求,在即将发布的新产品中,星辰天合将会通过全局 EC 和数据压缩技术,实现写放大的 100%降低,提升存储效率

XSKY 在存储架构上的这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。

展望未来,王豪迈表示,随着 AI 技术的发展,存储系统需要处理的数据量和复杂度将不断增加,优化存储带宽和改进存储技术是应对这些需求的关键,XSKY 将继续致力于存储技术的研发,通过架构创新和不断的技术迭代和优化,为客户提供更高效、更可靠的存储解决方案。

他特别强调了 HBM 技术在这一过程中的核心作用。通过优化 HBM 技术,可以大幅提升存储系统的性能,以应对未来高性能计算和 AI 应用的需求。他认为,只有通过持续的技术创新和架构优化,才能在快速发展的 AI 和大数据时代保持竞争优势。


联手英特尔 持续推动存储架构创新

作为领先的专业软件定义存储企业,星辰天合致力于与芯片、操作系统、数据库、人工智能等上下游企业合作,以持续推动存储架构的创新。 作为英特尔的长期合作伙伴,星辰天合始终紧跟英特尔的技术发展进行创新和研发。在星辰天合最近发布的新一代全闪分布式存储系统 星飞 XINFINI  9000 中,就采用了英特尔 QAT 加速数据压缩/解压缩,从而大幅度提升存储系统性能,在降低了高吞吐环境下的读写时延的同时,也减少了存储软件栈中各进程的资源争用以及相互间的影响。 借助英特尔存储技术峰会这样的技术交流平台,星辰天合将会与英特尔以及更多合作伙伴,围绕人工智能、大语言模型等新生应用的存储需求,基于当前及未来的英特尔至强可扩展处理器的能力,进行进一步探索, 通过创新的软硬件组合进一步发挥分布式全闪存储的性能潜力,支撑共同的客户从数据中获得更多、更富价值的洞察  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/17003.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年中国金融行业网络安全案例集

随着科技的飞速发展,金融行业与信息技术的融合日益加深,网络安全已成为金融行业发展的生命线。金融行业作为国家经济的核心支柱,正在面临着日益复杂严峻的网络安全挑战。因此,深入研究和探讨金融行业的网络安全问题,不仅关乎金融行业的稳健运…

MIPI竖屏解决方案,普立晶POL8901升级POL8903 两PORT LVDS桥接到MIPI,加旋转

POL8903描述: 系统: •采用高性能MIPS 32位CPU内核; •高性能DSP内核图像处理单元; •16 KB指令Cache;16 KB数据Cache; •96 KB SRAM;内置DDR 3控制器; LVDS输入: …

Python代码:十七、生成列表

1、题目 描述: 一串连续的数据用什么记录最合适,牛牛认为在Python中非列表(list)莫属了。现输入牛牛朋友们的名字,请使用list函数与split函数将它们封装成列表,再整个输出列表。 输入描述: …

取代或转型?人工智能对软件测试的影响(内附工具推荐)

在当今快速发展的数字环境中,从移动App到基于Web的平台,软件已成为我们日常生活和工作不可或缺的一部分。然而,随着软件系统变得越来越复杂,如何确保其质量和可靠性已成为开发人员和测试人员所面临的一大重要挑战。 这就是软件测…

Autoware 软件功能(二)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时,并附带200G…

UE5 使用外置摄像头进行拍照并保存到本地

连接外置摄像头功能:https://docs.unrealengine.com/4.27/zh-CN/WorkingWithMedia/IntegratingMedia/MediaFramework/HowTo/UsingWebCams/ 核心功能:UE4 相机拍照功能(图片保存)_ue 移动端保存图片-CSDN博客 思路是: …

万博智云×华为云 | HyperBDR云容灾上架,开启联营联运新篇章

日前,万博智云HyperBDR云容灾正式入驻华为云云商店,成为华为云基础软件领域联营联运合作伙伴。通过联营联运,双方将进一步加深在产品、解决方案、渠道拓展等多方面的强强联合,为企业提供更加安全、高效的数据保护解决方案&#xf…

重量and体积,不要在傻傻的花冤枉钱寄快递了!

寄快递时有没有遇到过明明不重却被按体积收费的情况?别急,今天就来给大家揭秘快递收费的奥秘! 实际重量和体积重量! 首先,我们要明白两个概念:实际重量和体积重量。实际重量就是你看到的物品重量&#xf…

angr使用学习(持续更新)

首先我是直接在kali中安装的,也是边练边学的。 嗯,要在纯净python环境,所以是在 virtualenv 虚拟环境里,也不是特别会用这个,按照教程一步步做的 source venv/bin/activate 进入了对应环境 退出是 deactivate en,ipy…

DataGrip软件执行已将创建好的sql文件步骤

一、在需要导入sql文件上右击找到SQLScript ,然后点击 Run SQL Script 二、找到sql文件,点击OK就可以了

Day01-01-git

Day01-01-git Content List0. 运维发展过程1. ci-cd-co基础1.1 软件的生命周期1)软件的声明周期:软件从0-->1-->0过程2)ci/cd3)Devops4) 小结 1.2 什么是环境1.3 什么是代码部署1.4 代码发布方式 3. DevSecOpt之Git极速入门…

Unity UGUI实现无限滚动列表

Demo链接​​​https://download.csdn.net/download/qq_41973169/89364284http://Unity UGUI无限滚动列表 在游戏开发中,列表视图是一个常见的UI组件。实现一个高效的列表视图尤其重要,尤其是在需要展示大量数据时。本文将介绍如何在Unity中实现一个高效…

手动操作很麻烦?试试这个自动加好友神器吧!

你是不是也觉得手动逐一输入号码或是微信号,再搜索添加很麻烦?试试这个自动加好友神器——个微管理系统,帮助你省去繁琐的手工操作,节省时间和精力。 首先,在系统上登录微信号,无论你有多少个微信号&#…

2024年上半年软件设计师试题及答案(回忆版)--选择题

基础知识选择题 基础知识选择题 1,2,3][4,5,6][1,2,3,4,5,6] (总:1分) (注意:括号内的是截止当前题目总分) vlan不能隔绝内外网 (2分) 链路层使用交换机,…

智慧树下做游戏

游戏开发工程师致力于游戏总体设计 ,负责游戏开发工具和运营维护工具的设计与开发 ,并配合主程序完成游戏架构及各大功能的设计、开发、调试和其他技术支持 就业方向: 一般有客户端游戏开发和服务器游戏开发 客户端开发: 主要负…

光伏开发是用什么工具提高效率?

随着全球对可再生能源的日益重视,光伏产业作为其中的佼佼者,已经取得了长足的发展。然而,如何提高光伏开发的效率,降低成本,成为了业内关注的焦点。本文将探讨光伏开发过程中所使用的工具,以及这些工具如何…

设计软件有哪些?建模和造型工具篇(2),渲染100邀请码1a12

之前介绍了一批建模工具,这次我们继续介绍。 1、Forest Pack Forest Pack是由iToo Software公司开发的3ds Max插件,专门用于创建大规模自然环境。它提供了丰富的植被和物体库,用户可以快速创建树木、植物、岩石等元素,并将它们分…

Android面试题之Kotlin常见集合操作技巧

本文首发于公众号“AntDream”,欢迎微信搜索“AntDream”或扫描文章底部二维码关注,和我一起每天进步一点点 list 创建和修改 不可变list,listOf var list listOf("a","d","f") println(list.getOrElse(3){"Unkn…

Kubernetes可视化界面之DashBoard

1.1 DashBoard Kubernetes Dashboard 是 Kubernetes 集群的一个开箱即用的 Web UI,提供了一种图形化的方式来管理和监视 Kubernetes 集群中的资源。它允许用户直接在浏览器中执行许多常见的 Kubernetes 管理任务,如部署应用、监控应用状态、执行故障排查…

用循环神经网络预测股价

循环神经网络可以用来对时间序列进行预测,之前我们在介绍循环神经网络RNN,LSTM和GRU的时候都用到了正弦函数预测的例子,其实这个例子就是一个时间序列。而在众多的时间序列例子中,最普遍的就是股价的预测了,股价序列是一种很明显的…