XSKY CTO 在英特尔存储技术峰会的演讲:LLM 存储,架构至关重要

5 月 17 日,英特尔存储技术峰会在北京顺利举办。作为英特尔长期的合作伙伴,星辰天合受邀参加了此次峰会。星辰天合 CTO 王豪迈作为特邀嘉宾之一,作了主题为《LLM 存储:架构至关重要》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战,与来自阿里云、英特尔等公司的诸位业界专家共同探讨了人工智能时代存储系统的发展愿景与技术趋势。


5bd4212ff29d54d5eb9b0a39963420f2.jpeg

人工智能时代的存储系统技术趋势

大模型时代企业竞争的核心要素就是数据,在数据处理和流通的过程中,数据存储是不可或缺的重要一环,而高效可靠的存储系统将成为人工智能的重要底座。

此次英特尔存储技术峰会,英特尔邀请了业界合作伙伴、专家等深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括如何发挥高性能存储介质的性能、如何利用新一代互联技术重构存储系统、如何进行下一代存储软件系统创新等等,旨在通过多方协作,为客户构建拥有极致性能、安全可靠、高可扩展性和高能效的新一代存储系统。


XSKY 主题演讲:LLM 存储,架构至关重要 

在 XSKY 主题演讲环节,XSKY CTO 王豪迈首先介绍了 CPU 和 GPU 在处理大规模 AI 应用中的不同表现。CPU 内存系统优化了低延迟和深度缓存层次结构,适合处理延迟敏感的代码,例如链表操作。相比之下,GPU 内存系统则优化了高吞吐量和高带宽缓存,更适合数据和数学密集型代码,例如向量归约。为此,高带宽存储(HBM)成为解决存储瓶颈的关键技术之一,它能够显著提升存储系统的性能,从而满足未来高性能计算和 AI 应用的需求。

王豪迈指出,HBM 是存储转型的驱动力。在大模型训练中,存储系统需要处理的大量数据写入,这使得存储写带宽成为决定性能竞争力的关键因素。特别是在多模态场景中,大量小文件的处理对底层存储性能是一个重大挑战。

c8e20399a5eda385d5f2c5ba638e3c84.jpeg

现有的传统 NAS 存储架构以及并行文件系统架构,都有对应优势和适应场景,但是都存在一些架构的限制,使得在一些问题上应对困难,比如在大语言模型的场景下,前者会遭遇写放大的严酷挑战,而后者在应对多模态场景中的海量小文件时,可能会碰到性能不足的问题。

d763af9fd90ef23a2101300a6cd0fe08.jpeg

王豪迈表示,星辰天合最新发布的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)将是应对大语言模型存储需求的理想架构,它由于采用了全共享架构,因此在针对慢盘、亚健康网络问题时,能在 100 毫秒内快速切换,以保证系统的稳定运行;由于采用了单层 SSD 架构,可以借助 QAT 加速数据压缩/解压缩的强大能力,采用大规模的 EC+压缩,从而实现 100%的存储空间利用率;也由于采用了端到端的 NVME,因此能够实现 100 微秒的低延迟。

41851c2677bda6962a42cfa7abf0bbaf.jpeg

此外,基于 XSEA、针对大语言模型存储需求,在即将发布的新产品中,星辰天合将会通过全局 EC 和数据压缩技术,实现写放大的 100%降低,提升存储效率

XSKY 在存储架构上的这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。

展望未来,王豪迈表示,随着 AI 技术的发展,存储系统需要处理的数据量和复杂度将不断增加,优化存储带宽和改进存储技术是应对这些需求的关键,XSKY 将继续致力于存储技术的研发,通过架构创新和不断的技术迭代和优化,为客户提供更高效、更可靠的存储解决方案。

他特别强调了 HBM 技术在这一过程中的核心作用。通过优化 HBM 技术,可以大幅提升存储系统的性能,以应对未来高性能计算和 AI 应用的需求。他认为,只有通过持续的技术创新和架构优化,才能在快速发展的 AI 和大数据时代保持竞争优势。


联手英特尔 持续推动存储架构创新

作为领先的专业软件定义存储企业,星辰天合致力于与芯片、操作系统、数据库、人工智能等上下游企业合作,以持续推动存储架构的创新。 作为英特尔的长期合作伙伴,星辰天合始终紧跟英特尔的技术发展进行创新和研发。在星辰天合最近发布的新一代全闪分布式存储系统 星飞 XINFINI  9000 中,就采用了英特尔 QAT 加速数据压缩/解压缩,从而大幅度提升存储系统性能,在降低了高吞吐环境下的读写时延的同时,也减少了存储软件栈中各进程的资源争用以及相互间的影响。 借助英特尔存储技术峰会这样的技术交流平台,星辰天合将会与英特尔以及更多合作伙伴,围绕人工智能、大语言模型等新生应用的存储需求,基于当前及未来的英特尔至强可扩展处理器的能力,进行进一步探索, 通过创新的软硬件组合进一步发挥分布式全闪存储的性能潜力,支撑共同的客户从数据中获得更多、更富价值的洞察  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/17003.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年中国金融行业网络安全案例集

随着科技的飞速发展,金融行业与信息技术的融合日益加深,网络安全已成为金融行业发展的生命线。金融行业作为国家经济的核心支柱,正在面临着日益复杂严峻的网络安全挑战。因此,深入研究和探讨金融行业的网络安全问题,不仅关乎金融行业的稳健运…

Jtti:如何在Linux服务器上查看系统日志?

在美国的Linux服务器上查看系统日志是系统管理员常见的任务之一。系统日志可以帮助你诊断和解决服务器上的问题。以下是如何在Linux服务器上查看系统日志的详细教程: 1. 连接到服务器 首先,通过SSH连接到你的Linux服务器。如果你在本地终端使用SSH&#…

MIPI竖屏解决方案,普立晶POL8901升级POL8903 两PORT LVDS桥接到MIPI,加旋转

POL8903描述: 系统: •采用高性能MIPS 32位CPU内核; •高性能DSP内核图像处理单元; •16 KB指令Cache;16 KB数据Cache; •96 KB SRAM;内置DDR 3控制器; LVDS输入: …

Python代码:十七、生成列表

1、题目 描述: 一串连续的数据用什么记录最合适,牛牛认为在Python中非列表(list)莫属了。现输入牛牛朋友们的名字,请使用list函数与split函数将它们封装成列表,再整个输出列表。 输入描述: …

取代或转型?人工智能对软件测试的影响(内附工具推荐)

在当今快速发展的数字环境中,从移动App到基于Web的平台,软件已成为我们日常生活和工作不可或缺的一部分。然而,随着软件系统变得越来越复杂,如何确保其质量和可靠性已成为开发人员和测试人员所面临的一大重要挑战。 这就是软件测…

从0开始学统计

1.什么是统计学?统计学主要研究哪些问题? 统计学是一门科学,主要研究数据的收集、分析、解释和呈现方法。它涉及收集数据的方法,如调查和实验设计,以及通过数学和计算方法来分析和解释数据的过程。统计学的主要目标是…

(九)Python3 接口自动化测试,Jenkins调度执行

(九)Python3 接口自动化测试,Jenkins调度执行 Jenkins配置在远程服务器上执行Shell来运行Python(通过SSH免密方式执行) 说明:Jenkins部署在ServerA:10.1.1.74上,要运行的程序在ServerB:10.1.1.196 分两步 第一步:Linux Centos7配置SSH免密登录 Linux Centos7配置SSH…

长沙客户忠诚度调查

本文由群狼调研(长沙员工满意度调查)出品,欢迎转载,请注明出处。员工满意度调查是衡量员工对公司或组织的工作环境、待遇、领导力和管理的满意程度的一种方法。这项调查对于组织和公司非常重要,因为它可以提供有关员工…

Autoware 软件功能(二)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时,并附带200G…

【好物推荐】给大家安利一个静态网站生成器框架搜集

你一定好奇很多文档网站是用什么框架写的,或者你听说过 vue press,Git Book,其实这类优秀的网站很多,有个网站统计了所有框架的热度,大家有兴趣的可以去看看。 传送门:https://jamstack.org/generators/ 比…

UE5 使用外置摄像头进行拍照并保存到本地

连接外置摄像头功能:https://docs.unrealengine.com/4.27/zh-CN/WorkingWithMedia/IntegratingMedia/MediaFramework/HowTo/UsingWebCams/ 核心功能:UE4 相机拍照功能(图片保存)_ue 移动端保存图片-CSDN博客 思路是: …

万博智云×华为云 | HyperBDR云容灾上架,开启联营联运新篇章

日前,万博智云HyperBDR云容灾正式入驻华为云云商店,成为华为云基础软件领域联营联运合作伙伴。通过联营联运,双方将进一步加深在产品、解决方案、渠道拓展等多方面的强强联合,为企业提供更加安全、高效的数据保护解决方案&#xf…

vue-table的使用,解决懒加载展开列,数据量过大,造成的卡顿问题

场景 有需求,使用懒加载的展开列,当加载的数据量过大,如大于1000条以上,浏览器可能卡死挂了 分析 大量的dom的渲染绘制,导致了浏览器处理不过来 解决 虚拟列表 vue-table 虚拟列表的使用 vue-table官网 <vxe-table border resizable height="100%" r…

重量and体积,不要在傻傻的花冤枉钱寄快递了!

寄快递时有没有遇到过明明不重却被按体积收费的情况&#xff1f;别急&#xff0c;今天就来给大家揭秘快递收费的奥秘&#xff01; 实际重量和体积重量&#xff01; 首先&#xff0c;我们要明白两个概念&#xff1a;实际重量和体积重量。实际重量就是你看到的物品重量&#xf…

JVM为什么要进行分代呢?

Java 虚拟机&#xff08;JVM&#xff09;的内存管理是 Java 性能优化的核心部分&#xff0c;而分代思想&#xff08;Generational Garbage Collection&#xff09;是其关键机制之一。理解 JVM 的分代思想对于优化 Java 应用的性能、减少垃圾收集的停顿时间至关重要。本文将详细…

angr使用学习(持续更新)

首先我是直接在kali中安装的&#xff0c;也是边练边学的。 嗯&#xff0c;要在纯净python环境&#xff0c;所以是在 virtualenv 虚拟环境里&#xff0c;也不是特别会用这个&#xff0c;按照教程一步步做的 source venv/bin/activate 进入了对应环境 退出是 deactivate en,ipy…

DataGrip软件执行已将创建好的sql文件步骤

一、在需要导入sql文件上右击找到SQLScript &#xff0c;然后点击 Run SQL Script 二、找到sql文件&#xff0c;点击OK就可以了

Day01-01-git

Day01-01-git Content List0. 运维发展过程1. ci-cd-co基础1.1 软件的生命周期1&#xff09;软件的声明周期&#xff1a;软件从0-->1-->0过程2&#xff09;ci/cd3&#xff09;Devops4) 小结 1.2 什么是环境1.3 什么是代码部署1.4 代码发布方式 3. DevSecOpt之Git极速入门…

海外专线网络的定义和发展

近年来&#xff0c;随着全球经济的快速增长和国际贸易的不断扩展&#xff0c;海外专线网络已经成为企业在国际交流和合作中不可或缺的工具。所谓海外专线网络&#xff0c;是指一种连接国际网络的专用线路&#xff0c;它能提供更稳定、更快速的网络连接&#xff0c;确保用户之间…