纳秒级网络库【二】技术选型

在十年之前,已经有网络产品实现7纳秒延迟,所以无需质疑是否能够实现,关键问题是:代价是什么。国内不少量化公司在招聘低延迟总线的开发人员,虽然我不知道他们具体的技术选型,从技术底层来看,并没有太多选择。

第一个选项是InfiniBand。最早发展这个高速网络技术,应该是InfiniBand,目前只剩Mellanox。在2020年NVIDIA完成了对Mellanox的收购,即使对InfiniBand做什么不了解,从这个收购中,也能猜到InfiniBand的特点是什么。

InfiniBand和以太网不一样,需要特制的网卡和交换机。对于不差钱的交易所,为了降低延迟,采用InfiniBand一点都不奇怪,甚至有些关键组件还会用到FPGA。常听说超算系统采购GPU,其实InfiniBand在超算系统也会用到。NVIDIA收购Mellanox,就是为了将InfiniBand应用到AI算力网络。


第二个选项是RDMA。RDMA早期基于InfiniBand,三个特征,十分具备吸引力:

1、ZeroCopy;2、kernel bypass;3、CPU-offload

在专业系统中,RDMA应用不少,但在大众眼里,并不算常见。RDMA需要网卡支持RoCE或者iWARP,RDMA两端的网卡同时都要支持,制约了RDMA的推广。另一个,RDMA需要网络层无损传输,这个需求限制了RDMA网络的规模。

RDMA的底层网络依赖,从InfiniBand,到RoCEv1,到RoCEv2,最后到iWARP,逐步脱离了InfiniBand,迁移到以太网络,但核心指标低延迟也打了折扣。

第三个选项是DPDK。英特尔和思科都是InfiniBand的早期成员,DPDK是英特尔搞的新网络技术方案,直接接管整个linux网络协议栈。这个解决方案性能无需说,但对普通用户极不友好。腾讯阿里或者华为这样的大厂家才可能有这个能力。即使没有证据,我还是猜测DPDK和PF_RING有前后继承关系。我对DPDK的前景并不看好,直接绕过整个操作系统网络协议栈,导致之前所有的工作都白费了。DPDK最终大概率会和InfiniBand一样,停留在专门系统中,发挥重要作用。

第四个选项是XDP。这个方案提供接近于DPDK的性能,又能充分利用已经有的资源,不需要重新实现所有的网络工具和协议。这样的解决方案更容易得到普遍支持。XDP虽然有三种模式,但仍然建议采用卸载到网卡模式,才能生产上的实用性。

第五个选项是Solarfare。在没有XDP和DPDK之前,他是一个非常有创意的解决方案。由于是商业解决方案,所以拿来参考,不详细展开。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/27425.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

填表统计预约打卡表单系统(FastAdmin+ThinkPHP+UniApp)

填表统计预约打卡表单系统:一键搞定你的预约与打卡需求​ 填表统计预约打卡表单系统是一款基于FastAdminThinkPHPUniApp开发的一款集信息填表、预约报名,签到打卡、活动通知、报名投票、班级统计等功能的自定义表单统计小程序。 📝 一、引言…

如何保证Redis与数据库的数据一致性

文章目录 前言如何保证Redis与数据库的数据一致性1. 先删除缓存,在写数据库怎么保证2. 先写数据库,在删缓存怎么保证 前言 如果您觉得有用的话,记得给博主点个赞,评论,收藏一键三连啊,写作不易啊^ _ ^。  …

Stable-Diffusion-WebUI 常用提示词插件

SixGod提示词插件 SixGod提示词插件可以帮助用户快速生成逼真、有创意的图像。其中包含,清空正向提示词”和“清空负向提示词、提示词起手式包含人物、服饰、人物发型等各个维度的提示词、一键清除正面提示词与负面提示词、随机灵感关键词、提示词分类组合随机、动态随机语法…

视频监控汇聚平台:系统日志介绍及在运维中的实际应用

目录 一、系统日志的重要性 (一)安全保障 (二)故障排查 (三)运营管理 (四)事件回溯与分析 二、产品说明 (一)产品介绍 (二)接…

AI对齐研究方法:建立一个足够对齐的人工智能系统,可以帮助我们解决所有其他对齐问题。 AI安全

与人类价值观保持一致,并遵循人类的意图。 找到一个无限可扩展的解决方案可能非常困难。相反,我们的目标是一种更务实的方法:建立和调整一个系统,该系统可以比人类更快、更好地调整研究进展。 使通用人工智能(AGI&am…

整理好了!2024年最常见 20 道并发编程面试题(六)

上一篇地址:整理好了!2024年最常见 20 道并发编程面试题(五)-CSDN博客 十一、请解释什么是线程局部存储(Thread-Local Storage)以及它的用途。 线程局部存储(Thread-Local Storage&#xff0c…

物联网学习小记

https://www.cnblogs.com/senior-engineer/p/10045658.html GOSP: 提供类似Qt的API接口,仅需要几百KB的硬件资源(比Qt小的多),能运行在Qt不支持的低配置硬件上(对Qt生态形成补充),适用于嵌入式…

【C语言】一篇文章带你深度理解函数

目录 1. 函数的概念 2. 库函数 2.1 标准库和头文件 2.2 库函数的使用方法 2.2.1 举例 sqrt 2.2.2 库函数文档的一般格式 3. 自定义函数 3.1 函数的语法形式 3.2 函数的举例 4. 形参和实参 4.1 实参 4.2 形参 4.3 实参和形参的关系 5. …

【Android】打开需要NDK的项目的一些报错的问题解决

文章简述 在打开一个新的项目的时候,遇到了一些问题,记录一下问题的解决步骤。 问题1 FAILURE: Build failed with an exception.* What went wrong: A problem occurred configuring project :app. > NDK not configured. Download it with SDK m…

UE4 RPC进行网络同步

说明 基于UE本身提供的RPC同步机制 RPC远程过程调用允许客户端或服务器通过网络连接相互发送消息: 使用时需要注意: 1、必须从 Actor 上调用 2、Actor 必须被复制,注意勾选BP中Replicates,或使变量bReplicates true 3、注意如…

怎样收集企业名单?

收集企业名单的方法按照不同维度有不同的方式, 通过人工一个个收集,通过技术手段收集,通过第三方进行购买。 按照来源渠道,可以分为官方和非官方网站,官方的有公示系统,年报等。此外一些相对于官方的平台…

借助ollama实现AI绘画提示词自由,操作简单只需一个节点!

只需要将ollama部署到本地,借助comfyui ollama节点即可给你的Ai绘画提示词插上想象的翅膀。具体看详细步骤! 第一步打开ollama官网:https://ollama.com/,并选择models显存太小选择的是llama3\8b参数的instruct-q6_k的这个模型。 运…

AI赋能数据安全体系化落地,出席网安标委2024年第一次标准周“数据安全标准与能力建设研讨会”

6月13日,全国网络安全标准化技术委员会(以下简称“网安标委”)2024年第一次标准周“数据安全标准与能力建设研讨会”在南昌召开。中央网信办网络数据管理局范雪炜、工业和信息化部网络安全管理局周睿康、国家信息中心外网办安全管理处处长罗海…

【计算机毕业设计】基于Springboot的B2B平台医疗病历交互系统【源码+lw+部署文档】

包含论文源码的压缩包较大,请私信或者加我的绿色小软件获取 免责声明:资料部分来源于合法的互联网渠道收集和整理,部分自己学习积累成果,供大家学习参考与交流。收取的费用仅用于收集和整理资料耗费时间的酬劳。 本人尊重原创作者…

SpringBoot 升级到2.4.0以上版本跨域设置

spingboot升级之后之前的访问页面和接口出现这样的错误: java.lang.IllegalArgumentException: When allowCredentials is true, allowedOrigins cannot contain the special value "*"since that cannot be set on the "Access-Control-Allow-Orig…

2024年6月14日 (周五) 叶子游戏新闻

期刊杂志: 聚合读者、意林、知音、故事会、花火以及国内各大知名报纸电子版,无需付费即可观看各种免费资源 WPS免登录一键修改器: 去除烦人的登录且能正常使用 EA招募退伍军人重塑下一代《战地》游戏EA正通过“雇用我们的英雄”计划(HOH)雇用…

【Delphi 开箱即用 5】利用封装好的WebSocket库与服务器通信

要在Delphi中实现WebSocket功能,必须要有一套强有力的WebSocket封装库,花了三天时间打造了一下,效果还可以,同时支持ws/wss。录入 【开箱即用】 封装库,以备不时之需。

【Vue】自学笔记(四)

上一篇:Vue笔记(三)-CSDN博客 1.VueCli自定义搭建项目 先确保安装了全局工具VueCli 如果没有,则先运行命令 npm i vue/cli -g 选择最后一个自定义搭建项目 选择需要自动搭建的功能 这里我需要router和css预处理器就空格勾选上&…

AI论文速读 | 2024[SIGIR]基于大语言模型的下一个兴趣点推荐

论文标题:Large Language Models for Next Point-of-Interest Recommendation 作者:Peibo Li ; Maarten de Rijke ; Hao Xue (薛昊); Shuang Ao ; Yang Song ; Flora D. Salim 机构:新南威尔士大学(UNSW)&#xff0c…

客户端请求数据较大时,nginx返回数据被截断

【问题描述】:客户端使用curl命令向nginx请求数据,当返回数据量较大时,数据被截断,客户端无法获取完整的数据。 【问题原因】:nginx配置文件中包含了proxy_buffer_size、proxy_buffers两个配置字段,其中pr…