关于现有预报气象大模型的能力上限思考

从2022年开始,以华为pangu weather为代表的气象大模型及fuxi、fengwu等相继涌现,公开发表的文章里也展示了模型与ec预报性能的对比,并且这些大模型也公开了相应的代码或模型,便于人人都可测试使用(如何在本地部署大模型可以参考如何在本地部署现有气象大模型_pip install ai-models-panguweather-CSDN博客

)。

最近尝试对这些大模型尝试进行了相关研阅调研分析,以下是个人的几点思考,也欢迎各位老师专家批评指正(也可以直接看第八条):

首先,气象大模型在运行效率上的优势比较明显,哪怕穷人版GPU(我用的20年titan rtx)也仅需10多分钟即可实现未来10天全球25公里逐6小时不同等压层的rtuv预报。这与现在主流预报方式是不同的。

其次,从预报性能来说,各模型也都在文章里指出相较于ifs在mse、mae、rmse等方面的优势。因为模型本身在进行参数优化的时候都是以mse、mae、rmse作为loss,所以只要这个问题是可学习的(后面第八条我们讨论为什么可学习),那么模型在mse、mae、rmse指标上是可以达到局部最优的。

第三,我们从模型角度看,无论是pangu、fuxi、fengwu,都仍然是标准transform系列,所以如果对于计算机视觉方向的研究人员来说,模型方法的优势相对于CVPR、iccv等上面的文章吸引力反倒不足。

但是,第四点,不得不提的是,气象输入数据确实庞大,这在计算机视觉里的相关任务还是需要做很多研究工作。而且可以注意一点,大模型里习惯称不同的气象要素为不同的模态。

第五,其实对任意简单的深度学习模型(任意跟视频预测相关的),我们前期有相关实验发现模型性能也都可以,但做不到长序列,所以气象大模型非常让人眼前一亮的点就是它可以实现长时序预测。

所以,第六点,长序列预测这一点是很多相对简单的模型无法比拟的,针对长序问题,更多集中在在模型优化方式或损失函数上的工作。所以相对简单的模型能否实现长时序预测,也是后续值得实验的一点。

第七,要素局限性。

第八,也是最想分享并希望各位老师专家批评指正的点,就是这些大模型的上限在哪儿?

我们可以从模型的训练过程来看,现在大模型大都采用era5再分析资料训练(当然有很多研究都在推动用本地化的再分析资料训练自己的大模型),假定以era5为例,那么,模型本质上是学习了一个era5序列的变化规律(这个描述应该没问题)。

那这个规律是什么,我们就不得不思考era5是怎么来的。简单来说,era5可以视作用ifs用做背景场,再通过资料同化对其订正(不知道这种描述是否有问题),所以大模型刻画的本质规律,是否可以视作在ifs预报上加了资料同化的“扰动

具体来说,t+1时刻的ERA5资料(记作xt+1),可以在一定程度上视作,将t时刻的IFS对t+1时刻的预报做背景场(记作yt+1=f(xt;w1),其中xt是t时刻的era5,f表示IFS预报的函数表达,w1是对应的参数),再同化t+1时刻的观测资料(记作xt+1=g(yt+1;w2),g表示同化的函数表达,w2是对应的参数)而得。当然同化可能会有其他的时间窗,但道理都一样。

也就是说,xt+1=g(f(xt;w1);w2),大模型也即是在拟合f和g。那么,以再分析资料训练模型的上限是否就是f和g?

所以我们看文章里大模型与IFS的对比,会发现大模型在前期的优势不明显,而后,大模型的优势开始突出,但应该还会有第三个阶段,IFS与大模型差异不大。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/672762.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

R语言学习case10:ggplot基础画图Parallel Coordinate Plot 平行坐标图

step1: 导入ggplot2库文件 library(ggplot2)step2&#xff1a;带入自带的iris数据集 iris <- datasets::irisstep3&#xff1a;查看数据信息 dim(iris)维度为 [150,5] head(iris)查看数据前6行的信息 step4&#xff1a;利用ggplot工具包绘图 plot5 <- ggparcoord(…

Pandas数据预处理之数据标准化-提升机器学习模型性能的关键步骤【第64篇—python:数据预处理】

文章目录 Pandas数据预处理之数据标准化&#xff1a;提升机器学习模型性能的关键步骤1. 数据标准化的重要性2. 使用Pandas进行数据标准化2.1 导入必要的库2.2 读取数据2.3 数据标准化 3. 代码解析4. 进一步优化4.1 最小-最大缩放4.2 自定义标准化方法 5. 处理缺失值和异常值5.1…

HGAME 2024 WEEK 1 :web ezHTTP

题目&#xff1a; 看到这个就知道是文件头伪造 第一想法就是Referer伪造 所以伪造 Referer: vidar.club 然后构造伪造的Referer 然后提示通过那些东西访问页面&#xff0c;User-Agent: 是构造你浏览器访问信息的&#xff0c;所以复制右边那一串替代就好了 然后要求我们从本地…

STM32Cubmax stm32f103zet6 SPI通讯

一、基本概念 SPI 是英语 Serial Peripheral interface 的缩写&#xff0c;顾名思义就是串行外围设备接口。是 Motorola 首先在其 MC68HCXX 系列处理器上定义的。 SPI 接口主要应用在 EEPROM&#xff0c; FLASH&#xff0c;实时时 钟&#xff0c; AD 转换器&#xff0c;还有数…

Vue3入门到实战笔记04--生命周期和自定义hook

13. 生命周期 概念&#xff1a;Vue组件实例在创建时要经历一系列的初始化步骤&#xff0c;在此过程中Vue会在合适的时机&#xff0c;调用特定的函数&#xff0c;从而让开发者有机会在特定阶段运行自己的代码&#xff0c;这些特定的函数统称为&#xff1a;生命周期钩子 规律&am…

Linux在云计算领域的重要作用

在云计算领域&#xff0c;Linux扮演着至关重要的角色。以下是Linux在云计算领域中的重要作用&#xff1a; 稳定性和安全性&#xff1a;Linux操作系统具有稳定性和安全性&#xff0c;可以有效地保护用户的数据安全。它具有各种安全功能&#xff0c;可以防止未经授权的访问&…

【Linux系统化学习】文件描述符fd

目录 基础IO预备知识 C语言文件接口 "w"的方式打开&#xff0c;fputs写入 以"a"的方式打开&#xff0c;fputs写入 使用位图传参 系统调用操作文件 open的使用 第一种形式 第二种形式 write() 文件描述符 文件描述符和进程的关系 默认的三个IO流…

C语言:函数递归

创作不易&#xff0c;给个三连吧&#xff01;&#xff01; 一、什么是递归 递归式一种解决问题的方法&#xff0c;在C语言中&#xff0c;递归就是自己调用自己。 递归的思想&#xff1a; 把⼀个⼤型复杂问题层层转化为⼀个与原问题相似&#xff0c;但规模较小的⼦问题来求解…

考研数据结构笔记(2)

线性表 线性表的定义线性表的基本操作lnitList(&L)DestroyList(&L)Listlnsert(&L,i,e)ListDelete(&L,i,&e)LocateElem(L,e)GetElem(L,i)Length(L)PrintList(L)Empty(L)Tips:引用值 小结 根据数据结构的三要素–逻辑结构、数据的运算、存储结构&#xff0c;…

嵌入式学习Day14 C语言 --- 位运算

位运算 注意&#xff1a;符号位也遵循这个规则 一、按位与(&) 运算规则&#xff1a;一假则假 int a 0x33;a & 0x55;0011 00110101 0101 &----------0001 0001 //0x11 二、按位或(|) 运算规则&#xff1a;一真则真 int a 0x33;a |0x55;0011 00110101 0101 |…

Asp .Net Core 集成 NLog

简介 NLog是一个基于.NET平台编写的日志记录类库&#xff0c;它可以在应用程序中添加跟踪调试代码&#xff0c;以便在开发、测试和生产环境中对程序进行监控和故障排除。NLog具有简单、灵活和易于配置的特点&#xff0c;支持在任何一种.NET语言中输出带有上下文的调试诊断信息…

Python 数据分析库之polars使用详解

概要 数据分析是现代应用程序和业务决策的关键组成部分。Python 作为一门强大的编程语言,拥有丰富的数据处理库和工具,其中之一就是 Polars。Polars 是一个现代化的数据操作和分析库,它提供了高性能的数据操作功能,支持链式方法调用,并且兼容 Pandas 和 Arrow 格式。本文…

嵌入式Linux学习DAY19

函数接口 fgetc(a):从流中读取一个字符----调用一次读取向后读取一次&#xff08;因为被操作数为流&#xff09; 流被读完后会产生错误----用来作为读取结束的条件 fgetc/fputc与getchar/putchar的区别-------没有区别 fputs(a,b):将a打印到b内&#xff0c;若b为stdout&…

微信小程序合集更更更之实现仿网易云播放动效

实现效果 写在最后&#x1f352; 源码&#xff0c;关注&#x1f365;苏苏的bug&#xff0c;&#x1f361;苏苏的github&#xff0c;&#x1f36a;苏苏的码云~

鸿蒙开发-UI-组件导航-Tabs

鸿蒙开发-UI-组件 鸿蒙开发-UI-组件2 鸿蒙开发-UI-组件3 鸿蒙开发-UI-气泡/菜单 鸿蒙开发-UI-页面路由 鸿蒙开发-UI-组件导航-Navigation 文章目录 一、基本概念 二、导航 1.底部导航 2.顶部导航 3.侧边导航 4.导航栏限制滑动 三、导航栏 1.固定导航栏 2.滚动导航栏 3…

写后台接口,前后台数据对接(vue+springboot)

一、怎么写接口&#xff1f;&#xff1f;&#xff1f; 1.Entity&#xff08;定义一堆属性之类的&#xff09; altins>getter和setter方法 2.Controller 3.Service&#xff08;查询出数据&#xff09; 调用了一个方法 4.Mapper 5.回到service&#xff08;返回数据&#x…

2024年微信公众号链接爬取

通过输入&#xff08;或文件导入&#xff09;公众号名称&#xff0c;即可爬取该公众号所有历史文章。 通过公众号官方网站调用API&#xff0c;打开开发者工具后发现有 打开后发现有搜索结果的fakeid&#xff0c;这是每个公众号的标识。 点击某公众号后出现 这是具体公众号文章…

Windows中如何使用 Anaconda 和 gempy地质建模

GemPy是一个免费开源的Python软件包&#xff0c;主要用于建立三维地质模型。以下是windows下GemPy的安装过程。 一、&#xff08;可选步骤&#xff09;N卡加速 如果使用的是英伟达的RTX显卡&#xff0c;可以去N卡官网下载cuda安装包以启用GPU加速。 首先检查显卡支持的CUDA版…

二层交换机配置以太网通道

实验大纲 二层聚合端口配置 1.构建网络拓扑结构图 2.修改交换机名字 3.创建聚合组进入聚合接口模式 4.将端口绑定到聚合端口&#xff08;接口模式&#xff09; 5.聚合接口下端口配置&#xff08;聚合接口模式) 6.具体配置 7.验证端口通道1的状态 8.配置ip 9.测试连通…

外汇天眼:欧洲证券和市场管理局(ESMA)撤销对迪拜商品清算公司的欧盟认可

欧洲证券与市场管理局&#xff08;ESMA&#xff09;宣布&#xff0c;欧洲监管机构&#xff08;EBA、EIOPA和ESMA - 即ESA的联合上诉委员会&#xff09;一致决定驳回迪拜商品清算公司&#xff08;DCCC&#xff09;对ESMA提起的上诉&#xff0c;并因此确认ESMA决定撤销其认可。DC…