解决数据孤岛/计算消耗/误差累积问题,上海人工智能实验室苏锐:FengWu-GHR实现AI气象预测多重突破

「AI 方法出现之前,每 10 年才可以提高 1 天的气象预报技巧,而引入 AI 后,几个月就能提高预报技巧。」

在 2024 北京智源大会「AI for Science」论坛上,上海人工智能实验室青年研究员苏锐回顾了 AI 气象预报的历史发展,深入探讨了该领域所面临的挑战,并全面介绍了其团队研究成果 FengWu-GHR。

苏锐老师演讲现场

HyperAI超神经在不违原意的前提下,对苏锐老师的深度分享进行了整理汇总,一起来解密 AI 气象的最新发展吧!

今天,我给大家分享主题的是「探索未来,智驭气象—人工智能在地球科学研究的前沿进展」。

所谓的地球科学研究,主要是对大气圈层、海洋圈层、生物圈层、岩石圈层及它们之间相互作用、交换和循环过程的研究。事实上,大气与海洋的循环会对地球的气象、气候、生态系统等造成很大影响,模拟和分析大气、海洋的变化,进而预测天气、气候等,对人类的可持续发展至关重要。

AI 预报 vs. 数字预报

过去,基于物理的数字预报模式在研究上取得了很大进展,但其发展速度依然缓慢,并且对计算量的需求非常大。随着深度学习和人工智能在各个领域的成功应用,越来越多的研究机构开始尝试使用数据驱动的方法来进行天气预报。

AI 气象大模型的发展史

举例来说,欧洲中期天气预报中心作为国际上公认的权威机构, 从 2018 年开始,就率先尝试用深度学习技术来进行天气预报,但受限于当时的低分辨率气象数据,本次的尝试效果一般。

2022 年 2 月,英伟达推出 FourCastNet 气象模型, 首次在 0.25° 高分辨率的气象数据上进行预报,不过该模型仍未超越欧洲中期天气预报中心使用的物理数字预报模式,且此模型也只能预测少量的气象要素。

2022 年 11 月,华为推出盘古气象大模型, 宣称该模型在高分辨率气象数据上的性能超过了欧洲中期天气预报中心的 IFS 模式,这被视为一次巨大的突破性进展。

1 个月后,Deepmind 公司推出了 GraphCast 气象大模型, 该模型的主要特点是可以预测更多不同的气象要素。

2023 年 4 月,我们团队(上海人工智能实验室)推出了自己的气象大模型 FengWu, 相较于之前所有的模型,FengWu 在性能上有了显著提升。

AI 驱动,FengWu 模型达到最优台风轨迹预测能力

滚动预测,FengWu 模型的灵感来源

假如我们把地球展开成一个平面,并对该平面进行网格化处理,那么我们就会把全球范围内的经纬度分为 0.25° 空间分辨率(相当于大约 25 公里的尺度)。这意味着全球被划分成大约 720×1440 个格点,每个格点在垂直高度上又分为 37 个不同层次,涉及到如温度、湿度、风速、海平面温度、地表风速等 169 个变量。气象预报就是基于全球气象要素场来预测未来气象要素场的变化。

问题和模型

我们团队分析了过去 40 年内逐时的全球气象要素场数据后发现,每个时刻的全球气象要素场,实际上是上一个时刻要素场的天然标注。因此,在不需要额外标注数据的情况下,我们只需预测相邻两个时间点之间气象要素场的关系,就能够预测未来的气象要素场变化,这就是 FengWu 模型的最初灵感来源。

具体而言,FengWu 模型在预测下一时刻的气象要素场后,将其作为输入再预测下下个时刻的气象要素场,以此类推,这样的滚动预测就能得出未来 14 天要预测的气象要素场。

两大优势:长时间提前预报技巧 + 高计算效率

FengWu 模型具有两大优势,其一是具备长时间的提前预报技巧, 能够达到 10.75 天的预报能力。事实上,在 AI 方法出现之前,基于物理的数字预报模式平均每 10 年可以提高 1 天的预报技巧,而引入 AI 后,几个月的时间就能提高预报技巧。

FengWu 的核心优势

FengWu 模型的另一个优势是计算效率。 以往基于物理的数字预报模式需要 1 万个计算节点跑 1 小时,才能生成未来 10 天的预报结果。而 FengWu 模型仅需一张 GPU 跑 30 秒即可完成相同时间的预报结果,超过传统方法的 2,000 倍以上。

喜忧参半,FengWu 在台风预测的优势与挑战

为了评估 FengWu 模型在台风轨迹预测方面的能力,我们团队用 2023 年之后的台风数据进行测试,并将测试结果与欧洲中期气象预报中心、日本气象局、美国气象局等机构的测试结果进行了比较。

台风轨迹预测

结果发现,在提前 0-120 小时预测台风轨迹的情况下,FengWu 模型在每个节点上,预测台风位置的误差都是最小的。

相比传统的物理方法,AI 在预测台风强度这一任务上仍然存在差距。 这是由于目前所有基于 AI 方法的模型都是通过数据驱动的方式训练而来,由于台风等极端天气事件的数据相对较少,AI 模型在预测极端天气时会出现结果平滑化的趋势,从而导致其在台风强度预测上表现偏弱。

FengWu-GHR:首次实现 AI 预报分辨率提升至 0.09°

亟待解决:高分辨率和长时间误差累积

事实上,在完成 FengWu 模型的开发后,我们得到了许多气象领域专家的反馈。其中一个反馈是,尽管 FengWu 已经能够实现 0.25° 高分辨率的预测,但他们仍希望能够获得更高分辨率的气象预测结果。 另一个反馈是,长时间预测带来的误差累计问题需要进一步解决。

动机:为什么我们需要高分辨率气象预测

为什么我们需要更精细化、更高分辨率的气象预测呢?

以上海地表温度的图表为例,可以看到,尽管上海并不大,但不同区域的温度差异却很明显。在南北距离仅 80 公里的情况下,如果我们使用 0.25° 的气象预报模型进行预测,可能只能得到大约 3 个网格点数据,这对于描述天气分布的细节是不够的。而更高分辨率的预测数据能够提供更精确的大气运动模拟,进而带来更精细的预报结果。

为什么很难训练高分辨率模型

针对此,我们推出了 FengWu-GHR 模型,这是首个在 0.09° 高分辨率下实现的 AI 气象预报模型,其具体实现过程并不容易。

首先,将分辨率从 0.25° 提升到 0.09°,计算量和内存消耗要增加 80 倍以上。其次,更高分辨率的气象分析数据十分稀缺,但 AI 模型却需要大量的数据进行训练,这让从头训练出一个高分辨率的 AI 气象模型变得极其困难。

将数据分为两部分,在较高分辨率下分解复杂大气动态变化

为了解决这些问题,我们尝试将高分辨率的大气运动分解为两个不同部分。

首先,使用大量低分辨率数据训练一个模型(元模型)。然后,将高分辨率的气象数据分解成多个低分辨率气象数据,并使用元模型对每个气象数据进行预测。最后,将这些预测结果拼接起来,得到高分辨率的气象预测结果。

然而,这样的做法并没有充分利用高分辨率数据中的非线性关系。因此,在此基础上,我们引入了新的模块和少量参数,利用高分辨率数据对该模块进行训练,让它更好地捕捉高分辨率区域之间的非线性耦合关系。

在 ERA5 上学习的元模型无法直接处理高分辨率数据

具体而言,上图左侧的图标是原本的高分辨率场,将其分为 4 个不同低分辨率的场,再用语言模型进行预测,combine 后得到高分辨率场的预测,最后用新增加的模块去捕捉它的非线性。

处理累积误差

在处理长期预测带来的累积误差问题时, 盘古在每个预测时间点使用单独的训练模型来解决该难题,这是一个很有效的方法,但其训练成本非常高昂。因此,我们在每一步的预测过程增加了 LoRA 模块,并结合少量参数对每一步进行训练,这相当于每一步预测都有了新的模型,但只需要引用少量参数,显著减少了计算成本。

模型评估:FengWu-GHR 实现气象预报再升级

因为目前只有 IFS 达到 0.09° 分辨率的结果,我们将其作为参照标准来验证我们的测试结果。

IFS 和 FengWu-GHR 的 RMSE、ACC 比较

结果发现,在 RMSE、ACC 指标上,FengWu-GHR 都展现出明显的优势,RMSE 更低,ACC 更高。

IFS 和 FengWu-GHR 的 Bias、Activity 比较

用指标 Bias 来衡量预测结果偏差,FengWu-GHR 更接近于 0,测试结果更好。用 Activity 指标来衡量随着预测时间增加,预测结果是否会变得更模糊化。结果发现,FengWu-GHR 的预测结果慢慢趋向平滑,该模型仍然没有解决对极端天气预测产生的平滑效应。

Station 评估

通过分析场的数据、18,000 个不同气象站的实时观测数据,我们使用 2022 年 7-12 月的数据对模型进行检验,以 IFS_HRES、盘古大模型作对比,FengWu-GHR 在提前任何天数得到的预测结果都占据优势地位。

热浪评估

寒流评估

此外,FengWu-GHR 在热浪预测和寒流预测上也很有优势。

今天我们讲的是气象中期预报的问题,事实上,大气领域分很多尺度的不同预报,包括 1-3 天、长期的、季节性气候预报等。目前,我们主要集中在中期气象预报能力的研究上,但在未来,我们希望深入研究,探讨是否能够从中期预报扩展到气候级别的预报,更进一步研究气候演化和未来发展趋势。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/30855.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入了解 AndroidX ConstraintLayout 中的 Barrier

androidx.constraintlayout.widget.Barrier(简称Barrier)是 ConstraintLayout 2.0 中引入的一个新特性,它可以极大地简化复杂布局的实现。本文将详细介绍Barrier 的概念、使用方法以及在实际开发中的应用场景。 什么是 Barrier? …

产品心理学:曝光效应

曝光效应(the exposure effect or the mere exposure effect):又谓多看效应、(简单、单纯)暴露效应、(纯粹)接触效应等等。 它是一种心理现象,指的是我们会偏好自己熟悉的事物&#…

基于PCL实现多边形框选点云并进行裁剪(附C++源码)

文章目录 一.算法效果二.算法原理PNPoly算法直线相交性判断三.代码实现一.算法效果 通过在PCL可视化界面上绘制2D封闭多边形来提取位于该封闭多边形内部或者外部的 的点,算法效果如下: 图1多边形裁剪点云效果图 二.算法原理 PNPoly算法 2D多边形框选裁剪点云,实际上可以简…

AI交互数字人如何赋能数智教育?

随着AI交互数字人技术的飞速发展,教育领域正经历着前所未有的变革。AI交互数字人为教育领域注入了全新活力,重塑着教学模式,为学生带来沉浸式学习体验。 AI交互数字人在教育领域中,可以应用在: 1、个性化学习教学指导…

RPA案例学习

京东采集数据 一、搜索商品 流程块 相对应源代码 二、抓取数据 流程块 相对应源代码

React-Redux学习笔记(自用)

1. 环境搭建 插件安装:Redux Toolkit和react-redux npm i reduxjs/toolkit react-redux2、 store目录结构设计 集中状态管理的部分会单独创建一个store目录(在src下)应用通常会有很多个子模块,所以还会有个modules目录&#x…

VMware虚拟机三种网络模式设置 - NAT(网络地址转换模式)

一、前言 在前一篇《Bridged(桥接模式)》中,我详细介绍了虚拟机网络模式设置中的桥接模式。今天详细讲解一下NAT(网络地址转换模式)。 在虚拟机(VM)中,NAT(Network Addre…

希喂、K9、弗列加特主食冻干测评:这次,我们去了美国的实验室

主食冻干你有喂过吗? 作为有七年养猫经验的铲屎官,我强烈推荐,真的值得一试! 在宠物经济蓬勃发展的今天,养猫已经成为了一门学问。人们开始追求更加科学、健康的养猫方式。大量喂养案例表明,传统的商业猫粮…

算法训练与程序竞赛题目集合(L2)

目录 L2-001 城市间紧急救援 输入格式: 输出格式: 输入样例: 输出样例: L2-002 链表去重 输入格式: 输出格式: 输入样例: 输出样例: L2-003 月饼 输入格式: 输出格式: 输入样例: …

排序算法Java_实现

1.引言 查找和排序算法是算法的入门知识,其经典思想可以用于比较常见。 1.1 内部排序和外部排序的区别 内部排序:待排序记录存放在计算机随机存储器中(内存)进行排序的过程。 外部排序:待排序记录的数量很大,以至于内存不能一次容纳全部记录,所以在排序过程中需要对外…

LabVIEW_TDMS

1.TDMS设置属性 想给这里写属性怎么整 使用TDMS设置属性函数时,对组名称与通道名称不设置,即可达到上图中的样式。 PS:属性名称如果设置一样则最终生效的值为最后写入的值。如将属性2修改为属性1,则最终只有1个属性1&#xff0c…

Qt项目学习-20240617

Qt项目学习 1.0 文件构建 1.1 预处理命令 C预处理命令是编译过程中的第一步,发生在编译器进行实际编译之前。预处理器(preprocessor)执行这些命令,它们不是C语言的一部分,但对源代码的编译过程至关重要。以下是一些常…

JavaScript-逻辑中断

学习目标: 掌握逻辑中断 学习内容: 语法逻辑运算符里的短路 语法: function fn(x, y) {x x || 0y y || 0console.log(x y)}fn(1, 2)fn()逻辑运算符里的短路: 短路:只存在于&&和||中,当满足一定…

Vue 前后端分离开发:懒人必备的API SDK

在前后端分离的项目中,前后端通过API进行通信和数据交换。随着项目规模的扩大,API的数量可能从几十个增加到几百个。为了简化API的编写和维护,我们可以利用JavaScript的特性,通过动态生成接口方法来实现懒人开发。本文将详细介绍如何统一接口调用方式、抽象和封装接口,并利…

C++项目——负载均衡在线OJ

前言 学习了这么久的C/C与Linux,终于到了做项目的时候,想想还是有点小激动,哈哈哈哈哈。我们的目标是做一个跟leetcode、牛客类似的在线OJ系统,功能阉割了一些,比如说登录、论坛、求职等等。主要实现了提交题目与判定…

旅游文化管理平台

摘 要 乡村振兴战略典型村落——战旗村,依靠自身优秀的资源迅猛发展。新冠肺炎疫情的影响下,我国旅游业受到巨大冲击。2020年在短暂缓冲后国内旅游业呈现缓慢恢复的态势。新型冠状病毒爆发,第三产业尤其是旅游业发展逐渐走向低靡&#xff0c…

go语言对接S3存储的SDK(支持minio和OSS)

背景 在某个项目中,客户要求支持S3协议的存储,因为之前的项目是go来开发的支持的oss和minio 。 但并不一定支持S3的协议,而且使用了二种SDK,感觉比较麻烦。 既然客户提出来了要求。那我们改一下就是了。 操作 引入 go语言中有对…

AI时代下的自动化代码审计工具

代码审计工具分享 吉祥学安全知识星球🔗除了包含技术干货:Java代码审计、web安全、应急响应等,还包含了安全中常见的售前护网案例、售前方案、ppt等,同时也有面向学生的网络安全面试、护网面试等。 这两年一直都在提“安全左移”&…

DAY8-力扣刷题

1.全排列 给定一个不含重复数字的数组 nums ,返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 通过对之前习题的了解,一看到该题就想到了用回溯法 46. 全排列 - 力扣(LeetCode) 方法一:回溯法 class Solu…

如何编写基本的Java程序

安装Java Development Kit(JDK)是开发Java应用程序的第一步。 1.下载JDK Java程序必须运行在JVM上,我们第一件事情就是安装JDK。 1.下载地址:Java Downloads | Oraclehttps://www.oracle.com/java/technologies/downloads/#jdk…