机器学习与气象数据_气象大数据与机器学习联合实验室 大数据和气象的“联姻”...

气象大数据与机器学习联合实验室 大数据和气象的“联姻”

来源:《中国科学报》

时间:2017-02-13 13:36:28

作者:沈春蕾

我们每天都在看天气预报,大家会发现天气预报基本准确,但也有那么几天不靠谱。近年来,随着技术水平的提升,人们对气象服务水平的需求越来越高,因此气象的精准预报成为气象部门追求的目标。

“气象的精准预报需要行业内外的结合,而创新可能在行业之外,比如引入新思想和新方法。”中国科学院自动化研究所研究员张文生告诉《中国科学报》记者,“比如,用大数据的观点来重新审视气象数据,就可以改变我们处理气象数据的方式和方法,解决之前气象预报没有关注的问题。”

相识机缘巧合

2013年,张文生的一名博士生进入国家气象卫星中心工作,“这个学生的博士毕业论文主题是热带风暴形成与台风眼路径预测,据说是世界难题。”通过几次交流,张文生意识到计算机信息技术可以在辅助气象预报方面发挥作用。然而,要撮合这两者还要靠人牵线搭桥。

不久后,张文生应邀前往国家气象卫星中心做讲座,讲座围绕气象数据是否是大数据展开。因为张文生多年从事大数据相关工作,邀请方希望他能用大数据的观点看看气象数据是否具备大数据特点。

张文生记得:“那次交流座无虚席,原来搞气象的人对我们搞机器学习、人工智能和大数据的人很感兴趣,并且希望我们能帮他们解决一些具体问题。”

随后,国家气象局组织人员来到张文生的实验室做进一步讨论交流,这次的焦点不再是气象数据是不是大数据,而是围绕如何利用气象大数据进行降水预报展开。“他们希望我们通过采集到的气象雷达大数据,找与降水量之间更为精准的对应关系。”2015年,张文生团队进行了尝试,效果很好。

于是,2015年6月25日,中国科学院自动化研究所和中国气象局公共气象服务中心签署协议,共建气象大数据与机器学习联合实验室,张文生任联合实验室主任。

实验室成立的总体目标是希望建设研究气象大数据机器学习、数据分析技术和开发公共气象服务平台,推动气象突发公共事件预警及专业气象服务等业务发展,培养具备气象领域知识和掌握机器学习方法的跨学科人才,助力公共气象服务领域技术持续性创新。

创新在行业外

为实现上述目标,张文生派出一名副研究员和三名博士生常驻公共气象服务中心,通过深入合作,他们的创新成果在公共气象服务中心取得了较高的认可度。

张文生团队针对气象雷达获取的多源、异构、稀疏并带有降水标记的全空间大数据,提出了“结构+统计”的大数据机器学习新模型与算法,精准表达了雷达反射率因子和降水量之间的关系,解决了气象雷达大数据在线、增量、半监督机器学习难题,实现了气象雷达大数据超短临定量降水估计,取得了分钟级降水估计的创新成果。

在雷达分钟级定量降水估计算法的基础上,张文生团队还设计了大数据分布计算架构,开发出高分辨率分钟级降水估计的业务产品,该产品对比国内外传统产品的各项指标取得显著提高。

关于“结构+统计”,张文生列举了一个简单的例子:骑自行车时对面汽车开过来,人脑里形成的结构是首先不让对面车撞来,而后是根据采集到危险的信息作出决策。提炼气象大数据的规律就是结合已有模型的结构进行新的统计,以作出迅速精准的预报。

联合实验室近期正在大力研究面向气象大数据的实时降水估测算法和模型,以提高基于雷达回波信息的定量降水估计准确度,同时探索时空精细化气象预测条件下的模型精度评价标准,研发时空精细化实时降水估测工程化产品。

“雷达扫的空间很多,一般是圆锥形的区域,这些空间的区域每隔一些点就有反射因子,参数在空中形成密密麻麻的点,随着距离地面高度、温度和压力不同,采集到了冰晶-雪-雨-雾的信息,从变化中找到规律。”张文生补充道,“虽然建立这样的模型,需要处理的数据量巨大,对我们来说也是一个挑战,不过我们还是成功做到了。”

应用回行业内

目前,张文生团队提出的“结构+统计”大数据机器学习模型与算法,以及研发的高分辨率分钟级降水估计产品,已经在全国100多部气象雷达上业务化试运行/推广,实现了1KM×1KM空间分辨率分钟级降水估计。

2015年7月28日,张文生团队的研究成果在中国气象局门户网站——中国天气网上试运行,在气象部门以及各行业领域产生了广泛影响力。

不久前,微信应用“中国天气网雷达分钟降水”也上线提供降雨预测服务。中国气象局专业的雷达分钟降水估计版本已在内部上线,将季节、区域的影响加入,在大数据处理、模型与算法、结果可视化等方面都有进一步的改进空间,相关改进成果正在内部测试。

张文生指出:“我们不仅取得了国内高分辨超短临降水估计的方法突破,实现了1公里分辨率5分钟精准降水估计,还为中国气象在国际公共气象服务超短临降水领域的讨论和对话提供了科学依据。”(记者 沈春蕾)

责任编辑:陈近梅

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/302957.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

史上最牛的5次黑客攻击!比电影还刺激!

好莱坞认为,黑客就像是使用计算机的黑魔导士。在电影中,计算机可以炸毁房屋,关闭公路,释放瘟疫还有引发女权运动。也许有人认为,好莱坞的想象力很丰满,但现实是骨感的。他们错了,因为在现实中&a…

优化 .NET Core logging 中的泛型 logger

优化 .NET Core logging 中的泛型 loggerIntro在微软的 logging 组件中&#xff0c;我们可以比较方便的使用泛型 Logger&#xff0c;如&#xff1a;ILogger<Generic> 这样的&#xff0c;但是如果泛型 Logger 的类型是一个泛型类型就会有些问题&#xff0c;具体的泛型参数…

charts漏斗图表_ECharts漏斗图属性与实例介绍

ECharts漏斗图在 ECharts 系列中&#xff0c;漏斗图使用 series[i]-funnel 表示。漏斗图适用于业务流程比较规范、周期长、环节多的流程分析&#xff0c;通过漏斗各环节业务数据的比较&#xff0c;能够直观地发现和说明问题所在。示例&#xff1a;ECharts漏斗图属性type在漏斗图…

原来R语言还有这些不为人知的用处!

开学钜惠已经进行了好些天啦&#xff0c;前两天小天介绍了关于python课程的开学季限时优惠&#xff08;传送门&#xff09;&#xff0c;你以为这样就结束了吗&#xff1f;不不不&#xff0c;还有R语言系列的优惠没讲过呢。接下来&#xff0c;小天来详细说明一下&#xff01;19月…

记一次 .NET医院公众号程序 线程CPU双高分析

一&#xff1a;背景 1. 讲故事上周四有位朋友加wx咨询他的程序出现 CPU 线程 双高的情况&#xff0c;希望我能帮忙排查下&#xff0c;如下图&#xff1a;从截图看只是线程爆高&#xff0c;没看到 cpu 爆高哈????????????&#xff0c;有意思的是这位朋友说他&#…

各种学习资料收录

http://topic.csdn.net/u/20120111/18/2DACB0AB-1C29-4AB7-9EF9-F53D5B0A8CD6.html C#串口操作资料转载于:https://www.cnblogs.com/youshan/archive/2012/01/19/2327324.html

谷歌搜索,揭示人性最黑暗的5个秘密

《卫报》网站发布文章指出&#xff0c;我们能够从我们在网上问的问题获得对自己更多的了解呢。美国数据科学家塞斯斯蒂芬斯-大卫多维茨&#xff08;Seth Stephens-Davidowitz&#xff09;通过分析谷歌的匿名搜索数据&#xff0c;揭示了我们最黑暗的一些秘密&#xff0c;揭露了我…

通过Dapr实现一个简单的基于.net的微服务电商系统(七)——一步一步教你如何撸Dapr之服务限流...

在一般的互联网应用中限流是一个比较常见的场景&#xff0c;也有很多常见的方式可以实现对应用的限流比如通过令牌桶通过滑动窗口等等方式都可以实现&#xff0c;也可以在整个请求流程中进行限流比如客户端限流就是在客户端通过随机数直接返回成功失败来决定是否发起请求。也可…

(转)完美画质 3D游戏反锯齿技术浅析 .

完美的画面已经离我们不再遥远——反锯齿技术浅析 不管现今的游戏画面有多完美&#xff0c;人物和环境有多真实&#xff0c;但游戏画面的构成的主要方式仍然没有得到改善&#xff1a;一帧画面由成千上万像素构成。这意味着物体多边形的轮廓最终是锯齿状的图形。所以画面质量不可…

业余时间学数据分析,如何快速上手

广泛被应用的数据分析谷歌的数据分析可以预测一个地区即将爆发的流感&#xff0c;从而进行针对性的预防&#xff1b;淘宝可以根据你浏览和消费的数据进行分析&#xff0c;为你精准推荐商品&#xff1b;口碑极好的网易云音乐&#xff0c;通过其相似性算法&#xff0c;为不同的人…

java连接mysql数据库连接池_java使用原生MySQL实现数据的增删改查以及数据库连接池技术...

一、工具类及配置文件准备工作1.1 引入jar包使用原生MySQL&#xff0c;只需要用到MySQL连接的jar包&#xff0c;maven引用方式如下&#xff1a;mysqlmysql-connector-java5.1.481.2 jdbc.properties文件配置在resources文件夹根目录&#xff0c;新增jdbc.properties配置文件&am…

64位Visual Studio 2022,微软在下一盘大棋!

有没有跟我一样奇怪过&#xff0c;都2021年了&#xff0c;用的还是VS2019&#xff1f;原来微软是憋大招去了&#xff0c;4月18号Amanda的一篇博文宣布了一则重磅消息——Visual Studio 2022 首个预览版将于今年夏季发布 &#xff0c;并且终于成为万众期待的 64 位版&#xff01…

如何添加自定义icon

(1)一般命令行程序编译后是一个方框图标。 我们可以自定义&#xff1a; Project -> Add to project -> New... 选择Resource Script&#xff0c;新建一个资源脚本&#xff0c;这样左面就多了一个资源视图 然后Project -> Add to project -> File&#xff0c;加进…

mysql 5.7.17 源码安装_mysql5.7.17源码安装

创建用户和目录groupadd mysqluseradd -r -g mysql mysqlmkdir -p /data/mysql/standby/datamkdir -p /data/mysql/standby/tmpmkdir -p /data/mysql/standby/elogmkdir -p /data/mysql/standby/blogchown -R mysql:root /data/mysql配置yum源cd /etc/yum.repos.d/rm -rf *vi c…

跟几个程序员聊了聊他们的每月薪资收入

阅读本文大概需要6分钟。我一直有一个技术小群&#xff0c;这个群最初是在360当新人入职导师带的几个人&#xff0c;和大家挺聊得来就建了一个群&#xff0c;没想到居然存在了6年之久。压力大的时候就在群里和大家相互调侃或者拉拉家常&#xff0c;偶尔谁跳槽了也会喷喷前东家&…

开通博客

今天注册了博客园并且开通了博客&#xff01; 我想用博客来记录并分享我学习编程过程和知识。 希望大家予以支持和帮助。转载于:https://www.cnblogs.com/crislina/archive/2012/01/28/2330629.html

【重磅】MIT发布2018年“全球十大突破性技术”

“有些技术已经应用多年&#xff0c;有些则是意外之喜。无论如何&#xff0c;以下是我们认为将在未来的几年对我们的工作和生活产生巨大影响的技术突破。”北京时间2018年2月21日&#xff0c;《麻省理工科技评论》揭晓了2018年“全球十大突破性技术”&#xff0c;这份全球新兴科…

mysql必须的组件_mysql innodb的重要组件

innodb包涵如下几个组件一、innodb_buffer_pool&#xff1a;1  它主要用来缓存数据与索引(准确的讲由于innodb中的表是由聚集索引组织的&#xff0c;所以数据只不是过主键这个索引的叶子结点)。二、change buffer:1  如果更新语句要更新二级索引的记录&#xff0c;但是记录…

[Stardust]星尘配置中心

在分布式系统开发中&#xff0c;配置中心必不可少。在中通几年时间里&#xff0c;为了配合大数据计算平台&#xff0c;统一管理数百个微小应用&#xff0c;设计了一套轻量级配置中心。星尘配置中心在其理念基础上改进&#xff0c;针对中小团队而全新设计&#xff01;源码&#…

oracle中v$database视图详解

SQL> desc v$database 名称 是否为空? 类型 ----------------- -------- ------------ DBID NUMBER NAME VARCHAR2(9) CREATED DATE RESETLOGS_CHANGE# NUMBER RESETLOGS_T…