ArcGIS Pro 3.4新功能3:空间统计新特性,基于森林和增强分类与回归,过滤空间自相关

目录

应用 1:它是相关性还是托布勒第一定律?

应用 2:将空间带入非空间模型

结论


在 ArcGIS Pro 3.4 中,我们在新的空间组件实用程序(Moran 特征向量)工具集中发布了一个新工具 -  从字段过滤空间自相关。此工具允许我们获取数值变量并从中提取空间模式。它给了我们所谓的过滤变量和一个或多个空间组件。过滤后的变量表示从原始变量中提取可识别的空间模式后得到的变量。想象图 1 中描绘的场景,绿色的数值变量在南部和东南部地区显示更高的值。通过应用从字段过滤空间自相关工具,变量被分为非空间部分和空间部分。以蓝色显示的非空间部分表示空间过滤变量。从原始变量中删除的空间模式被捕获在相应的空间组件中。一个组件显示东南部和非东南部地区的模式,而另一个组件突出显示非中西部和中西部模式。这些成分各自代表特定尺度的空间自相关,彼此之间不相关。

图片

此工具在两种情况下非常有用。首先,它帮助我们探索两个变量之间的关系,同时减少邻近影响的干扰。其次,它通过消除空间错误指定来增强回归和机器学习模型,并可以使非空间模型成为空间模型。

应用 1:它是相关性还是托布勒第一定律?

“研究人员如何知道变量 y 和变量 x 是否以有意义的方式相互关联,或者它们是否仅仅因为“一切都与其他一切相关”而显得相关?”(Thayn,2017)

作为地理学家或 GIS 分析师,我们认识到大多数现象并非独立于空间而存在。我们相信托布勒地理学第一定律——“万事万物都相互关联,但近处的事物比远处的事物关联性更强。”空间数据的这一独特方面往往违背了观测值相互独立的统计假设。因此,在评估两个变量之间的关系时,很难判断它们的关系是真实的还是仅仅是显著的空间自相关的结果。

例如,下图是波士顿老房子比例与一氧化氮浓度关系的散点图。该图表明,两者呈正相关。随着老房子比例的增加,一氧化氮浓度也上升。

图片

然而,当观测值受到相邻数据点的影响时,确定图 2 中所示的强正关系就变得具有挑战性,因为这可能是由于空间自相关的混杂影响造成的。如果你看看老房子和新奥尔良的地图(下面的2幅图),你会注意到这两个变量都表现出很强的空间聚类性。

图片

图片

这就是“从文件过滤空间自相关”工具发挥作用的地方。它帮助我们从变量中分离出空间成分,使我们能够独立于相邻变量的影响来研究两个变量之间的关系。在该工具中,我首先选择波士顿数据作为输入特征。然后,下面两幅图显示了用于过滤房屋年龄和一氧化氮字段的工具对话框。

图片

图片

通过两次运行此工具生成了两个输出。一个输出地图基于过滤后的 AGE 进行符号化,表示波士顿老房子的比例,不受空间影响(见下面第一张图)。第二张地图展示了过滤后的一氧化氮,显示了过滤空间自相关后的 NO 浓度。

图片

图片

过滤步骤可以在地理处理消息中找到。例如,图 9 演示了如何在四次迭代后消除 AGE 中存在的空间自相关。最初,Moran's I 指数为 0.3206,P 值为 0.001,表明存在显著的空间自相关。从 AGE 中过滤四个空间成分后,Moran's I 指数下降,P 值增加到 0.99。这一变化告诉我们空间自相关不再显著。

图片

现在,下图展示了滤除空间影响后两个变量之间的关系。将应用1的第一幅图与下图进行比较,我们会发现,应用1的第一幅图中显示的强正相关关系很大程度上是由于共享的空间关系,但滤除空间关系后仍然存在一些相关性。

图片

应用 2:将空间带入非空间模型

如前所述,空间数据经常违反传统统计方法的假设,导致估计有偏差和结果可疑。然而,通过整合从字段过滤空间自相关工具返回的空间组件,我们可以将空间信息纳入非空间模型,将其转变为空间感知模型。

举个例子,我们有俄亥俄州的人口统计数据,使用基于森林和增强分类与回归工具构建了一个基于森林的模型。我们的目标是更深入地了解贫困因素,并估计实施潜在干预计划后的贫困百分比。

选择过去 12 个月收入低于贫困水平的人口百分比作为要预测的输入变量。所选的解释训练变量包括:

  1. 受赡养年龄组人口百分比(18 岁以下和 65 岁以上)

  2. 外国出生人口百分比

  3. 房屋自有率:自住住房占已入住住房的百分比

  4. 25 岁及以上人口中最高教育程度为学士学位或更高学位的百分比。

最后,将输出训练特征保存为Poverty_Pred,然后点击运行。

图片

运行该工具后,得到了一个输出训练层,其中显示了其标准化残差(下面第一幅图)。让我们看一下地图,可以注意到两个聚类:绿色阴影的县位于东南部,而紫色阴影的县聚集在西北部。该残差图表明,该模型倾向于低估东南部地区的贫困率(%),而高估西北部地区的贫困率。换句话说,模型的残差中存在明显的空间自相关性。这突显了不同地区预测能力的不平等,表明这种基于森林的模型无法解释数据中存在的某种空间模式。模型性能也需要改进,因为目前的验证 R 平方为 0.578(下面第二幅图)。

图片

图片

为了解决基于森林的模型中的空间偏差,我使用了“从字段过滤空间自相关”工具。

打开该工具,并选择Poverty_Pred(基于森林的模型生成的输出)作为输入特征。

选择标准化残差作为输入字段,指定Poverty_Pred_FilterSpatialAutocorrelationFromField作为输出特征,并且运行该工具。

图片

此工具生成的输出要素不仅包含过滤后的输入字段,还包含与输入字段隔离的空间组件。在这种情况下,空间组件表示我们在上方地图中看到的基于森林的模型无法解释的空间模式。因此,基于森林的模型中包含此空间组件后,该模型可能能够解决预测能力的空间分布不均的问题。

  1. 重新打开基于森林和增强分类与回归,而不是原来的poverty_Ohio。

  2. Poverty_Pred_FilterSpatialAutocorrelationFromField作为输入训练特征。

  3. 保留了大部分预测变量和解释训练变量,同时添加了空间成分作为额外的解释训练变量。

  4. 然后,点击运行。

图片

下图显示了改进的效果。训练 R2 从 0.903 增加到 0.938。更重要的是,验证 R2 从 0.578 显著增加到 0.819,同时所有误差(包括 MAE、MAPE 和 RMSE)均有所减少。这种改进的基于森林的模型表明该模型更加可靠,我们对解释变量重要性和估计贫困率更有信心。

图片

让我们看看变量重要性,注意到我添加到模型中的空间组件位于顶部。空间组件正在捕获我们在原始训练数据集中没有的空间过程,这可能是俄亥俄州贫困的一个关键指标。

图片

我们甚至可以绘制空间成分图,以查看对贫困率影响巨大的空间模式。该成分的模式在俄亥俄州阿巴拉契亚地区显示较高值,而在俄亥俄州非阿巴拉契亚地区显示较低值,这表明我们在试图减轻俄亥俄州的贫困时应该关注这种明显的空间差异。空间成分还为我们提供了应该将哪些现实世界变量纳入模型的见解。当我们不知道可能缺少哪些变量时,应该使用空间成分作为替代。只要有可能,总是建议采用可测量的替代方案。

图片

结论

在这篇文章中,我们展示了“从字段过滤空间自相关”工具如何在两种情况下发挥作用。首先,它通过过滤空间的影响来帮助我们评估两个变量之间的关系。其次,空间成分可以作为模型中缺失的重要解释变量的代理变量。通过将成分添加到非空间机器学习模型中,模型将转变为空间模型,而无需修改模型的结构。此外,从残差中分离出来的空间成分为我们的模型中可能被忽视的现实世界变量提供了宝贵的见解。

转载请注明出处:ArcGIS Pro 3.4新功能3:空间统计新特性,基于森林和增强分类与回归,过滤空间自相关

作者:ArcGIS中国培训中心 www.higisedu.cn

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/890557.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自定义一个maven骨架 | 最佳实践

自定义一个maven骨架 | 最佳实践 目的:将一个多模块项目的基础结构制作成maven骨架,实现项目的快速构建,风格统一 公司内部会制定自己的规范及包结构。当创建新项目的时候就需要选择骨架,即可生成包结构。 Archetype都为不同类型的…

CTFHUB-web进阶(Bypassdisable_function)

LD_PRELOAD 来到首页发现有一句话直接就可以用蚁剑连接 根目录里有/flag但是不能看;命令也被ban了就需要绕过了 绕过工具在插件市场就可以下载 如果进不去的话 项目地址: #本地仓库;插件存放 antSword\antData\plugins 绕过选择 上传后我们点进去可以看到多了一个绕过的文件;…

workman服务端开发模式-GatewayWorker的使用

一、GatewayWorker介绍 Workerman是一个使用PHP开发的高性能组件,用于构建高性能的异步并发TCP、UDP、Unix Socket、HTTP、Websocket服务。 GatewayWorker是基于Workerman开发的一套TCP长连接的应用框架,实现了单发、群发、广播等接口,内置了…

oracle linux8.10+ oracle 23ai安装

介质准备: 数据库23ai https://edelivery.oracle.com 上述网站下载基础版本,本次未使用。 本次是安装了带补丁的版本: Database Release Update 23.6.0.24.10 GoldImage表示带补丁用于直接安装的软件包 查找888.1对应Primary Note for …

《软件设计的哲学》阅读摘要之设计原则

《软件设计的哲学》(A Philosophy of Software Design)是一本在软件架构与设计领域颇具影响力的书籍,作者 John Ousterhout 在书中分享了诸多深刻且实用的软件设计理念。书中列举的这些设计原则,汇聚了作者丰富的实战经验与深邃的…

uniApp打包H5发布到服务器(docker)

使用docker部署uniApp打包后的H5项目记录,好像和VUE项目打包没什么区别... 用HX打开项目,首先调整manifest.json文件 开始用HX打包 填服务器域名和端口号~ 打包完成后可以看到控制台信息 我们可以在web文件夹下拿到下面打包好的静态文件 用FinalShell或…

项目实战——高并发内存池

一.项目介绍 本项目——高并发内存池,是通过学习并模仿简化 google 的一个开源项目 tcmalloc ,全称 Thread-Caching Malloc,即线程缓存的malloc,模拟实现了一个自己的高并发内存池,用于高效的多线程内存管理&#xff…

Apache Log4j漏洞复现

所用环境 宝塔云服务器 log4j2 是Apache的⼀个java日志框架,我们借助它进行日志相关操作管理,然而在2021年末log4j2爆出了远程代码执行漏洞,属于严重等级的漏洞。 apache log4j通过定义每⼀条日志信息的级别能够更加细致地控制日志⽣成地过…

自动驾驶控制算法-横向误差微分方程LQR前馈控制

本文是学习自动驾驶控制算法第六讲 前馈控制与航向误差以及前两节的学习笔记。 1 横向误差微分方程 以规划的轨迹作为自然坐标系,计算自车在轨迹上的投影点,进而计算误差: 如图所示,横向误差为 d d d,航向误差为 θ…

Apache RocketMQ 5.1.3安装部署文档

官方文档不好使,可以说是一坨… 关键词:Apache RocketMQ 5.0 JDK 17 废话少说,开整。 1.版本 官网地址,版本如下。 https://rocketmq.apache.org/download2.配置文件 2.1namesrv端口 在ROCKETMQ_HOME/conf下 新增namesrv.pro…

Google Cloud Kubernetes Anthos是什么,和Istio有什么关联

Google Cloud Platform (GCP) Kubernetes Anthos 是 Google 推出的一种多云管理平台,基于 Kubernetes,旨在帮助企业在多个云环境中管理和运行容器化应用程序。 https://cloud.google.com/blog/topics/hybrid-cloud/5-frequently-asked-questions-about-…

多摩川编码器协议

多摩川编码器是一种常用的绝对值编码器,其协议基于485硬件接口的标准NRZ协议,通讯波特率为固定的2.5Mbps。以下是多摩川编码器协议的详细说明: 硬件接口 多摩川编码器使用RS485接口进行通信,接口定义如下: 5V供电&…

AI新书推荐:深度学习和大模型原理与实践(清华社)

本书简介 在这个信息爆炸、技术革新日新月异的时代,深度学习作为人工智能领域的重要分支,正引领着新一轮的技术革命。《深度学习和大模型原理与实践》一书,旨在为读者提供深度学习及其大模型技术的全面知识和实践应用的指南。 本书特色在于…

webrtc音频模块(三) windows Core Audio API及声音的播放

在前面介绍了ADM(Audio Device Module),它用于抽象音频设备管理和音频数据采集/播放接口。windows的实现是AudioDeviceWinowCode,它封装了Core Audio APIs实现了对音频设备的操作。 Core Audio APIs windows提供了多种音频操作API,比如最常…

cursor保存更改操作技巧

1. 当我们在agent模式时,要求cursor更改代码时,cursor回答后,就已经更改了代码了,这时候就可以对程序进行编译和测试, 不一定先要点” accept“, 先测试如果没有问题再点“accept”,这样composer就会多一条…

运维工程师面试系统监控与优化自动化与脚本云计算的理解虚拟化技术的优点和缺点

前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默, 忍不住分享一下给大家。点击跳转到网站 学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……) 2、学会Oracle数据库入门到入土用法(创作中……) 3、手把…

2.在 Vue 3 中使用 ECharts 实现动态时间轴效果

在前端开发中,时间轴(Timeline)是一种常见且有效的方式来展示时间相关的数据。在本篇文章中,我们将展示如何在 Vue 3 项目中使用 ECharts 创建一个具有动态时间范围的时间轴,并添加了今日时间的标记以及通过按钮来前进…

Android修行手册 - 移动端几种常用动画方案对比

Unity3D特效百例案例项目实战源码Android-Unity实战问题汇总游戏脚本-辅助自动化Android控件全解手册再战Android系列Scratch编程案例软考全系列Unity3D学习专栏蓝桥系列ChatGPT和AIGC 👉关于作者 专注于Android/Unity和各种游戏开发技巧,以及各种资源分…

Java日志框架:log4j、log4j2、logback

文章目录 配置文件相关1. properties测试 2. XMl使用Dom4j解析XML Log4j与Log4j2日志门面 一、Log4j1.1 Logges1.2 Appenders1.3 Layouts1.4 使用1.5 配置文件详解1.5.1 配置根目录1.5.2 配置日志信息输出目的地Appender1.5.3 输出格式设置 二、Log4j22.1 XML配置文件解析2.2 使…

《信管通低代码信息管理系统开发平台》Linux环境安装说明

1 简介 信管通低代码信息管理系统应用平台提供多环境软件产品开发服务,包括单机、局域网和互联网。我们专注于适用国产硬件和操作系统应用软件开发应用。为事业单位和企业提供行业软件定制开发,满足其独特需求。无论是简单的应用还是复杂的系统&#xff…