GDAL访问HDFS集群中的数据

1.集群搭建

参考文章：hadoop2.10.0完全分布式集群搭建+ HA(QJM)高可用集群搭建_hadoop 2.10 ha-CSDN博客

创建文件夹 hdfs dfs -mkdir -p hdfs://192.168.80.132:9000/test
开放权限 hdfs dfs -chmod -R 777 /test
上传文件 hadoop fs -put /home/wh/data/result_0.tiff hdfs://192.168.80.132:9000/test

2.GDAL+HDFS编译

参考文章：hadoop3.1.2/gdal3.0.0源码编译 - 简书

可以不编译hapoop，直接使用官网的库

需要新增的环境变量

export JAVA_HOME=/home/wuhao/project/jdk1.8.0_411
export HADOOP_HOME=/home/wuhao/project/hadoop-2.10.2export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native:$JAVA_HOME/jre/lib/amd64/server

同时需要把第一步的core-site.xml配置同步到客户机上，可以直接拷贝hadoop/etc目录，不然会一直报下面的错误。

使用gdalinfo验证

3.使用Java测试GDAL接口读取tif文件

4.使用c++测试GDAL接口读取tif文件

#include <iostream>
#include <gdal.h>
#include "gdal_priv.h"using namespace std;int main()
{string hdfsPath = "hdfs://192.168.80.132:9000/wuhao/test/result_0.tiff";cout << "hdfsPath:" << hdfsPath << endl;GDALAllRegister();string gdalPath = "/vsihdfs/" + hdfsPath;GDALDataset* ds = (GDALDataset*)GDALOpen(gdalPath.c_str(), GA_ReadOnly);int x = ds->GetRasterXSize();int y = ds->GetRasterYSize();cout << "x：" << x << endl;cout << "y：" << y << endl;return 0;
}