1.集群搭建
参考文章:hadoop2.10.0完全分布式集群搭建+ HA(QJM)高可用集群搭建_hadoop 2.10 ha-CSDN博客
创建文件夹 hdfs dfs -mkdir -p hdfs://192.168.80.132:9000/test
开放权限 hdfs dfs -chmod -R 777 /test
上传文件 hadoop fs -put /home/wh/data/result_0.tiff hdfs://192.168.80.132:9000/test
2.GDAL+HDFS编译
参考文章:hadoop3.1.2/gdal3.0.0源码编译 - 简书
可以不编译hapoop,直接使用官网的库
需要新增的环境变量
export JAVA_HOME=/home/wuhao/project/jdk1.8.0_411
export HADOOP_HOME=/home/wuhao/project/hadoop-2.10.2export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath --glob)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native:$JAVA_HOME/jre/lib/amd64/server
同时需要把第一步的core-site.xml配置同步到客户机上,可以直接拷贝hadoop/etc目录,不然会一直报下面的错误。
使用gdalinfo验证
3.使用Java测试GDAL接口读取tif文件
4.使用c++测试GDAL接口读取tif文件
#include <iostream>
#include <gdal.h>
#include "gdal_priv.h"using namespace std;int main()
{string hdfsPath = "hdfs://192.168.80.132:9000/wuhao/test/result_0.tiff";cout << "hdfsPath:" << hdfsPath << endl;GDALAllRegister();string gdalPath = "/vsihdfs/" + hdfsPath;GDALDataset* ds = (GDALDataset*)GDALOpen(gdalPath.c_str(), GA_ReadOnly);int x = ds->GetRasterXSize();int y = ds->GetRasterYSize();cout << "x:" << x << endl;cout << "y:" << y << endl;return 0;
}