geotrellis使用（二十九）迁移geotrellis至1.1.1版

一、前言

由于忙着安装OpenStack等等各种事情，有半年的时间没有再亲密的接触geotrellis，甚至有半年的时间没能畅快的写代码。近来OpenStack折腾的稍见成效，历经九九八十一Failure后成功的在16台服务器上搭建了云平台，于是干了一件疯狂的事情——在OpenStack上创建建立几台虚拟机，并用他们搭建了Hadoop集群，完事将之前的geotrellis代码运行在集群上。一切看似很顺利，但是我是个有强迫症的人，一看geotrellis已经升级到了1.1.1版，那么我也就赶紧将自己的代码升级到此版本，于是有了本篇文章。

二、升级过程

从1.0版升级到1.1.1版变化不是非常大，主要是以下几个方面的变化：

2.1 废弃spray，改用akka发布http服务

之前geotrellis的习惯方式是使用spray来发布http服务，这样会造成总总的版本冲突，前面我还专门有写文章来探讨版本冲突及解决方案。1.1.1版直接使用akka发布http服务，而无需spray便少了很多冲突的可能性。build.sbt文件如下：

import scala.util.Propertiesval gtVersion = "1.1.1"
val scalaV = "2.11.8"
val sparkV = "2.1.0"
val hadoopV = "2.7.1"
val akkaActorVersion = "2.4.17"
val akkaHttpVersion  = "10.0.3"name := "GeoTrellis-SJZX"
scalaVersion := Properties.propOrElse("scala.version", scalaV)
crossScalaVersions := Seq("2.11.8", "2.10.6")
organization := "com.sjzx"
licenses := Seq("Apache-2.0" -> url("http://www.apache.org/licenses/LICENSE-2.0.html"))
scalacOptions ++= Seq("-deprecation","-unchecked","-Yinline-warnings","-language:implicitConversions","-language:reflectiveCalls","-language:higherKinds","-language:postfixOps","-language:existentials","-feature")
publishMavenStyle := true
publishArtifact in Test := false
pomIncludeRepository := { _ => false }val geotrellis = Seq("org.locationtech.geotrellis" %% "geotrellis-accumulo" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-hbase" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-cassandra" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-s3" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-spark" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-spark-etl" % gtVersion,"org.locationtech.geotrellis" %% "geotrellis-shapefile" % gtVersion
)val akka = Seq("com.typesafe.akka" %% "akka-actor" % akkaActorVersion,"com.typesafe.akka" %% "akka-http-core" % akkaHttpVersion,"com.typesafe.akka" %% "akka-http" % akkaHttpVersion,"com.typesafe.akka" %% "akka-http-spray-json" % akkaHttpVersion
)val cluster = Seq("org.apache.spark" %% "spark-core" % sparkV,"org.apache.hadoop" % "hadoop-client" % hadoopV
)val library = geotrellis ++ akka ++ clusterlibraryDependencies ++= libraryivyScala := ivyScala.value map {_.copy(overrideScalaVersion = true)
}test in assembly := {}assemblyMergeStrategy in assembly := {case "reference.conf" => MergeStrategy.concatcase "application.conf" => MergeStrategy.concatcase "META-INF/MANIFEST.MF" => MergeStrategy.discardcase "META-INF\\MANIFEST.MF" => MergeStrategy.discardcase "META-INF/ECLIPSEF.RSA" => MergeStrategy.discardcase "META-INF/ECLIPSEF.SF" => MergeStrategy.discardcase _ => MergeStrategy.first
}

发布服务语句如下：

import akka.http.scaladsl.Http
Http().bindAndHandle(routes, host, port)

其中host为本机ip，port为服务端口，而routes则为你定义的路由规则。定义方式如下：

import akka.http.scaladsl.model.{ContentType, HttpEntity, HttpResponse, MediaTypes}
def routes = pathPrefix(IntNumber / IntNumber / IntNumber) { (zoom, x, y) =>parameters('names,'mask ? "") { (names, maskz) =>complete {Future {val result = ...HttpResponse(entity = HttpEntity(ContentType(MediaTypes.`image/png`), result))}}}}

可以看出基本与spray版本相同，只是此处引用的包均为akka的。不同的地方在于http的响应方式有变化，变为：

HttpResponse(entity = HttpEntity(ContentType(MediaTypes.`image/png`), result))

其中result为瓦片的字节数组。

具体可以参考官方示例https://github.com/geotrellis/geotrellis-chatta-demo

2.2 增加CollectionLayerReader查询瓦片方式

如果需要根据范围或其他条件来查询瓦片集，之前版本只能通过LayerReader的方式，现增加了CollectionLayerReader的方式。其使用方式基本与LayerReader相同，唯一不同的是返回结果不再是RDD集合，而是Seq集合。从这一点也能看出CollectionLayerReader不再使用Spark调用瓦片，而是直接调用Accumulo或其他数据库中的瓦片数据，所以返回的不再是RDD集合。究竟两种方式哪种更好，我并未做大量的实验来进行测试，个人感觉CollectionLayerReader的方式可能更自由，速度也要稍微快些。以Accumulo为例，其创建方式如下：

val instance = AccumuloInstance(config.getString("accumulo.instance"),config.getString("accumulo.zookeepers"),config.getString("accumulo.user"),new PasswordToken(config.getString("accumulo.password"))
)val collectionLayerReader = AccumuloCollectionLayerReader(instance)

三、总结

本文并未包含过多的知识点，算是代码状态的一个回归吧。虽然部署OpenStack等运维层面的工作以及单片机、嵌入式等硬件层面的工作我都很喜欢，成功后都会给我带来深深的享受之感，其实我更喜欢写代码，一行行优美的如同艺术品的代码从大脑经过指尖展示在显示屏上，而后便能看到所有的事情全部按照自己预想的方式运行，这种快感是无法言表的。

半年内也有很多人咨询我关于geotrelis的相关问题，有些我耐心的回答了，有些问的问题明显就是没有经过大脑的，用宝玉的话说：懒怠回答，只说几个字去看我的博客。有些人说看了我的博客之后学到很多，也有些人说没有讲清楚，所以我感觉可能是我真的表达的不太清楚，于是我后续可能再写一系列的博客针对geotrellis的各个部分或者功能来进行详细讲解，而不是像现在这样结合具体业务来进行分析，当然结合具体业务进行分析的方式也会继续进行。敬请期待！