点触科技：构建实时计算和数据仓库解决方案

公司介绍

厦门点触科技股份有限公司，新三板挂牌企业（股票代码：870702），成立于2013年，是一家以历史养成类游戏研发与发行为主，专业从事手机游戏的策划、研发制作、商业化运营的创新型发展公司。目前已经成功研发出《叫我万岁爷》、《我在大清当皇帝》、《Game of Sultan》、《皇上吉祥》等多款历史题材类游戏并深受玩家喜爱。覆盖了全国及港台、东南亚等部分海外市场。

业务痛点

对数据库的快速、实时查询能力要求高：
某些恶意用户利用信用卡或者别的漏洞刷单（代充），系统需要实时查询多种日志（比如登入日志，充值日志等）从而识别并拦截游戏代充订单，才能避免损失代充订单的钱。
对数据库的性能要求高：
随着业务快速发展，用户行为日志快速增长，需要从海量的点击流日志和激活日志中挖掘数据的价值，比如广告转化率、激活率，每安装用户成本等等。
Greenplum架构遇到瓶颈：
原来使用Greenplum做实时计算和统计分析。但是Greenplum存在多种缺陷，难以应对业务的快速发展。
- Greenplum架构难以应对日益复杂的计算任务。
- Greenplum的单表分区数目有限制，同时多级分区支持不够友好，不适用单表数据量比较大且需要永久保存的日志，如果单个分区表数据量比较大的时候查询性能无法满足业务性能需求。
- Greenplum扩容时由于数据要重分布会比较慢。
- Greenplum不适合处理非结构化的数据。

解决方案

点触科技经过多方权衡，最终选择阿里云HBase SQL服务（Phoenix）+ Spark服务构建实时计算和数据仓库解决方案。

点触科技技术架构

HBase SQL提供在线查询能力、Spark提供流式处理、复杂分析等能力来满足业务需求。
梳理业务数据，对数据进行分层存储在HBase SQL（Phoenix）+Spark中：
- 操作数据层：手游客户端、用户中心、广告监测、游戏服务器等产生的原始日志。
- 数据明细层：操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入HBase SQL服务，也可以直接使用JDBC写入数据。
- 数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到数据汇总层。数据汇总层的数据供后续的复杂分析。
- 应用数据层：直接对外提供数据查询服务（基于HBase SQL服务）支撑上层大数据风控、广告推荐、海量数据精细化运营；数据汇总层的数据经过处理后会把结果数据写入到HBase SQL中对外提供查询服务。

上云价值

毫秒级识别拦截代充订单。HBaseSQL（Phoenix）高并发实时读写，TPS可达百万量级，并发十万量级，毫秒级简单查询。
Spark优秀的计算能力。同样作业Spark基于列式存储Parquet的分析在数据量大的情况下比Greenplum集群有10倍的性能提升。支撑了广告转化率、激活率，安装用户成本，数据驱动精细化运营等业务计算需求。
一站式解决方案。Spark服务原生支持通过SQL读取HBaseSQL（Phoenix）数据能力，具备列裁剪、谓词下推、分区裁剪等优化；高效地把HBase SQL在线库的数据ETL后归档到Spark数据仓库。
聚焦业务。全托管的Spark服务保证了作业运行的稳定性，释放运维人力，同时数据工作台降低了Spark作业管理成本。