佰腾科技：专利大数据的云上裂变之路

公司简介

我们江苏佰腾科技有限公司是一家从事专利信息应用、专利咨询服务的企业，是国内知名的知识产权服务公司，以佰腾网和专利巴巴为网络平台，面向国内外用户提供知识产权、科技创新整体解决方案。2014年起，我们公司积极推进互联网转型，实施“互联网+专利”计划，开发了国内首家专利电商平台—专利巴巴，通过专利巴巴项目的实施，使公司转型为知识产权领域内的互联网公司，并采用B2B、O2O线上线下相结合的模式为客户提供全方位的、全流程的知识产权一体化服务。

业务痛点

急需大数据的处理能力。
- 上百项数据维度的高效存储和高效处理是我们公司目前急需解决的问题。提升了大数据的处理能力，才能加快专利信息应用的步伐、满足客户更多的需求。
- 现在的数据维度比较多，处理环节非常多，需要实现数据处理流程的自动化编排。
数据平台的可扩展问题。
我们公司的专利巴巴产品架构中几十个组件都要维护，每有一个客户需求都需要做组件，需要解决数据平台的扩展性，以便快速支撑各种需求的应用。

解决方案

图 1. 专利巴巴业务架构

专利巴巴业务架构

数据处理能力：
- 使用MaxCompute平台代替数据库。我们上云之前的原始数据处理和数据维度分析都使用了数据库集群，现在将这两部分放入了MaxCompute，大幅提升整个数据存储和处理的效率。
- 通过使用MaxCompute的任务平台，来编排处理任务。数据都存在MaxCompute表里，因此可以定义MaxCompute函数，访问表里的内容，并进行相应处理。Shell任务对原始数据进行数据包拆解，拆包后把数据放到MaxCompute，然后通过SQL任务对数据维度进行拆解和分析，这时会用到定义的MaxCompute函数，最后还可以调用一个Shell任务，对数据维度索引，供上层应用使用。
数据应用需求：
- 平台架构分层化设计。按照专利大数据的处理流程和职责明确做了设计，核心是数据维度数据库。
  - 数据获取层：负责从数据源拉取数据，检验数据的完整性。
  - 数据处理层：对原始数据进行数据维度的挖掘。
  - 数据应用层：对数据维度进行各类索引以便应用。
  - 数据服务层：负责对外提供统一的数据服务接口，保障服务质量。
  - 数据管控层：负责对整个数据平台进行运行监控。
- 数据维度规范化处理。我们对于数据维度做了大量的规范性要求：
  - 为每个数据维度明确其应用目标。
  - 明确数据维度的数据样式规范。
  - 明确数据维度的质量标准。
- 数据维度规范化应用。
  - 引擎组件：各类引擎组件用不同的方式对数据维度进行编码索引，并提供各种特性的数据应用功能。
  - 模型系统：对引擎组件的能力进行编排，实现可重用的数据分析能力，提高数据分析应用的复杂度。

上云价值

数据的测算之前基于RDS的数据存储，一个维度的数据处理需要2-3天，现在处理时间缩短到3-6个小时，整个性能提升非常之大；而且，在大量数据处理时，很多时候是处理到80%的时候才会发现数据处理有问题，若处理时间过长，当发现问题时会一切重新开始，浪费的时间非常长。所以在这个场景下，MaxCompute的性能非常可靠。
上云之后的大数据处理流程比之前的流程简单很多。所有数据处理流程都实现了自动化编排，一键式处理就可以完全编排，非常高效。