【计算】
弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。
ECS产品架构:
弹性云服务器实例类型:
https://support.huaweicloud.com/productdesc-ecs/zh-cn_topic_0035470096.html
【存储】
对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。
OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,为用户提供了超大存储容量的能力,适合存放任意类型的文件,适合普通用户、网站、企业和开发者使用。OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外,OBS支持SDK和OBS API接口,可使用户方便管理自己存储在OBS上的数据,以及开发多种类型的上层业务应用。
产品文档:
https://support.huaweicloud.com/productdesc-obs/obs_03_0370.html
【网络】
虚拟私有云(Virtual Private Cloud,以下简称VPC),为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。
每个VPC由一个私网网段、路由表和至少一个子网组成。用户在创建VPC时需要指定私网网段,且云资源必须部署在子网内,系统会自动生成默认路由表,保证同一个VPC下的所有子网互通。
华为云网络全景:
VPC为云上资源提供隔离的虚拟网络环境,同时VPC配合其他网络服务提供强大的网络连接功能:
-
与互联网连接
通过弹性公网IP,VPC中的资源都能与互联网连接通信;还可以通过NAT网关的网络地址转换能力,使得VPC内多个资源共享弹性公网IP。 -
与本地数据中心网络连接
通过云专线DC、虚拟私有网络VPN、企业交换机,可以构建VPC与本地数据中心的连接。 -
云上VPC相互连接
通过VPC对等连接功能,VPC可以与同一个区域之间其他VPC之间建立对等连接。
通过云连接CC服务,可以在不同区域的VPC之间建立高速、稳定的网络连接。
产品文档:
https://support.huaweicloud.com/productdesc-vpc/network_overview_0001.html
弹性负载均衡(Elastic Load Balance,简称ELB)是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性。
如下图所示,弹性负载均衡将访问流量分发到后端三台应用服务器,每个应用服务器只需分担三分之一的访问请求。同时,结合健康检查功能,流量只分发到后端正常工作的服务器,从而提升了应用系统的可用性。
图1 弹性负载均衡组件图:
【数据库】
云数据库RDS(Relational Database Service,简称RDS)是一种基于云计算平台的稳定可靠、弹性伸缩、便捷管理的在线云数据库服务。云数据库RDS支持以下引擎:
MySQL
PostgreSQL
SQL Server
MariaDB
云数据库RDS服务具有完善的性能监控体系和多重安全防护措施,并提供了专业的数据库管理平台, 让用户能够在云上轻松的进行设置和扩展云数据库。通过云数据库RDS服务的管理控制台,用户无需编程就可以执行所有必需任务,简化运营流程,减少日常运维工作量,从而专注于开发应用和业务发展。
产品文档:
https://support.huaweicloud.com/productdesc-rds/rds_01_picture.html
RDS for MySQL用户指南:
https://support.huaweicloud.com/usermanual-rds/rds_mysql_02_0001.html
【大数据】
大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。
针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。
图1 MRS架构
MRS架构包括了基础设施和大数据处理流程各个阶段的能力。
-
基础设施
MRS基于华为云弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。
虚拟私有云(VPC)为每个租户提供的虚拟内部网络,默认与其他网络隔离。
云硬盘(EVS)提供高可靠、高性能的存储。
弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。 -
数据采集
数据采集层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消息队列),支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。 -
数据存储
MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。
HDFS是大数据上通用的分布式文件系统。
OBS是对象存储服务,具有高可用低成本的特点。
HBase支持带索引的数据存储,适合高性能基于索引查询的场景。 -
数据融合处理
MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spark(内存计算)、SparkStreaming(微批流计算)、Storm(流计算)、Flink(流计算),满足多种大数据应用场景,将数据进行结构和逻辑的转换,转化成满足业务目标的数据模型。
基于预设的数据模型,使用易用SQL的数据分析,用户可以选择Hive(数据仓库),SparkSQL以及Presto交互式查询引擎。 -
数据呈现调度
用于数据分析结果的呈现,并与数据治理中心DataArts Studio集成,提供一站式的大数据协同开发平台,帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。 -
集群管理
以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。
MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理,以及对上述数据处理各层组件的运维,并提供监控、告警、配置、补丁升级等一站式运维能力。
图2 MRS与其他服务的关系图
产品文档:
https://support.huaweicloud.com/productdesc-mrs/mrs_08_0001.html
云搜索服务(Cloud Search Service,简称CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是华为云ELK生态的一系列软件集合,为您全方位提供托管的ELK生态云服务,兼容Elasticsearch、Kibana、Cerebro等软件。
Elasticsearch是一个搜索引擎,可以实现单机和集群部署,并提供托管的分布式搜索引擎服务。在ELK整个生态中,Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。Elasticsearch搜索引擎相关内容的深入介绍可参见《Elasticsearch:权威指南》:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html。
Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index.html
云搜索服务的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana。云搜索服务兼容了开源Kibana可视化展现和Elasticsearch统计分析能力。
图1 CSS与其他服务的关系
产品文档:
https://support.huaweicloud.com/productdesc-css/css_04_0028.html
使用Spring Boot接入集群:
https://support.huaweicloud.com/bestpractice-css/css_07_0034.html
【管理与监管】
云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
图1 云日志服务示意图:
云日志服务可以采集主机和云服务的日志数据,采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。
产品文档:
https://support.huaweicloud.com/productdesc-lts/lts-03208.html
华为云应用性能管理服务(Application Performance Management,简称APM)帮助运维人员快速发现应用的性能瓶颈,以及故障根源的快速定位,为用户体验保驾护航。
您无需修改代码,只需为应用安装一个APM Agent,就能够对该应用进行全方位监控,帮助您快速定位出错接口和慢接口、重现调用参数、发现系统瓶颈,从而大幅提升线上问题诊断的效率。目前支持JAVA、Python、Node.js、Go、Php和.Net应用。
产品文档:
https://support.huaweicloud.com/productdesc-apm2/apm_01_0001.html
SDK开发指南
https://support.huaweicloud.com/devg-sdk/zh-cn_topic_0070637169.html
访问和使用SDK V3版本
在线生成SDK代码
SDK列表
华为云服务总览