Tencent : TBDS简介

Tencent TBDS（Tencent Big Data Suite）是腾讯公司推出的大数据处理套件，它基于腾讯多年海量数据处理经验，依托云原生技术和泛Hadoop生态开源技术，为用户提供可靠、安全、易用的大数据处理平台。

TBDS可以在公有云、私有云、非云化环境中，根据不同数据处理需求组合合适的存算分析组件，如Hive、Spark、HBase、Flink、Presto、Iceberg、Elasticsearch、StarRocks等，以快速构建企业级数据湖仓。其主要特点和优势包括：

技术开放：兼容开源Hadoop标准生态，使得历史构建在Hadoop上的大数据平台可以平滑迁移。同时，全开放的数据存储格式和丰富的开源大数据组件，可以根据需要灵活搭配，支持多驱动接入。
安全可靠：数据节点采用分布式部署，支持多场景容灾方案。提供数据加密传输、存储等功能，确保数据的安全性。全平台支持单点登录，统一策略管控中心，方便管理。
弹性扩展：TBDS可以根据业务需求自动扩展计算和存储资源，以应对不断增长的数据量和计算需求。
多样化的计算引擎：支持多种计算引擎，包括Hadoop、Spark和Flink等，用户可以根据实际需求选择最适合的引擎进行数据处理和分析。
数据集成和实时处理：支持将不同来源的数据进行集成和处理，同时提供实时数据处理的能力，满足用户对实时数据分析的需求。
架构组成：
- 应用层：这是用户直接交互的层面，用户可以通过页面进行用户管理、库表管理以及全链路的应用开发。
- 平台层：提供各类大数据组件，供开发者运行各类大数据程序。这些组件包括数据仓库、数据湖、数据集成、数据开发套件等，用于支持数据的存储、处理、集成和开发。
- 全局工作流平台Lhotse：用户将开发好的应用在此平台上进行任务调度，通过任务将数据接入后再经过实时计算平台Oceanus或者离线MR任务处理，最后落地存储在HDFS上。
数据处理能力：
- 多数据源支持：TBDS支持从多种异构数据源中捕获数据，包括但不限于关系型数据库、NoSQL数据库、HDFS、Hive等。
- 全链路数据开发：提供从数据采集、数据集成、数据开发到数据存储的全链路数据开发能力。
- 数据处理和分析：支持离线批处理计算、实时流处理计算等多种数据处理方式，满足用户不同的数据处理需求。
性能和可靠性：
- 高性能数据接入引擎：内部业务日接入五万亿条数据，性能全面超越社区方案，数据处理能力提升30%左右。
- 可靠性：系统控制节点组件热备高可用，故障可秒级切换。经过腾讯95%的业务考验，可用性达99.999%。支持多场景容灾方案，确保数据安全。
安全性和合规性：
- 数据加密传输和存储：支持数据加密传输和存储，确保数据在传输和存储过程中的安全性。
- 访问控制和审计：提供基于角色的数据管控体系，支持Kerberos认证和细粒度权限控制。同时，提供完善的访问审计及预警模型，确保数据访问的合规性。
易用性和可维护性：
- 一键式部署：支持一键式部署，用户只需选择适合的服务即可快速完成部署。
- 智能运维：提供可观测智能运维管控、数据迁移、容灾备份、巡检诊断、健康评测等丰富工具，帮助用户快速定位解决问题，实现平台高效管理。
- 良好的文档支持：提供良好的文档技术支持，帮助用户快速上手并解决问题。
扩展性和灵活性：
- 组件化设计：TBDS采用组件化设计，用户可以根据实际需求选择并组合不同的组件，实现定制化的数据处理和分析解决方案。
- 开放API：提供开放的API接口，方便用户集成TBDS到已有的IT系统中。