云原生专栏大纲
文章目录
- 为什么使用TIDB
- 后端视角
- 运维视角
- 基础架构视角
- TiDB Operator 简介
- 软件版本要求
- 部署tidb
- TIDB工具
- helm常用命令
- TIDB学习推荐资料
为什么使用TIDB
从后端视角、运维视角和基础架构视角来看,使用 TiDB 作为数据库系统可以获得分布式架构、高可用性、强一致性、事务支持、水平扩展、高性能、简化运维、灵活的扩展和配置、集成的监控和告警等优势。这些优势使得 TiDB 成为处理大规模数据和高并发请求的理想选择,并能够满足复杂的业务需求和运维要求。
后端视角
- 分布式架构和高可用性:TiDB 是一个分布式数据库系统,采用分布式架构和数据分片技术,可以将数据分布在多个节点上。这种架构使得 TiDB 具有高可用性和容错性,即使某个节点发生故障,系统仍然可以继续提供服务,确保业务的连续性。
- 强一致性和事务支持:TiDB 提供强一致性和事务支持,符合 ACID 特性。它使用分布式一致性协议来保证数据的一致性,在多节点之间实现事务的隔离和提交。这使得 TiDB 可以处理复杂的业务逻辑和数据一致性要求。
- 水平扩展和高性能:TiDB 具有水平扩展和负载均衡的能力。通过添加更多的节点,可以实现数据的水平分片和负载均衡,提供更高的吞吐量和更低的延迟。这使得 TiDB 能够处理大规模数据和高并发请求,满足高性能的需求。
运维视角
- 简化运维工作:TiDB 提供了简化运维的功能,减少了运维人员的工作量。它具有自动化的故障检测和恢复机制,可以自动处理节点故障和数据复制等问题。此外,TiDB 还提供了集中式的管理界面和命令行工具,使得运维人员可以方便地监控和管理整个数据库集群。
- 灵活的扩展和配置:TiDB 具有灵活的扩展和配置选项。它支持在线扩容和缩容,可以根据负载情况动态调整集群的规模。此外,TiDB 还提供了丰富的配置选项,使得运维人员可以根据具体需求进行优化和调整,以获得最佳的性能和资源利用率。
- 集成的监控和告警:TiDB 集成了监控和告警功能,可以实时监控数据库集群的状态和性能指标,并根据预设的规则和阈值触发告警通知。这使得运维人员可以及时发现和解决潜在的问题,保证系统的稳定性和可靠性。
基础架构视角
- 分布式数据存储和计算:TiDB 的分布式架构使得数据可以分布在多个节点上,实现了分布式的数据存储和计算。这种架构可以提供更好的数据并行性和负载均衡,支持处理大规模数据和高并发请求。
- 弹性扩展和容错性:TiDB 具有弹性扩展和容错性的特点。通过添加更多的节点,可以实现系统的弹性扩展,以适应不断增长的数据和负载。同时,TiDB 的分布式架构还具有容错性,即使某个节点发生故障,系统仍然可以继续提供服务。
- 云原生和容器化支持:TiDB 支持云原生和容器化部署。它可以与容器编排平台(如 Kubernetes)集成,实现弹性伸缩和自动化管理。这使得 TiDB 可以更好地适应云环境和容器化部署的需求。
TiDB Operator 简介
TiDB Operator 是一个用于在 Kubernetes 上部署和管理 TiDB 集群的工具。TiDB 是一个开源的分布式关系型数据库,具有高可用性、可扩展性和水平扩展的特性,适用于处理大规模的数据和高并发的工作负载。
TiDB Operator 的主要功能是简化 TiDB 集群的部署、管理和运维。它基于 Kubernetes 的自定义资源定义(Custom Resource Definition,CRD)和控制器模式,提供了一组自定义资源和控制器,用于描述和操作 TiDB 集群的各个组件和配置。
以下是 TiDB Operator 的一些主要特点和功能:
- 自动化部署和扩展:TiDB Operator 可以自动化地部署和扩展 TiDB 集群。您可以通过定义 TiDBCluster 自定义资源来描述集群的拓扑结构、副本数量、存储配置等参数,TiDB Operator 将根据这些参数自动创建和管理相应的 Kubernetes 资源。
- 可靠的运维功能:TiDB Operator 提供了一些可靠的运维功能,包括自动备份和恢复、滚动升级、自动故障转移等。它可以监控集群的状态和健康状况,并根据需要执行相应的操作,以确保集群的高可用性和稳定性。
- 灵活的配置和扩展:TiDB Operator 允许您通过自定义资源和配置文件来灵活地配置和扩展 TiDB 集群。您可以定义 TiDBCluster、TiDBMonitor、BackupSchedule 等自定义资源来指定集群的各种配置和行为,以满足特定的需求。
- 监控和告警:TiDB Operator 集成了 Prometheus 和 Grafana,可以提供集群的实时监控指标和可视化。您可以通过自定义资源 TiDBMonitor 来配置监控规则和告警策略,以及在集群出现问题时发送告警通知。
TiDB Operator 简化了在 Kubernetes 上部署和管理 TiDB 集群的过程,提供了自动化的部署、可靠的运维功能和灵活的配置选项。它使得使用 TiDB 在容器化环境中更加便捷和高效。您可以访问TiDB Operator 简介 GitHub - pingcap/tidb-operator
通过之前文章《8.云原生存储之Ceph集群》介绍ceph部署也使用了Operator,简单总结Operator就是一个部署控制器,主要用于简化部署过程。
软件版本要求
软件名称 | 版本 |
---|---|
Docker | Docker CE 18.09.6 |
Kubernetes | v1.12.5+ |
CentOS | CentOS 7.6,内核要求为 3.10.0-957 或之后版本 |
Helm | v3.0.0+ |
上篇中已经讲述了centos升级操作
Kubernetes Master 节点的配置取决于 Kubernetes 集群中 Node 节点个数,节点数越多,需要的资源也就越多。节点数可根据需要做微调。
Kubernetes 集群 Node 节点个数 | Kubernetes Master 节点配置 |
---|---|
1-5 | 1vCPUs 4GB Memory |
6-10 | 2vCPUs 8GB Memory |
11-100 | 4vCPUs 16GB Memory |
101-250 | 8vCPUs 32GB Memory |
251-500 | 16vCPUs 64GB Memory |
501-5000 | 32vCPUs 128GB Memory |
部署tidb
- 添加tidb应用仓库
- 查看应用仓库提供的应用
- 在 Kubernetes 上快速上手 TiDB
部署前先在kubesphere中创建如下项目(对应k8s中命名空间)
# 部署crd
kubectl create -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/manifests/crd.yaml# 部署tidb-operator,可在ks应用仓库部署
helm install --namespace tidb-admin tidb-operator pingcap/tidb-operator --version v1.5.1# 查看部署情况
kubectl get pods --namespace tidb -l app.kubernetes.io/instance=tidb-operator# 部署 TiDB 集群。可以在应用仓库部署,注意修改storageClassName
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-cluster.yaml# 部署独立的 TiDB Dashboard
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-dashboard.yaml# 部署 TiDB 集群监控
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-monitor.yaml
- kubesphere中查看部署情况
- 暴露tidb相关服务
部署后会创建basic-tidb(svc),通nodeport暴露服务发现会重置导致不能访问,此处小编自己创建tidb-svc暴露服务进行测试如下:
- grafana监控面板集群监控,账号密码admin
- dashboard
TIDB工具
helm仓库 https://charts.pingcap.org/包括应用如下:
应用名称 | 描述 |
---|---|
tidb-operator | 用于在 Kubernetes 上部署和管理 TiDB 集群的操作符。它提供了自动化的部署、扩展和运维功能,简化了 TiDB 集群的管理流程。 |
tidb-cluster | 用于定义和配置 TiDB 集群的 Helm Chart。通过 tidb-cluster,您可以指定 TiDB、TiKV 和 PD 组件的数量、资源配置、存储设置等参数,以创建一个完整的 TiDB 集群。 |
tidb-backup | 提供了对 TiDB 集群进行备份和恢复的功能。tidb-backup 可以根据预定的计划自动备份 TiDB 集群,并支持从备份中恢复数据。 |
tidb-drainer | 用于从 MySQL 或者 TiDB 集群中抓取 Binlog,并将其转发到其他目标(如 Kafka 或者 TiDB 集群)。tidb-drainer 可以用于实时数据分析、数据同步等场景。 |
tidb-lightning | 提供了快速导入大量数据到 TiDB 集群的功能。tidb-lightning 可以将数据从各种数据源(如 MySQL、CSV 文件等)导入到 TiDB 集群中,以加快数据导入速度。 |
tikv-importer | 用于将数据从其他数据库引擎(如 RocksDB)迁移到 TiKV。tikv-importer 提供了高效的数据迁移工具,可以将数据转换为 TiKV 的格式并导入到 TiDB 集群中。 |
tikv-operator | 用于在 Kubernetes 上部署和管理 TiKV 集群的操作符。tikv-operator 可以自动创建和管理 TiKV 实例,提供了高可用性和可扩展性的分布式存储解决方案。 |
diag | 提供了 TiDB 集群的诊断和故障排查工具。diag 可以帮助您分析和解决 TiDB 集群中的性能问题、错误和故障。 |
br-federation | 用于在分布式 TiDB 集群中进行备份和恢复的工具。br-federation 可以协调多个 TiDB 集群之间的备份和恢复操作,提供了跨集群的数据保护和恢复能力。 |
helm常用命令
helm install | 安装一个 Helm 包 | helm install my-release stable/mysql |
---|---|---|
helm upgrade | 升级已安装的 Helm 包 | helm upgrade my-release stable/mysql |
helm uninstall | 卸载一个已安装的 Helm 包 | helm uninstall my-release |
helm list | 列出已安装的 Helm 包 | helm list |
helm status | 显示已安装的 Helm 包的状态 | helm status my-release |
helm rollback | 回滚到先前的 Helm 包版本 | helm rollback my-release 1 |
helm search | 搜索可用的 Helm 包 | helm search repo mysql |
helm repo add | 添加一个 Helm 仓库 | helm repo add stable https://charts.helm.sh/stable |
helm repo update | 更新已添加的 Helm 仓库 | helm repo update |
helm repo list | 列出已添加的 Helm 仓库 | helm repo list |
helm dependency update | 更新 Helm 依赖 | helm dependency update my-chart |
helm lint | 检查 Helm Chart 的语法和最佳实践 | helm lint my-chart |
helm template | 生成 Helm Chart 的模板文件 | helm template my-chart |
helm history | 显示已安装 Helm 包的历史版本 | helm history my-release |
helm plugin install | 安装 Helm 插件 | helm plugin install https://example.com/helm-plugin.tar.gz |
helm plugin list | 列出已安装的 Helm 插件 | helm plugin list |
helm plugin uninstall | 卸载已安装的 Helm 插件 | helm plugin uninstall my-plugin |
helm env | 显示 Helm 的环境变量信息 | helm env |
TIDB学习推荐资料
小编推荐学习最好还是阅读官网TiDB 产品文档,官网提供的PFD文档TiDB on Kubernetes 用户文档.pdf,tidb-github。除上述学习途径,小编推荐b站上的tidb教程,配套 资料已上传到gitee。