数据的力量:构筑现代大型网站之数据库基础与应用

目录

数据库基础知识--前言

大型网站架构特点

DBA数据库管理员

什么是数据?

数据存储

什么是数据库

数据表的概念

为什么需要mysql这样的数据库管理工具?★

DBMS

收费数据库与免费数据库

运维和数据库

开发与运维的不同阶段

数据库类别

数据库具体应用场景

相亲网

友情提醒


数据库基础知识--前言

大型网站架构特点

和传统企业应用系统相比,大型网站系统具备如下特点:

  • 高并发,大流量:需要扛得住高并发,大流量的用户访问。Google日均PV数35亿,日均IP访问数3亿;腾讯QQ同时在线用户数过亿;淘宝双11当天活动交易额过百亿,活动开始的第一分钟独立访问用户数达千万。

  • 高可用:网站系统需要7*24小时不间断提供服务,大型网站的宕机事件通常都会成为新闻焦点,例如百度域名曾被黑客劫持无法访问。

  • 海量数据,高可用数据库:需要存储,管理海量数据,使用大量的服务器。

  • 世界各地用户分布广泛,网络环境复杂:大型网站都是为全球用户提供服务,全球各地网络环境千差万别,即使国内也有多个运营商网络互通难的问题,面对海外用户还得假设海外数据中心。

  • 服务器安全问题:互联网的开放性,很容易受到黑客攻击,需要保护服务器安全,保证数据安全。

  • 需求快速变更,发布频繁:和传统应用比较不同,互联网产品为了快速满足市场需求,产品发布率很高,一天内网站发布几十次已是正常。

  • 渐进式发展:即使是世界级大型网站,也都是由小型架构慢慢演变而来,如阿里巴巴本是在马云家中客厅诞生。

总的来说,大型网站的架构特点要求数据库必须具备高性能、高可用性、可扩展性和安全性。这些要求直接影响了数据库的选择、设计和优化策略。

DBA数据库管理员

数据库管理员(Database Administrator,简称DBA),是从事管理和维护数据库管理系统(DBMS)的相关工作人员的统称,属于运维工程师的一个分支,主要负责业务数据库从设计、测试到部署交付的全生命周期管理。

DBA的核心目标是保证数据库管理系统的稳定性、安全性、完整性和高性能。

在国外,也有公司把DBA称作数据库工程师(Database Engineer),两者的工作内容基本相同,都是保证数据库服务7*24小时的稳定高效运转,但是需要区分一下DBA和数据库开发工程师(Database Developer):

  1. 数据库开发工程师的主要职责是设计和开发数据库管理系统和数据库应用软件系统,侧重于软件研发;

  2. DBA的主要职责是运维和管理数据库管理系统,侧重于运维管理。

毋庸置疑,所有互联网网站最头的瓶颈就是企业的后端数据库,而MSQL更是重中之重,谁掌握了数据库技术,谁就能轻松拿到高薪,并且数据库管理岗位比其他岗位更受企业重视,因为数据安全是企业最重要的生命线,没有之一。

并且数据库又分为很多种,包括关系型数据库,缓存数据库,我们重点学习的是企业里最常用的

  • mysql,mariadb

  • redis

什么是数据?

数据就是数值,也就是我们通过观察、实验或计算得出的结果。

数据有很多种,最简单的就是数字

数据也可以是文字、图像、声音等

我们打游戏最怕什么?最怕被盗号,怕自己的账号,密码丢失。

打游戏时候,腾讯为了保护大家的账号安全,提供了密保卡,进行坐标验证登录。

数据存储

很早很早以前,古人是这么存数据的

结绳、契刻、结珠、石头替代法等等,如今纸张是人们广泛使用的信息载体。但是书籍不便于查询、共享、储藏等缺点。

随着计算机的发展,人们将信息转化为二进制数字,存储在磁性存储介质中,也就是磁盘进行数据记录。数据通过文件系统管理,以文件形式显示出来。

但是大量的文件数据,查询内容,还是很不方便。

在这个背景下,一个专门用于数据管理的工具诞生了,它能让我们更简单的管理数据。

什么是数据库

顾名思义,数据库(DB,database)按照数据结构来组织、存储和管理数据的“仓库”,是一个文件或者一组文件。

是数据库中存储数据的基本单位,数据按照分类存储在不同的 表 中,便于查询。

数据库可以通过统一的一些指令对数据进行增、删、改、查(Create,Retrive,Updata,Delete)等操作例

如财务人员使用Excel统计公司资产信息,进行管理,计算账户,Excel是微软推出的一款电子表格软件,提供计算和图标展示。

数据表的概念

数据表可以有很多,存储不同的信息 也就是不同的数据,分别写在不同的数据表中,也就是table的概念,可以理解为excel的表格。

如图:

Excel很强大,但是对于企业来说,业务需求庞大,用Excel可能会有成千上万张,并且存储管理很麻烦,员工和客户想要实时知道企业数据,不可能把一个巨大无比的Excel发送给用户。

因此数据库软件应运而生,

为什么需要mysql这样的数据库管理工具?

因为

  • excel表格难以保存,容易丢失,损坏等等

  • 难以进行复杂的查询,比如多张表的连接查询

DBMS

数据库管理系统Database Management System,数据库管理系统

这一软件用于创建和操作数据库。

主流数据库软件,如Mysal(免费),Oracle(收费,甲骨文公司),Microsoft SQL Server、SQLite (轻型)等。

mysql主要用于大型门户,例如搜狗、新浪等,它主要的优势就是开放源代码,因为开放源代码这个数据库是免费的,他现在是甲骨文公司的产品。

oracle主要用于银行、铁路、飞机场等。该数据库功能强大,软件费用高。也是甲骨文公司的产品。

sql server是微软公司的产品,主要应用于大中型企业,如联想、方正等。

收费数据库与免费数据库

收费数据库与免费数据库在多个方面存在差异,以下是一些主要区别:

1.成本

  • 免费数据库通常是开源的,用户可以免费下载和使用,不需要支付授权费用。例如,MySQL和PostgreSQL都是广泛使用的免费数据库。

  • 收费数据库则需要用户购买使用授权,通常会根据服务器数量、处理器数量或使用的用户数量等来计算费用。

2.支持和维护

  • 免费数据库虽然可以免费使用,但用户需要自行负责数据库的维护和支持。虽然通常有社区支持和文档资源,但可能没有及时的技术支持服务。

  • 收费数据库一般会提供专业的技术支持和维护服务,这对于商业环境中对稳定性和安全性要求较高的应用场景来说非常重要。

3.功能和性能

  • 免费数据库通常具备基本的功能和性能,适合个人学习、开发测试或小型项目使用。

  • 收费数据库可能提供更多高级功能,如数据仓库、高可用性、灾难恢复等,并且可能提供更好的性能优化和扩展能力。

4.定制和灵活性

  • 免费数据库由于是开源的,用户可以根据自己的需求进行定制开发。

  • 收费数据库可能提供更灵活的定制选项,以满足特定的业务需求。

5.社区和生态系统

  • 免费数据库通常拥有活跃的社区,用户可以从社区中获得帮助和资源。

  • 收费数据库可能有更专业的用户群体和合作伙伴网络。

6.风险和责任

  • 使用免费数据库时,所有的维护和问题解决责任都在用户自己,而收费数据库通常由供应商提供保障和服务。

总的来说,免费数据库对于成本敏感和非关键应用是一个不错的选择,而收费数据库则更适合那些需要专业支持、高级功能和高度可靠性的商业环境。在选择数据库时,应根据项目的具体需求、预算和技术能力来决定使用哪种类型的数据库。

数据库,简而言之就是有组织的存储数据的一个仓库(本质就是文件信息管理)。

如同冰箱存储食物,衣柜存放衣物。我们每天登陆QQ,微信,查询支付宝余额,银行卡余额,都是软件去读取查找数据库记录。

日常生活,我们一直一直在使用数据库管理软件,譬如电话簿里找名字,百度搜索"如何变有钱"也是在用数据库。

运维和数据库

说白了,数据库就是存数据的,是一款软件,用专门的数据库语言,增删改查数据。

这就好比我们平时对电脑里的数据管理

  • 多个文件夹,分类管理。

  • 文件夹里的文件,数据,照片,视频,游戏

我们在公司里,和开发对接,对数据进行管理 数据库的形式 自己在linux上,直接安装,例如下图,数据都在linux机器磁盘上,运维自己管理

云服务器RDS产品(数据库安装在阿里巴巴的服务器上,我们通过账号密码,远程使用)

开发与运维的不同阶段

数据库类别

目前主流数据库软件,分为两种

  • 关系型数据库

  • 非关系型数据库

为何出现这2种类型数据库

  • web1.0时代,互联网发展慢,基本只是企业提供网站,用户浏览资料,上网的人还少,互联网还没那么多复杂的功能,网站压力很轻,因此mysql轻松干活

  • 随着互联网Web2.0、Web3.0网站的兴起,传统的关系型数据库在应付这些网站,特别是对于规模日益扩大的海量数据,超大规模和高并发的微博、微信等类型的动态网站时已经显得力不从心,暴露了很多难以克服的问题,例如,传统关系型数据库的I/0瓶颈、性能瓶颈等都难以有效突破。于是出现了大批针对特定场景,以高性能、高并发以及使用便利为目的的功能特异化的数据库产品

  • NoSQL出现,专注于解决高并发场景,大流量的场景,解决部分数据存读写的性能问题

  • 非关系型数据库就是在这样的情景中诞生并得到非常迅速发展的。在这些特定的场景下,NOSQL数据库可以发挥出难以想象的高效率和高性能。近年来,NOSQL这个术语得到了广泛认同。

数据库具体应用场景

相亲网

譬如网站的注册登录功能,正确流程是,注册成功->可以登录。

工程师就要检测在注册成功后,检查数据库是否正确保留了信息。

如百合网的登录页面:

比如我想找个女朋友,果断去注册一个账号。。

以上数据,如果用Excel管理,存储每一条记录如下

如用数据库管理软件(mysql),如下

友情提醒

数据库方面知识,主要以运维、开发分为两个方向,不同的方向所重点学习的内容不一样

  • 运维人员,主要是对数据库架构、设计、维护

    • 单实例、多实例

    • SQL语句基础CURD学习、权限管理

    • 字符集、数据库引擎

    • 备份方案

    • 复制方案

    • 高可用方案

  • 开发人员,主要是对数据进行设计、开发

    • 针对业务进行数据库设计、表结构设计

    • 高性能索引

    • 视图

    • 存储过程

    • 函数

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/687030.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习笔记】11 支持向量机

支 持 向 量 机 ( Support Vector Machine,SVM ) 支 持 向 量 机 是 一 类 按 监 督 学 习 ( supervisedlearning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其…

C#安装CommunityToolkit.Mvvm依赖

这里需要有一定C#基础, 首先找到右边的解决方案,右键依赖项 然后选择nuget管理 这里给大家扩展一下nuget的国内源(https://nuget.cdn.azure.cn/v3/index.json) 然后搜自己想要的依赖性,比如CommunityToolkit.Mvvm 再点…

Linux超详细笔记

文章目录 Linux学习笔记操作系统Linux初识Linux的诞生Linux内核Linux发行版 虚拟机VMware安装远程连接Linux系统FinalShellFinalShell连接Linux WSL配置UbuntuLinux常用命令1.入门2.ls命令cd命令3.pwd命令4.相对路径和绝对路径5.mkdir命令6.文件操作命令(1&#xff…

vue打包优化,webpack的8大配置方案

vue-cli 生成的项目通常集成Webpack ,在打包的时候,需要webpack来做一些事情。这里我们希望它可以压缩代码体积,提高运行效率。 文章目录 (1)代码压缩:(2)图片压缩:&…

17.3.2.9 像素处理与内存处理之比较

版权声明:本文为博主原创文章,转载请在显著位置标明本文出处以及作者网名,未经作者允许不得用于商业目的。 通过第17.3.2.1节到第17.3.2.8节,相信读者对通过锁定内存来处理图像有了一定认识。与第17.3.1节相比较,可以…

程序的控制结构详解

程序的控制结构 结构化程序设计方法的基础 在计算机刚出现的早期,它的价格昂贵、内存很小、速度慢。程序员为了在很小的内存中解决大量的科学计算问题,并为了节省昂贵的CPU机时费,不得不使用巧妙的手段和技术,手工编写各种高效的…

【python】网络爬虫与信息提取--正则表达式

一、正则表达式 正则表达式是用来简洁表达一组字符串的表达式。是通用的字符串表达框架,简洁表达一组字符串的表达式,针对字符串表达“简洁”和“特征”思想的工具,判断某字符串的特征归属。 用处:表达文本类型的特征;…

永久禁止windows自动更新方法

文章目录 前言一、打开本地组策略编辑器二、禁用windows更新总结 前言 每次打开电脑,右下角就会弹出设备更新提示,看着令人烦恼,并且更新可能导致电脑设置发生改变甚至是卡顿,所以为了自己方便于是出了禁用电脑更新的办法&#x…

对账中心系统架构设计与实现的实践总结

随着数字化时代的到来,越来越多的企业开始使用对账中心系统来管理其财务交易。对于一个成功的对账中心系统,其架构设计和实现非常关键。本文将探讨对账中心系统架构设计与实现的重要性、关键原则和实施过程中需要考虑的要点,帮助企业构建强大…

第13章 网络 Page747~749 asio核心类 ip::tcp::resolver

3, ip::tcp::resolver 如果新浪的IP地址变了,该怎么办呢? ip::tcp::resolver 可以帮我们用上www.sina.com.cn,因为它负责将人类可读的多种网址信息,一步 到位地解析成ip::tcp::socket建立连接所需要的ip::tcp::endpoint结构&…

C语言—函数

1.编写一个函数&#xff0c;通过输入一个数字字符&#xff0c;返回该数字29. /*1.编写一个函数&#xff0c;通过输入一个数字字符&#xff0c;返回该数字 */#include <stdio.h>//函数定义,返回类型为int int char_num(char c) {if(c > 0 && c < 9) //检查…

SQL32 截取出年龄(substring_index函数的用法)

代码 select substring_index(substring_index(profile,,,3),,,-1) as age ,count(device_id) from user_submit group by age知识点 substring_index(FIELD, sep, n)可以将字段FIELD按照sep分隔&#xff1a; (1).当n大于0时取第n个分隔符(n从1开始)之前的全部内容&#xff1…

关于umi ui图标未显示问题

使用ant design pro 时&#xff0c;安装了umi ui &#xff0c;安装命令&#xff1a; yarn add umijs/preset-ui -D但是启动项目后&#xff0c;发现没有显示umi ui的图标 找了许多解决方案&#xff0c;发现 umi的版本问题&#xff0c;由于我使用的ant design pro官网最新版本&a…

沐编程APP免费下载|获取免费项目以及技术教程

软件介绍 沐编程专注于分享IT编程相关知识的网站&#xff0c;主要分享毕业设计案例代码&#xff0c;课程设计案例代码&#xff0c;实用功能代码&#xff0c;bug解决方案&#xff0c;编程工具推荐以及编程课程分享等 下载方式 蓝奏云下载&#xff1a;https://wfr.lanzout.com…

[ai笔记9] openAI Sora技术文档引用文献汇总

欢迎来到文思源想的ai空间&#xff0c;这是技术老兵重学ai以及成长思考的第9篇分享&#xff01; 这篇笔记承接上一篇技术文档的学习&#xff0c;主要是为了做一个记录&#xff0c;记录下openai sora技术介绍文档提到的一些论文&#xff0c;再此特地记录一下&#xff01; 1 原文…

Sora 文生视频提示词实例集 2

Prompt: Historical footage of California during the gold rush. 加利福尼亚淘金热期间的历史影像。 Prompt: A close up view of a glass sphere that has a zen garden within it. There is a small dwarf in the sphere who is raking the zen garden and creating patter…

MySQL篇之SQL优化

一、表的设计优化 表的设计优化&#xff08;参考阿里开发手册《嵩山版》&#xff09;&#xff1a; 1. 比如设置合适的数值&#xff08;tinyint int bigint&#xff09;&#xff0c;要根据实际情况选择。 2. 比如设置合适的字符串类型&#xff08;char和varchar&#xff09…

pytorch 实现线性回归(深度学习)

一 查看原始函数 初始化 %matplotlib inline import random import torch from d2l import torch as d2l 1.1 生成原始数据 def synthetic_data(w, b, num_examples):x torch.normal(0, 1, (num_examples, len(w)))y torch.matmul(x, w) bprint(x:, x)print(y:, y)y tor…

阿里云ECS香港服务器性能强大、cn2高速网络租用价格表

阿里云香港服务器中国香港数据中心网络线路类型BGP多线精品&#xff0c;中国电信CN2高速网络高质量、大规格BGP带宽&#xff0c;运营商精品公网直连中国内地&#xff0c;时延更低&#xff0c;优化海外回中国内地流量的公网线路&#xff0c;可以提高国际业务访问质量。阿里云服务…

免费chatgpt使用

基本功能如下&#xff1a; https://go.aigcplus.cc/auth/register?inviteCode3HCULH2UD