从核心技术到高可用实践——解密数据库深度挖掘指南

SDCC系列峰会各站在技术圈遍地花开之余,主办方CSDN为了更好地服务技术开发者并拓展受众,同步启动SDCC 2017系列之线上峰会——线上线下双管齐下,一举打破地域限制,内容为基,便捷加成,带来更友好的听众体验。


数据库作为最关键的基础设施,渗透技术领域的方方面面。随着互联网应用的广泛普及,海量数据的存储及访问成为系统设计的一大痛点。随着各行各业对信息化管理的依赖日益加剧,企业对数据访问的连续性提出了更高的要求,面对纷至沓来的稳定性及高可用需求,数据库技术已然成为各领域信息化建设的关键一环。


2017年12月23日(周六),SDCC 2017之数据库技术实战线上峰会即将强势来袭。作为SDCC系列技术峰会的一部分,本次线上峰会秉承干货实料(案例)的内容原则,邀请了来自阿里巴巴腾讯微博网易等多家企业的数据库专家及高校研究学者,将围绕Oracle、MySQL、PostgreSQL、Redis等热点数据库技术展开,从核心技术的深挖到企业内部实践的剖析,打造精华压缩解析式分享,举一反三,思辨互搏,专为业界同好独家订制。他山之石,可以攻玉,数据库高可用秘辛,抑或是大数据场景下数据库技术的突破方向?你或许都可以在这里找到答案。除此之外,每个演讲时段后均设有答疑交流环节,一对一互动交流。更多峰会详情,请点击「阅读原文」查看。


日前,数据库技术实战线上峰会也公布了完整版日程及讲师议题超长预告,高能预警,请勿眨眼:



讲师&议题介绍


李海翔 腾讯金融云数据库技术专家


演讲主题:MySQL/TDSQL事务处理技术


个人简介:李海翔,网名那海蓝蓝,熟悉PostgreSQL、MySQL、Informix等数据库内核技术。腾讯金融云数据库技术专家。著有《数据库查询优化器的艺术》,被誉为查询优化技术领域的里程碑之作。2017年出版《数据库事务处理的艺术 事务管理与并发控制》,被再次誉为事务处理领域的新里程碑。


主题简介:以事务处理技术为主题,全面、系统地分享MySQL的事务处理技术,包括MySQL事务处理技术的系统架构、ACID的实现方式、各种数据异常的避免技术、以及与其他主流数据库在事务处理技术方面的相同与不同之处。


分享大纲:


1. MySQL的事务处理技术概述 
    1.1 事务锁与系统锁 
    1.2 ACID特性实现

2. MySQL的并发访问控制技术 
    2.1 事务管理模型 
    2.2 一致性 
    2.3 隔离性 
    2.4 原子性和持久性

3. 主流数据库的事务处理技术


适合人群:


1. 内核开发人员

2. DBA

3. 数据库技术爱好者


听众受益:


1. 对MySQL数据库的事务处理技术能全面、系统地进行掌握和了解

2. 能深入了解主流数据库与MySQL事务处理方面的异同


马进 网易数据库中间件负责人


演讲主题:DDB进化论:从数据库到数据中心


个人简介:马进,来自网易杭研大数据平台组,入职以来先后参与了分布式数据库DDB,缓存NKV,网易数据运河NDC等项目,目前是DDB项目负责人,主导数据库中间件的各种项目研发。专注于分布式系统架构与数据库技术,热衷于构建高效的,高性能的分布式后台应用。


主题简介:过去十年,是互联网井喷式发展的十年,十年前,为了应对博客近千万的日活,我们研发了分布式数据库DDB,为网易众多互联网应用提供透明分库分表服务;十年后,考拉,云音乐等产品爆发式的体量对我们产品在易用性,可用性和可靠性上提出了更大挑战:第一是要求我们有更加平台化,一站式的管理工具,提供更加灵活和场景化的在线扩容,数据迁移等功能;第二是围绕机房搭建异地多活的体系架构,实现底层数据库在极端情况下的可靠性切换;第三是将数据库中的数据通过简单配置,导向异构数据系统,打通OLTP与OLAP的壁垒,异或将数据库的增量变更订阅到应用端,通过数据驱动业务。未来的一段时间,我们将见证DDB从软件形态逐渐蜕变为围绕应用结构化数据的中心平台,我们拭目以待。


分享大纲:


1. DDB架构演化之路:介绍DDB系统11年来的版本更迭,架构演变

2. 网易数据运河NDC:简单介绍NDC系统的功能和架构

3. 结构化数据中心Galaxy:从应用场景,产品形态和架构方面阐述数据中心Galaxy的理念和概念,Galaxy=DDB+NDC

4. 总结


听众受益:通过了解DDB,NDC的功能形态,架构设计,可以开阔听众眼界,帮助拓宽听众在中间件设计哲学的思路,加深听众对分库分表等相关领域的理解,另外本次分享的结构化数据中心理念,相信会使听众耳目一新。


莫晓东 微信支付高级DBA


演讲主题:MySQL高可用运营


个人简介:莫晓东,微信支付高级DBA,目前专注社交支付存储层架构和优化,多年数据层架构设计和运维经验。负责过早期腾讯手机游戏和增值业务数据库平台建设,拥有丰富的MySQL集群建设和高可用运营经验。


主题简介:现在是数据层架构的变革期,数据规模的不断增长和数据云的不断发展,MySQL在其中起到了越来越重要的作用。在多年的DBA工作历程中,经历了数据层架构的变革,从单实例到高可用的数据库集群。这里向大家分享我在数据库运营中遇到的一些问题和数据库架构的演变情况。主要分享MySQL数据库集群的高可用实现、腾讯的数据库架构和业界优秀高可用数据架构的情况。


分享大纲:


1. 为什么选择MySQL

2. 高可用和一致性

3. 分布式数据库

4. 数据库到存储云


适合人群:使用MySQL的技术人员


听众受益:


1. 对MySQL数据库的事务处理技术能全面、系统地进行掌握和了解

2. 能深入了解主流数据库与MySQL事务处理方面的异同


张冬洪 微博研发中心高级DBA、Redis中国用户组主席


演讲主题:微博热点事件背后的数据库运维心得


个人简介:张冬洪,微博研发中心高级DBA,Redis中国用户组主席,多年Linux和数据库运维经验,专注于MySQL和NoSQL架构设计与运维以及自动化平台的开发;目前在微博主要负责Feed核心系统相关业务的数据库运维和业务保障工作。


主题简介:微博作为当今中文社交媒体的第一品牌,拥有超过3.76亿的月活用户,也是当前社会热点事件传播的最主要平台,其中包括但不限制于大型活动、春晚、明星动态等,而热点事件往往具有不可预见性和突发性,并且伴随着极短时间内流量的数倍增长,甚至更多,有时持续时间较长。在大数据量,高并发场景下如何快速应对突发流量的冲击,确保线上服务的稳定性,一线老兵亲临解读其背后的数据库运维心得。


听众受益:


1. 了解微博热点事件这类场景下数据库运维面临的挑战

2. 了解大数据量、高并发场景下的数据库运维常用策略和手段

3. 了解微博数据库运维体系建设


周正中 阿里云ApsaraDB高级技术专家


演讲主题:PostgreSQL流计算案例


个人简介:周正中,一枚PGer,PostgreSQL 中国社区发起人之一。PostgreSQL 中国社区大学发起人之一。公益是一辈子的事,Just do it。


主题简介:在物联网、证券、实时监控、经营分析等场景,常见海量feed写入,数据实时计算场景可以用更少的硬件,更高的效率解决实时大屏,实时统计,实时异动响应等需求。本次分享将介绍采用PostgreSQL在这些场景的应用案例。


适合人群:DBA、开发、架构师


金戈 杭州沃趣科技股份有限公司高级技术专家


演讲主题:Kubernetes存储技术分享及其在数据库场景下的应用


个人简介:金戈,沃趣科技高级技术专家,负责沃趣科技所有产品线监控系统的研发工作,负责沃趣科技RDS的原型开发工作,精通监控系统架构设计与开发,致力于自动化智能化IT基础设施平台建设,有多年系统运维和监控系统开发经验。


主题简介:介绍Kubernetes存储相关原理和技术,并以数据库RDS为视角介绍在真实场景下的应用。


    1. 仅以存储视角介绍Kubernetes集群编排系统

    2. 并将无状态和有状态应用对比分享有状态应用在实现上的难点

    3. 深入Kubernetes源码,了解实现存储子系统的几个重要模块

    4. 结合数据库RDS应用分享实践


分享大纲:


1. 仅以存储视角介绍Kubernetes集群编排系统,

2. 并将无状态和有状态应用对比分享有状态应用在实现上的难点,

3. 深入Kubernetes源码,了解实现存储子系统的几个重要模块

4. 结合数据库RDS应用分享实践


适合人群:程序员、架构师,和运维工程师


听众受益:


1. 了解Kubernetes

2. 深入理解Kubernetes的存储技术

3. 了解如何在Kubernetes上编排有状态容器


卞昊穹 中国人民大学博士研究生


演讲主题:数据仓库与HDFS的列存储技术


个人简介:卞昊穹,中国人民大学2012级博士研究生,研究方向为数据库系统和实时数据分析,从事SQL-on-Hadoop系统测试和开发。在HDFS列存储优化、高性能数据索引和装载、分布式等值连接算法、海量知识库扩充等方面的研究成果发表在SIGMOD、CIKM等国际顶级学术会议上。


主题简介:传统数据仓库中,存储格式是关系到数据查询性能的最重要因素之一,也是数据分析系统设计和研发的基础。在大数据时代,基于Hadoop的Spark/Hive/Presto等SQL on Hadoop系统借助HDFS优秀的扩展性,也借鉴了传统数据仓库中的现有技术,发展成为大数据查询分析的主流工具。列存储作为这些面向分析的系统中所必须支持的标准数据存储技术,经过多年的发展,已经成为数据分析人员必须深入理解的基本技术。本演讲将和大家分享列存储技术的基本概念、技术要点和最新的现状。


分享大纲:


1. 数据存储格式概述 
    1.1 数据仓库与大数据分析系统的发展历程 
    1.2 列存储与行存储 
    1.3 混合存储

2. 数据仓库中的列存储技术 
    2.1 C-Store 
    2.2 Vertica 
    2.3 GreenPlum

3. HDFS列存储技术 
    3.1 RC File 
    3.2 ORC和Parquet 
    3.3 Carbondata

4. 列存储研究前沿


适合人群:熟悉HDFS基本原理,了解SQL on Hadoop的大数据初学者和从业人员


听众受益:帮助听众从入门的角度理解列存储技术和其他存储技术之间的关系,列存储技术的优点和使用场景,帮助听众在实际的数据分析中更好地使用列存储技术,帮助听众了解列存储技术的研究和实际应用的前沿。


如何参与:

关于本次峰会的更多详情,欢迎大家扫描下方二维码入群交流,或点击左下角「阅读原文」,报名参加!


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/525712.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Unity中Shader观察空间推导

文章目录 前言一、本地空间怎么转化到观察空间二、怎么得到观察空间的基向量1、Z轴向量2、假设 观察空间的 Y~假设~ (0,1,0)3、X Y 与 Z 的叉积4、Y X 与 Z 的叉积 三、求 [V~world~]^T^1、求V~world~2、求[V~world~]^T^ 四、求出最后在Unity中使用的公式1、偏移坐标轴2、把…

portainer 启动mysql_docker 安装portainer容器后,启动/Portainer 安装MySQL并开启远程访问...

启动命令:docker run -d -p 9000:9000 --restartalways -v /var/run/docker.sock:/var/run/docker.sock --name portainer docker.io/portainer/portainer下载mysql镜像文件:docker search mysqldocker pull mysql:5.7.32创建mysql容器:docker run -d --…

追求极简:Docker镜像构建演化史

作者简介:白明,东软互联网运营平台技术负责人,毕业于哈尔滨工业大学,Go语言专家,GopherChina讲师,技术培训师和撰稿人,博客tonybai.com作者,拥有多年后端服务架构设计和开发经验。目…

特征选择算法在微博业务应用中的演进历程

近年来,人工智能与机器学习的应用越来越广泛,尤其是在互联网领域。在微博,机器学习被广泛地应用于微博的各个业务,如Feed流、热门微博、消息推送、反垃圾、内容推荐等。值得注意的是,深度学习作为人工智能和机器学习的…

c winform mysql类_C#连接MySQL数据库操作类

首先需要安装MySQL Connector Net 6.8.3然后在项目中引用MySQL Connector,如下图所示C#连接MySQL的操作类代码如下:public class MySQLHelper{private string db_host "localhost"; //数据库服务器private string db_port "3306";…

病历智能处理引擎的架构设计、实现和应用

作者简介:吴大帅,新屿算法工程师,曾供职于宅米网、新达达,从事系统架构设计、算法设计等工作。 李智慧,《大型网站技术架构:核心原理与案例分析》作者,从事大型网站、分布式系统、大数据方面的研…

Heron:来自Twitter的新一代流处理引擎应用篇

作者 | 吴惠君,吕能,符茂松责编 | 郭芮【导语】 本文对比了Heron和常见的流处理项目,包括Storm、Flink、Spark Streaming和Kafka Streams,归纳了系统选型的要点。此外实践了Heron的一个案例,以及讨论了Heron在这一年开…

2017 JavaScript 调查报告概述

本文转载自极光日报知乎专栏,地址:https://zhuanlan.zhihu.com/p/32260460简评:最近一份超过 23,000 名开发者参与的关于 JavaScript 的调查报告 - the State of JavaScript 2017 出炉了。内容包含框架的流行趋势、薪资水平等等,感…

python动态_python --动态类型

动态类型(dynamic typing)是Python另一个重要的核心概念。我们之前说过,Python的变量(variable)不需要声明,而在赋值时,变量可以重新赋值为任意值。这些都与动态类型的概念相关。动态类型在我们接触的对象中,有一类特殊的对象&…

微博热点事件背后数据库运维的“功守道”

作者 | 张冬洪责编 | 仲培艺【导语】 微博拥有超过3.76亿月活用户,是当前社会热点事件传播的主要平台。而热点事件往往具有不可预测性和突发性,较短时间内可能带来流量的翻倍增长,甚至更大。如何快速应对突发流量的冲击,确保线上服…

sql devalop连接mysql_SQL-Mysql表结构操作

一 前言本篇内容是关于 基本的数据库操作,建表,表结构修改等内容;学习本篇的基础是知识追寻者以前发布的文章:公众号:知识追寻者知识追寻者(Inheriting the spirit of open source, Spreading technology knowledge;)二…

云计算平台2017年盘点——真正成为新技术新应用的基础架构

作者简介:吴凯,北京云途腾科技有限责任公司首席运营官,具有20年的IT和软件服务行业管理经验,历任多家著名外资及民营IT企业的核心高级管理职位,是中国云计算专家委员会专家委员,中国开源云联盟及云计算开源…

Spark SQL在100TB上的自适应执行实践

作者:汪愈舟 俞育才 郭晨钊 程浩(英特尔),李元健(百度)责编:钱曙光(qianshgcsdn.net)Spark SQL是Apache Spark最广泛使用的一个组件,它提供了非常友好的…

分包组包 北斗通信_蓝牙mesh底层传输层(分包和组包)

当传输大于15字节的上层传输层PDU时,底层传输层就需要对上层传输层PDU进行分包并重新组包为了减少底层传输层包的数量,这里使用块应答机制。问题:怎么通过块应答机制减少底层传输层包的数量?上层传输层需要分成两个底层传输层PDU的…

别人在忙挖矿,京东架构师却悄悄用区块链搞了件大事

作者介绍: 赵铭,京东商城区块链研发工程师, 主要从事区块链底层研究设计工作,主攻方向为分布式账本结构; 孙海波,目前担任京东Y事业部供应链研发负责人,负责的业务包括订单履约、库存优化、采购…

用sklearn mysql_Sklearn之Linear Regression

import matplotlib.pyplot as pltimport numpy as npfrom sklearn import datasets, linear_modelfrom sklearn.metrics import mean_squared_error, r2_score# 加载糖尿病数据集diabetes datasets.load_diabetes()# 只使用一个特征diabetes_X diabetes.data[:, np.newaxis, …

2017年30个惊艳的Python开源项目

【摘要】本文来自Mybridge,介绍了过去一年里30个惊艳的Python开源项目。点击阅读原文每一个都可以在GitHub上看到更为详细的内容。以下是译文。在过去的一年里,Mybridge AI 比较了近15000个开源Python项目,选择了前30名(概率只有0…

mycloud php5 mysql_mycloud 刷debian乐趣之-owncloud 私有云+芒果云的安装

既然刷了debian了,那么就可以安装很多软件了。这篇文章,我打算讲讲大众化的最初始的配置方案。具体后续优化,例如memcached,https等,可以参考官方文档。第一步、安装apache,#当然,你如果喜欢nginx,也可以的…

关于区块链,程序员需要了解什么

作者 | 曹严明如果说比特币是对传统货币的一种颠覆,那么比特币的基础技术——区块链则是对传统编程范式的一种颠覆。区块链技术被看作是一次Paradigm Shift。也许很多人对 “颠覆”这种说法不以为然,因为现在这个词已经被用滥了(如今哪个好一…

java两个矩阵相乘_java计算两个n阶矩阵相乘

自己是个新手,研究java数据结构,看到两个n阶矩阵相乘的题目,自己就试着写了一个简单的demo,哪里有不好的地方,也希望大家多提提意见,直接上代码了:package com.shujujiegou01;public class JuZh…