SIGMOD-24概览Part4: Industry Session (Cloud Storage)

👇LETUS: A Log-Structured Efficient Trusted Universal BlockChain Storage

🏛机构:蚂蚁集团

➡️领域:

  • Information systems → Data management systems
  • Security and privacy → Database and storage security

📚摘要:提出了LETUS,用于区块链的高效/安全的通用存储系统

  • 背景:区块链爆炸增长,传统两层式存储结构已无法满足需求

  • LETUS系统的主要特点

    • 打破传统两层架构:将认证数据结构(ADS)放到存储引擎,从而优化了存储和IO
    • 提出了新型ADS:结合Merkle树+增量编码(delta-encoding)功能,称作DMM-Tree
    • 改进的索引机制:基于版本的索引,用变种B树来索引ADS生成的数据页
    • 通用性:适用各种区块链
  • LETUS已经在蚂蚁链的商业应用中部署,例如2023年亚运会的NFT项目和数字火炬点燃活动

👇Vortex: A Stream-oriented Storage Engine For Big Data Analytics

🏛机构:Google

➡️领域:Information systems → Stream management

📚摘要:提出了Vortex,一个为Google BigQuery构建的实时分析存储引擎,支持对数据流的实时分析

  • 背景:
    • 企业需要处理海量数据,尤其是对于连续数据流(streaming data)
    • 传统数据系统分为流处理引擎/批处理系统,后者在处理实时数据时不佳
  • 关于Vortex
    • 设计:专为数据流设计但也支持批处理,将两种操作集成到了同一个系统中
    • 能力:处理PB级别的数据摄取(持续流入与分析),能以亚秒级响应用户的实时查询

👇Native Cloud Object Storage in Db2 Warehouse: Implementing a Fast and Cost-Efficient Cloud Storage Architecture

🏛机构:IBM

➡️领域:Information systems → Database management system engines

📚摘要:提出了Db2 Warehouse存储架构的现代化改造,以适应云环境

  • 背景
    • 传统小块存储:以4KB大小的数据页为存储单位(适合随机存取/块级IO),但在云环境数据库中成本高
    • 云对象存储:在处理大规模数据时,比传统小块存储成本更低
  • 存在的问题:将传统存储 → 迁移 \xrightarrow{迁移} 迁移 云对象存储成本巨大,因此需要新的架构
  • Db2 Warehouse架构的改进
    • 将Log-Structured Merge(LSM)树整合到Db2 Warehouse系统,以管理大规模写入/查询
    • 保留传统数据页格式,避免对传统数据库内核大幅重构

👇ESTELLE: An Efficient and Cost-effective Cloud Log Engine

🏛机构:电子科大/华为

➡️领域:

  • Information systems → DBMS engine architectures
  • Structured text search

📚摘要:提出了ESTELLE,转为云环境设计的日志引擎,用于管理大规模的日志数据

  • 背景:
    • 日志的重要性:监控/调试/分析的核心数据
    • 日志的特性:高频写入,低频检索,大量存储;这也是本文模型所要满足的
  • ESTELLE的设计与特点
    • 采用了一种低成本日志索引框架,可根据需求灵活引用索引机制
    • 分离计算和存储,以分离读写操作,从而确保系统能同时查询和写入
    • 设计了一个近乎无锁的写入过程,以适应高频快速写入需求
  • ESTELLE存储与查询优化
    • 采取对象存储技术(以对象为单位存储,包含数据/元数据/主键)
    • 采取Log Bloom Filter和近似倒排索引,根据场景优化查询

👇TimeCloth: Fast Point-in-Time Database Recovery in The Cloud

🏛机构:阿里巴巴

➡️领域:

  • Information systems → Database utilities and tools
  • Point-in-time copies
  • Storage recovery strategies
  • Database recovery

📚摘要:提出了TimeCloth,一种专为云环境设计的通用恢复机制,以优化用户触发的数据库恢复

  • 背景:关于用户触发的数据库恢复
    • 特点:相比于因故障触发的恢复,需要更加考量用户的需求,如细粒度(精确程度)/时间点
    • 现有方案:与底层数据库引擎高度集成,难以处理用户触发的恢复
  • TimeCloth的设计:专注实现次线性恢复时间,满足用户对恢复的特定要求
    • 恢复模块:包括了几种机制,高效日志过滤/将非冲突日志并行回放/合并日志以减少工作量
    • 导入模块:实现了透明的基于FUSE的延迟加载机制+智能预取功能
  • TimeCloth已经在阿里云上投入生产

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/53365.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024 数学建模高教社杯 国赛(A题)| “板凳龙”舞龙队 | 建模秘籍文章代码思路大全

铛铛!小秘籍来咯! 小秘籍团队独辟蹊径,运用等距螺线,多目标规划等强大工具,构建了这一题的详细解答哦! 为大家量身打造创新解决方案。小秘籍团队,始终引领着建模问题求解的风潮。 抓紧小秘籍&am…

Java JVM 垃圾回收算法详解

Java 虚拟机(JVM)是运行 Java 应用程序的核心,它的垃圾回收(Garbage Collection, GC)机制是 JVM 中非常重要的一个部分。垃圾回收的主要任务是自动管理内存,回收那些不再被使用的对象,从而释放内…

【A题完整论文已出】2024数模国赛A题完整论文+可运行代码参考(无偿分享)

​​​​​​​ A 题 “板凳龙” 闹元宵 摘要: 随着城市节庆活动和传统文化展示的多样化发展,舞龙队的路径规划与速度控制问题成为传统活动表演中的重要研究课题。本文针对舞龙队在节庆活动中的路径优化、调头设计和行进速度控制问题,基…

开思通智网-科技快报20240904:数博会,脑机接口专业,WaveCoder

【本周新进展】 2024数博会|马蜂窝陈罡:高质量的数字化能力是旅游产业走向个性化时代的基石2024数博会|马蜂窝陈罡:高质量的数字化能力是旅游产业走向个性化时代的基石_光明网 2024数博会|AI赋能,WPS 365激活办公新质…

2024年【金属非金属矿山(露天矿山)安全管理人员】考试题及金属非金属矿山(露天矿山)安全管理人员最新解析

题库来源:安全生产模拟考试一点通公众号小程序 金属非金属矿山(露天矿山)安全管理人员考试题参考答案及金属非金属矿山(露天矿山)安全管理人员考试试题解析是安全生产模拟考试一点通题库老师及金属非金属矿山&#xf…

SQL 数据查询

文章目录 3.4.1 单表查询定义特点单表无条件查询单表带条件查询对查询结果进行排序限制查询结果数量 3.4.2 分组查询定义特点:聚集函数GROUP BY短语HAVING子句分组查询小结 3.4.3 连接查询定义特点:等值连接与非等值连接查询自然连接(内连接&…

SQL的高级查询练习知识点(day24)

目录 1 学习目标 2 基础查询 2.1 语法 2.2 例子 3 条件查询 3.1 含义 3.2 语法 3.3 条件表达式 3.3.1 条件运算符 3.3.2 例子 3.4 逻辑表达式 3.4.1 逻辑运算符 3.4.2 例子 3.5 模糊查询 3.5.1 概述 3.5.2 例子 4 DISTINCT关键字 4.1 含义 4.2 例子 5 总结…

【docker】docker启动sqlserver

sqlserver-docker官方地址 # sqlserver不是从docker的中央仓库拉取的,而是从ms的仓库拉取的。 docker pull mcr.microsoft.com/mssql/server:2019-latest# 宿主机即docker程序运行的linux服务器 docker run -d \ --user root \ --name mssql2019 \ -e "ACCEPT…

2024 年高教社杯全国大学生数学建模竞赛B题第二问详细解题思路(终版)

示例代码: import numpy as np import pandas as pd# 参数设定 params {p1: 0.10, p2: 0.10, c1: 4, c2: 2, d1: 2, d2: 3,pf: 0.10, a: 6, df: 3, s: 56, l: 6, r: 5 }# 决策变量 decisions [0, 1]# 利润计算函数 def calculate_profit(D1, D2, C, R, params):c…

Spring-@Bean的处理流程

Bean前置知识 1 需要再Configuration Class中才能被解析 2 静态Bean也就是标注在static方法上的 实例Bean标注在普通方法上的 所有的Bean在创建之前都会变成BeanDefinition,其中有这样两个属性: setFactoryMethodName:静态方法 setFactoryBeanName&…

Hive SQL基础语法及查询实践

目录 基础语法 1. 官网地址 2. 查询语句语法 基本查询(Select…From) 数据准备 (0)原始数据 (1)创建部门表 (2)创建员工表 (3)导入数据 全表和特定列查…

2024年四川省安全员B证证考试题库及四川省安全员B证试题解析

题库来源:安全生产模拟考试一点通公众号小程序 2024年四川省安全员B证证考试题库及四川省安全员B证试题解析是安全生产模拟考试一点通结合(安监局)特种作业人员操作证考试大纲和(质检局)特种设备作业人员上岗证考试大…

无线路由器中的MU-MIMO技术是如何提升网络效率的?

无线路由器中的MU-MIMO(多用户多输入多输出)技术通过一系列机制显著提升了网络效率。以下是MU-MIMO技术提升网络效率的具体方式: 一、提高网络容量 并行传输:MU-MIMO技术的核心在于能够同时向多个用户或设备传输数据&#xff0c…

使用 EMQX 开源版的 Webhook 机制处理消息并存储数据

1、前言 EMQX 是一款强大的开源 MQTT 消息代理,它支持大量的连接和高吞吐量,适用于各种物联网应用。Webhook 是 EMQX 提供的扩展功能之一,用于将消息推送到外部的 HTTP 服务。在本文中,我们将介绍如何使用 EMQX 开源版的 Webhook …

蜜罐网络MHN安装过程中的坑

蜜罐网络MHN安装过程中的坑 1. 相当的资源在github上,下不下来 科学上网,直接sudo proxychains4 ./install.sh是不行的,修改不了sh脚本里面的访问 配置好proxychains4以后,直接修改系统别名: alias wgetproxychai…

WEB渗透Linux提权篇-MYSQL漏洞提权

往期文章 WEB渗透Linux提权篇-提权工具合集-CSDN博客 WEB渗透Linux提权篇-环境变量提权-CSDN博客 WEB渗透Linux提权篇-可写文件提权-CSDN博客 WEB渗透Linux提权篇-查找辅助信息-CSDN博客 WEB渗透Linux提权篇-漏洞提权-CSDN博客 WEB渗透Linux提权篇-通配符提权-CSDN博客 …

Java+Swing+sqlserver学生成绩管理系统

JavaSwingsqlserver学生成绩管理系统 一、系统介绍二、系统展示1.登陆2.课程分配3.选课管理4.学生打分--教师4.查询个人成绩--学生 三、其他1.其它系统 一、系统介绍 管理员:登陆页面、课程管理、选课管理 老师:给学生打分 学生:查询个人成绩 二、系…

node.js、php、Java、python校园点餐与数据分析系统 校园食堂订餐系统(源码、调试、LW、开题、PPT)

💕💕作者:计算机源码社 💕💕个人简介:本人 八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流&…

Java实用类——操作日期和时间

Date类: Date 位于java.util.Date类:表示日期和时间SimpleDateFormat 位于java.text.SimpleDateFormat类:格式化日期类parse方法:将字符串转为日期类型 public static void main(String[] args) throws ParseException {//获得当…

日本IT编程语言对比分析-Python /Ruby /C++ /Java

在日本IT行业中,Python、Ruby、C和Java是几种广泛使用的编程语言,它们各自具有独特的优势和适用场景。以下是对这四种编程语言的对比分析: 1. Python 优势: 简洁易读:Python的语法简洁清晰,易于学习和使用…