ByConity 社区回顾|ByConity 和开发者们一起展望未来,携手共进!

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

新年伊始,我们想在这里感谢一群 ByConity 社区的小伙伴们。

正是因为有社区的开发者的支持,截止到 2023 年底,ByConity GitHub 获得 1409 Star,595 pull request,累计 61 位 Contributor 共建者参与代码贡献,社区主办活动超过 10 场,来自知乎、MetaApp、天翼云、Shein、烽火软件、携程等多家企业用户正在基于 ByConity 做技术实践和探索。

版本发布

2023 年 1 月 10 日, ByConity 发布 Beta(v0.1.0-beta)版本,并在社区小范围征集用户试用,2023 年 5 月,ByConity 正式宣布开源。在这一年里,ByConity 先后经历了 3 个版本的迭代。

2023 年 12 月 18 日, ByConity 0.3.0 版本正式发布。这个版本提供了倒排索引,基于共享存储的选主方式等多项新特性,对冷读性能进行了进一步的优化,对 ELT 能力也进行了进一步的迭代,同时修复了若干已知问题,进一步提升了系统的性能和稳定性。

  1. 倒排索引:在 ByConity 使用过程中,很多业务对文本检索相关能力(如 StringLike)提出了非常高的需求,希望社区能够优化相关查询性能,同时兼容 ClickHouse 在今年支持的倒排索引的能力。为满足业务诉求,保持生态兼容,同时提升 ByConity 的文本检索能力,ByConity 在 0.3.0 版本加入了对文本检索的支持,为日志数据分析等场景提供高性能查询。

  2. 基于共享存储的选主方案:在 ByConity 架构中存在多种控制节点,它们需要各自通过多副本 + 选主来提供高可用的服务能力,例如 Resource Manager,TSO 等。实际中的多个计算 server,也需要选出一个单节点来执行特定的读写任务。之前 ByConity 使用了 clickhouse-keeper 组件来进行选主,该组件基于 Raft 实现,提供兼容 zookeeper 的选主接口。但是在实际的使用中遇到了很多运维问题,例如需要部署 3 个以上节点才能提供容灾,增加运维负担;节点增删和服务发现流程复杂;容器重启后如果服务变换 ip 和服务端口,keeper 组件难以快速恢复,等等。考虑 ByConity 作为一个新的云原生服务,并不需要兼容 ClickHouse 对 zookeeper 的访问,我们选择了基于存算分离的云原生架构实现一种新的选主方式来优化以上问题。

  3. 冷读性能的进一步提升:在 ByConity 0.2.0 中,我们通过引入 IOScheduler 等方式提高了冷读查询的性能,尤其是在 S3 上的冷读性能。0.3.0 版本通过引入 ReadBuffer 的 Preload 等优化,进一步提高了冷读性能。

  4. ELT 能力增强:在 0.3.0 中,我们引入新的 BSP 模式,通过 stage by stage 的执行以及增强 disk based shuffle,满足有限条件下的计算,提高吞吐。在 ByConity 中复杂查询对 query plan 的 stage 进行了切分并进行了 stage by stage 的调度,但在语义上仍然是 all at once 的调度。ELT 在执行时需要对查询进行分阶段运行,需要进一步达到 stage by stage 执行的效果。

更多 0.3.0 相关特性及优化的内容大家可以复制链接查看:https://github.com/ByConity/ByConity/releases/tag/0.3.0

RoadMap

2024 年 ByConity 计划每个季度一个版本 Release,发布节奏如下:

在 2024 年,我们仍将持续在 GitHub 上同步社区的 RoadMap:https://github.com/ByConity

社区活动

2023 年 ByConity 主办了 2 场线下活动,连接北京和上海的开发者们。

2024 年我们会在更多的城市举办 Meetup,欢迎大家与我们交流希望我们举办 Meetup 的城市,我们会在 2024 年在线下汇聚更多大数据领域的开发者们,共同探讨大数据、数据库前沿技术及其应用,同时也为当地的开发者们提供一个友好交流的技术平台。

同时,我们也参与了 GOTC、QCon、DTCC、CosCon'23、国际开源节云原生技术沙龙、Fintech Festival 等多场外部大会的演讲。我们在这些活动中分享了关于 ByConity 的最新技术、应用和发展,与来自不同领域的专家、学者和开发者进行了深入的交流和探讨。

2023 年 ByConity 主办每月一次的线上 webinar,为社区的开发者们介绍 ByConity 的最新技术特性。为了让大家了解 ByConity 的查询性能,我们发布了第一期 TPC-DS 测试活动6 月初我们分享了 ByConity 在云上部署的方法:《ByConity 如何在 Kubernetes 上无感扩缩容》之后收到很多用户反馈和建议,例如部署过程中需要安装的组件过多、本地软硬件环境引起部署失败等问题。因此我们做了一些优化,提供了更加容易上手的一键部署方式,主办了 ByConity 快速部署有奖征集活动。

社区荣誉

在众多开发者及合作伙伴的鼎力支持下,ByConity 社区在过去一年取得了开源圈内的荣誉。我们荣获了思否「2023 中国技术先锋年度榜单—中国技术品牌影响力企业」、IT168「2023 年度技术卓越奖」等开源奖项,得到了在大数据领域的影响力和专业度。

这些荣誉的背后,离不开每一位社区成员的付出与努力。在此,我们衷心感谢大家的支持与信任。

为了持续优化我们的产品和服务,ByConity 社区始终保持开放、包容的态度,欢迎各位有志之士共同参与社区建设。无论您是对我们的产品有任何疑问,还是对社区发展有任何建议,都可以在 GitHub 上提交 PR 或 Issues。同时,我们也诚邀各位成为 ByConity 社区的 Contributor,与我们携手共建一个更加开放、活跃、有价值的社区。让我们共同见证 ByConity 社区的成长与繁荣!

加入社区

在过去的一年里,社区共建者们的贡献如星辰大海般璀璨。展望未来,我们期待与更多的志同道合者共同成长,一起迈向更高的目标。让我们携手并进,共同开启新的征程!欢迎大家扫码加入 ByConity 微信交流群(备注姓名+公司+职位)。

新年礼包

最后,我们为大家准备了一批龙年礼包🎁

欢迎大家点击链接填写问卷(截止日期 2024 年 2 月 18 日)(https://bytedance.larkoffice.com/share/base/form/shrcnIQ2rsbQV9YiJGoY8Dajh4f),回顾你与 ByConity 社区相识相知的故事~我们会选出 10 位社区小伙伴送上定制周边😄

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/623913.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023年全国职业院校技能大赛软件测试赛题—单元测试卷⑥

单元测试 一、任务要求 题目1:根据下列流程图编写程序实现相应分析处理并显示结果。返回结果“ax:”(x为2、3或4);其中变量x、y均须为整型。编写程序代码,使用JUnit框架编写测试类对编写的程序代码进行测试…

Java基础 - 黑马

我是南城余!阿里云开发者平台专家博士证书获得者! 欢迎关注我的博客!一同成长! 一名从事运维开发的worker,记录分享学习。 专注于AI,运维开发,windows Linux 系统领域的分享! 知…

使用MATLAB连接USRP

文章目录 前言一、本地环境二、前期准备1、MATLAB版本、labview版本、UHD 版本对应关系2、下载 GNU Radio Companion3、确定 USRP UHD 版本①、下载一个 USRP 硬件驱动程序②、确认 MATLAB 的 UHD 版本 三、下载 USRP 通信工具箱支持包四、使用 MATLAB 连接 USRP 前言 本文记录…

F-Droid:开源Android应用的宝库

F-Droid:开源Android应用的宝库 引言 F-Droid是一个开源应用程序存储库,旨在为安卓用户提供自由、隐私和安全的应用程序。它最初于2010年由Ciaran Gultnieks创建,因为他认为Google Play Store上的应用程序不够透明和安全。F-Droid的目标是为…

Web3与环保:区块链如何推动可持续发展

随着气候变化和环境问题日益严峻,社会对可持续发展的需求变得愈发迫切。在这个背景下,Web3技术和区块链崭露头角,成为推动可持续发展的关键力量。本文将深入探讨Web3技术如何与环保理念相结合,引领我们迈向更加可持续的未来。 1. …

每日一题——LeetCode1200.最小绝对差

方法一 个人方法 排序一次遍历: 最小差值一定是出现在大小相邻的两个元素之间,所以将数组从小到大排序 循环求两元素之间的差值,先假设当前差值为最小差值,先往res数组里面push数据,当碰到更小差值的时候&#xff0c…

VS 中调用调试DLL库的方法

前提条件: 1、当前代码是最新的,并且编译成dll的库有程序使用。 2、打开运行dll库的程序。 配置步骤: 1、使用VS打开要调试的dll库项目。 2、点击调试菜单展开调试菜单。 3、点击附加到进程,弹出配置框。 4、在配置框中选…

学习笔记-数据库概念介绍

一.数据库概述 1.数据库: 存储数据的仓库,本质是一个文件系统. 用户可以对数据库中的数据进行 增加,修改,删除以及查询操作 2.特点 可以结构化存储大量的数据可以有效的保持数据的一致性,完整性读写效率高 3.常用数据库 二.数据库分类及其常用 关系型数据库 指的是二维表格…

【51单片机系列】51单片机的中断系统使用总结一

本文是在学习51单片机的中断系统的简单性总结,着重于51单片机的中断系统的工作原理及如何使用。 文章目录 一、中断原理简单介绍二、 外部中断相关介绍2.1 与外部中断相关的寄存器2.2、外部中断0使用示例2.3、外部中断1使用示例 三、定时器中断相关介绍3.1、51单片机…

基于Ubuntu22.04部署生产级K8S集群v1.27(规划和核心组件部署篇)

本文档主要根据k8s官网文档和其插件的官网文档,参考部分他人优秀经验,在实际操作中逐渐完成,比较详尽,适合在境内学习者和实践者参考。 实操环境基于VMware Workstation 17 pro,采用ubuntu22.04操作系统(有…

链接全域直播产业经济,天府锋巢直播产业基地10层正式起航

100㎡-400㎡多种类型的办公户型可选 精装全包 拎包入驻 【天府锋巢直播基地】 由德商产投与无锋科技联袂打造 坐落于天府新区核心区域科学城板块 包含电商直播、娱乐直播、跨境直播 多种直播业态的全域直播基地 基地【10层】于12月初全面竣工 招|商 |火&…

中小企业如何做好信息化规划?

中小企业需不需要做信息化规划?什么时候做信息化规划比较好? 企业的信息化规划,一定是越早越好,越快越好。 因为信息化是一个过程,不是一个结果,它不是一天完成的事情,而是贯穿着企业经营管理…

鸿蒙应用开发学习:让page页面强制横屏

一、学习做了个适合横屏的页面但进入页面后是竖屏显示的 前几天在B站上跟着 黑马程序员的 HarmonyOS4.0开发应用教学视频学习了显式动画(animateTo)和属性动画(animation)功能,并参照教学视频的内容做了个小鱼动画。…

瑞_Java开发手册_(五)MySQL数据库

文章目录 (一) 建表规约(二) 索引规约(三) SQL 语句(四) ORM 映射附:雪花算法(Java) 🙊前言:本文章为瑞_系列专栏之《Java开发手册》的MySQL数据库篇,主要介绍建表规约、索引规约、SQL语句、ORM映射。由于博…

力扣hot100 路径总和Ⅲ dfs 前缀和 一题双解 超全注释

Problem: 437. 路径总和 III 思路 树的遍历 DFS 一个朴素的做法是搜索以每个节点为根的(往下的)所有路径,并对路径总和为 targetSumtargetSumtargetSum 的路径进行累加统计。 使用 dfs1 来搜索所有节点,复杂度为 O(n)O(n)O(n)&am…

1.IHRM人力资源后台 - 项目搭建

IHRM人力资源 - 项目搭建 文章目录 IHRM人力资源 - 项目搭建一、项目搭建1.1 项目搭建1.2 项目目录1.2.1 src 目录 1.3 App.vue 根组件解析1.4 基础设置 settings.js1.5 导航守卫 permission.js1.6 VUEX 二、 图标使用2.1 图标使用2.2 Icon 图标的解析 一、项目搭建 1.1 项目搭…

关于中考英语的一些刷题建议

怎么提高英语成绩? 对于英语,我个人认为只需要会刷题,多刷题就能提高,至于你们老师布置的关于直接背单词/语法,我认为提高效果并不是很明显。 为什么你从初一写到现在初三刷了这么多题,英语成绩还是没提高呢…

HiDataPlus 3.3.2-005 搭建(个人的一点心得体会 x86 平台)

HDP 集群搭建 前置安装 yum -y install createrepo yum install -y lrzsz yum install -y wget yum install -y vim修改当前集群机器的主机名 hostnamectl set-hostname XXX​ 这里的 XXX 就是要设置的当前机器的主机名称。主机名称是集群唯一的,一定不要重复&am…

经典文献阅读之--TwinLiteNet(可行驶区域和车道分割的高效轻量级模型)

0. 简介 对于自动驾驶来说语义分割是自动驾驶中理解周围环境的一项常见任务。可行驶区域分割和车道检测对于道路上安全且高效的导航尤为重要。为了满足自动驾驶汽车中可行驶区域和车道分割的高效轻量级,《TwinLiteNet: An Efficient and Lightweight Model for Dri…

项目计划书

项目开发计划包括项目描述、项目组织、成本预算、人力资源估算、设备资源计划、沟通计划、采购计划、风险计划、项目过程定义及项目的进度安排和里程碑、质量计划、数据管理计划、度量和分析计划、监控计划和培训计划等。 软件全配套资料获取:软件开发全套资料-CSDN…