指数级暴增、复杂场景下,揭秘百度云原生湖仓架构等系列数据产品

9月28日,百度智能云2021“云智技术论坛”智能大数据专场在上海举办。本次会议以“云智一体,让大数据发挥大价值”为主题,百度副总裁谢广军携百度多位资深技术专家与行业伙伴出席会议,共同探讨了大数据发展新形势下,企业如何运用云智技术打造满足数字化、智能化转型的安全可靠的数据基础设施和价值挖掘平台,发挥数据资产的核心价值。
 

百度副总裁谢广军致辞

谢广军表示,在以新一代信息技术为基础、以海量数据的互联和应用为核心、将数据资源融入产业创新和升级各个环节的数字经济时代,大数据成为关键的生产要素。百度智能云产品委员会联席主席宋飞为现场嘉宾带来了百度智能云大数据产品架构全景图,旨在为企业提供从构建新型数据基础设施、深度挖掘数据价值,到保障数据安全的全流程大数据解决方案,助力企业数字化创新升级。

 百度智能云大数据产品架构全景图

  
百度智能云产品委员会联席主席宋飞现场分享

百度云原生湖仓架构,构建大数据基础设施


随着企业数字化转型的加速,企业日常运营中产生的数据量呈指数级增长趋势,且数据的类型更加多样化,数据的应用场景日益繁杂。在此背景下,如何加强新型数据基础设施建设至关重要。百度智能云大数据工程技术负责人牛献会带来了百度云原生湖仓架构,为企业解决大数据基础设施构建中的数据存储、计算、处理、治理开发等问题。
 

 百度智能云大数据工程技术负责人牛献会解读百度云原生湖仓架构

百度云原生湖仓架构以云为基础,为客户提供弹性、低成本的数据存储和按需伸缩的计算资源;同时以湖仓引擎为架构,在低成本的基础上保障各种数据处理场景下,数据加工处理灵活性、数据分析高性能性、以及异构数据源融合分析等特性;最后,提供一体化的数据治理开发平台,以统一元数据为抓手,一站式完成数据集成、治理、开发、分析、服务。


牛献会向现场嘉宾介绍了百度对象存储BOS、托管大数据平台BMR、数据仓库Palo、数据湖管理与分析平台EasyDAP等产品,展示了百度强大的智能大数据能力。

 
其中,百度数据仓库Palo是基于开源Apache Doris构建的企业级MPP云数据仓库,可有效地支持在线实时数据分析,具有简单易用、流批一体、高可用性等特征。现场,牛献会介绍了百度Palo在互联网和制造业领域的应用案例,他表示,百度Palo可以助力企业实现降本增效,加速数据赋能。
度小满金融日志平台技术负责人刘建东分享了度小满借助百度BES升级检索架构的案例。他提到,度小满原有检索架构存在存储成本高、检索速度慢、冷数据恢复速度慢等痛点。基于BES的日志检索架构,可被直接检索数据存储周期由7天升级为最高180天,存储成本降低近90%,热数据检索速度实现了秒级响应。
 


度小满金融日志平台技术负责人刘建东分享案例

百度智能云AI产品Sugar,深度挖掘数据资产价值


在构建数据基础设施后,企业应该如何实现数据资产价值最大化?百度智能云AI产品研发部总架构师马如悦介绍了百度智能云如何从商业智能到数据科学,驱动数据资产价值最大化。马如悦表示,商业智能可以洞察过去,数据科学可以预知未来。
 

百度智能云AI产品研发部总架构师马如悦现场分享

洞察过去,即让数据说话,告诉我们过去的情况。百度智能云通过数据可视化Sugar让所有的数据清晰呈现,所有的信息一目了然。Sugar是百度自助BI报表分析和制作可视化数据大屏的工具,直连多种数据源,通过丰富的图表和拖拽式编辑帮助客户轻松生成可视化页面,并以炫酷大屏呈现,让数据信息更直观。同时,Sugar融合了百度语音、语义识别等多种AI技术,客户通过语音的方式就可以快速获取想要的数据。


预知未来,即根据已有数据发现规律,从而预测未来。百度智能云全功能AI开发平台BML具备高效的算力管理和调度、高性能数据科学引擎、自动机器学习、丰富的建模方式四大核心功能,提供从数据源管理、数据标注、数据集存储、数据预处理、模型训练生产到模型管理、预测推理服务管理等全流程开发支持,让客户预测未来有据可依。


此外,马如悦还分享了邮储银行实现智能数据挖掘的案例。他提到,邮储银行与百度智能云合作构建了邮储大脑,利用全功能AI开发平台BLM实现了数据处理、模型训练、模型管理、预测服务的全生命周期管理,为银行智能营销、智能风控、智慧运营、智慧服务提供智能化解决方案。


中车集团长春轨道客车上海研发中心城铁车辆设备室主任肖占分享了中车长客上海研发中心与百度智能云合作的案例。他提到,中车长客上海研发中心由于数据庞大、数据分析困难、数据关系复杂等问题,导致故障难以预测。与百度智能云合作后,双方联手打造了轨交故障预测维护平台,通过数据平台建设、故障知识库搭建、模型算法开发等多项举措,提前预测列车故障,避免事故的发生。 
 


中车集团长春轨道客车上海研发中心城铁车辆设备室主任肖占现场分享

百度隐私计算核心产品“百度点石”,铸就数据安全防护体系


数字化进程加剧了数据安全隐患问题,数据安全事件驱动着数据安全政策持续加码。随着数字安全相关法律的发布,我国数据安全体制建设进入了新阶段。


百度打造了覆盖数据全生命周期的安全体系。在隐私数据保护中,百度数据安全体系实现了事前安全隐患发现、事中敏感数据保护、事后精准溯源的安全保护闭环,为客户提供安全合规的数据应用能力。


现场,百度安全部数据安全业务副总经理韩祖利向各位嘉宾介绍了百度隐私计算的核心产品“百度点石”。百度点石基于安全多方计算、联邦学习、机密计算、安全数字沙箱的隐私计算引擎,打造了一套集数据安全治理规则与隐私计算工具一体的解决方案,通过技术与规则的巧妙结合,在“数据可用不可见”与“数据不动算法动”的基础上,赋能企业机构合法合规的采集数据、存储数据、挖掘数据,实现在用户隐私合理保护基础上的数据驱动经济发展。
 


百度安全部数据安全业务副总经理韩祖利现场分享

百度点石提供的隐私计算方案可以安全、灵活地实现合规数据应用,已在政务、金融、医疗、电商、教育、媒体等多个领域成功落地。

数据治理、资产管理,推动大数据的应用落地


基于百度复杂业务和数据场景下锤炼的数据治理、管理、应用实践,以及To B服务行业经验积累,百度智能云大数据产品负责人李德禹向现场嘉宾分享了相关实践方法。


李德禹表示,企业数据资产构建和应用面临数据孤岛治理困难、数据资产管理效率低、业务应用场景繁杂等挑战。为帮助行业实现数据治理更有序、数据资产管理运营更高效、数据应用价值发挥更广泛,百度智能云提供了从数据治理实施、数据资产化管理运营到数据应用落地的全方位解决方案。

 百度智能云大数据产品负责人李德禹分享数据资产构建与应用实践 

数据治理实施的首要步骤是"搭班子”,即数据提供方、数据治理实施方、数据应用方、管理者形成有效协同;接着是"做盘点”,从数据、IT架构、业务需求盘点要全面,为实施和应用做好准备;继而要"定标准",数据主题分类、模型、质量等,要完整统一。这样的企业数据治理的实施,就能够分段分层,有序进行。


在资产管理运营层面,构建起数据资产管理平台能够帮助企业实现数据“好管理”、“好找到”、“好理解”、“好应用”。 运营过程中企业需要建设配套的运营体系,数据覆盖、数据质量、数据成本、数据价值的有效运营对于优化和指引企业未来规划有非常大的价值。


最后落实到数据应用上,企业构建数据应用要以成效为先,解决真痛点,实现大收益。李德禹分享了百度智能云与徐工合作的案例。她提到,百度智能云为徐工提供的综合管理决策驾驶舱,能够提升企业的业务协同效率;通过资源调度的优化,确保服务的及时性;帮助分析收支平衡关联,降低其还款风险等。百度智能云帮助企业将大数据技术落实到各个应用场景,助力企业实现数据资产价值最大化。


来自陕西广电融媒体集团创新中心技术总监陈科分享了大数据助力媒体融合创新的案例。陈科表示,媒体在融合创新方面面临着数据缺乏治理和应用、多渠道客群运营、内容和运营深度融合的挑战。百度智能大数据助力陕电媒体建设了媒体融合数据资产,最终实现了以数据驱动多渠道综合管理、媒体精准化运营、实时舆情监测。
 


陕西广电融媒体集团创新中心技术总监陈科分享案例

数字经济成为“十四五”期间我国经济高质量发展的新引擎,数据要素成为数字经济时代的战略资源,大数据正在推动千行百业进入数字化创新升级阶段。百度智能云通过云智一体的技术优势打造一体化智能大数据解决方案,帮助企业构建数据资产平台,让大数据充分发挥大价值。未来,百度智能云将进一步拓展业务边界,携手更多合作伙伴,以数据创新推进产业数字化转型、智能化升级。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/513940.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

重磅官宣:Nacos2.0发布,性能提升10倍

简介: ​Nacos2.0 作为一个跨代版本,彻底解决了 Nacos1.X 的性能问题,将性能提升了 10 倍。 作者:席翁 继 Nacos 1.0 发布以来,Nacos 迅速被成千上万家企业采用,并构建起强大的生态。 但是随着用户深入使用…

oracle解决存储嗅探,DBA警示录:存储故障的处理应当谨慎

DBA警示录:存储故障的处理应当谨慎昨天有客户的存储出现问题,导致数据库崩溃,需要进行数据库恢复。客户的存储使用RAID 5划分,声称出现故障后未进行任何操作,可是当存储恢复工程师将文件恢复出来后,文件显示…

python识别手写文字_如何快速使用Python神经网络识别手写字符?(文末福利)

原标题:如何快速使用Python神经网络识别手写字符?(文末福利) 点击标题下[异步社区]可快速关注 在本文中,我们将进一步探讨一些使用Python神经网络识别手写字符非常有趣的想法。如果只是想了解神经网络的基本知识,那不必阅读本文,可…

一年增加 1.2w 星,Dapr 能否引领云原生中间件的未来?

简介: 虽然 Dapr 在国外有很高的关注度,但在国内知名度非常低,而且现有的少量 Dapr 资料也偏新闻资讯和简单介绍,缺乏对 Dapr 的深度解读。在 Dapr v1.0 发布之际,我希望可以通过这篇文章帮助大家对 Dapr 形成一个准确…

第五届“强网杯”青少年专项赛盛大开赛

9月25日,第五届“强网杯”青少年专项赛线上赛盛大开赛。作为国家级赛事强网杯的系列专项赛,青少年专项赛圆满践行了向青少年普及网络安全知识与技能,提升青少年网络安全素养和创新能力,发掘优秀青少年网络安全人才的办赛初衷和愿景…

源码解读:KubeVela 是如何将 appfile 转换为 K8s 特定资源对象的

简介: KubeVela 是一个简单易用又高度可扩展的云原生应用管理引擎,是基于 Kubernetes 及阿里云与微软云共同发布的云原生应用开发模型 OAM 构建。本文主要目的是探索 KubeVela 如何将一个 appfile 文件转换为 K8s 中特定的资源对象。 作者 | 樊大勇 Kub…

oracle默认导出路径linux,传统路径导出 VS 直接路径导出(oracle exp direct=y)

Oracle 传统的Export与Import依旧被保留到11g,而且9i与10g有很多依旧使用Export与Import方式进行备份与恢复的企业。从Oracle 7.3开始,传统的exp导出程序提供两种的导出路径方式,一个是传统路径导出(Conventional Path Export),一…

web 前端 如何分享到instagram_好程序员web前端教程分享前端javascript练习题三

好程序员web前端教程分享前端javascript练习题三cookie一周内免登录样式代码:姓名:密码:一周内免登陆js功能代码:var inputdocument.getElementsByTagName("input");if(getCookie("usename")){ //判端cookie是…

一文详解SQL关联子查询

简介: 本文主要介绍什么是关联子查询以及如何将关联子查询改写为普通语义的sql查询。 本文主要介绍什么是关联子查询以及如何将关联子查询改写为普通语义的sql查询。 在背景介绍中我们将讲讲常见的关联子查询的语义,关联子查询语法的好处以及其执行时对…

阿里巴巴研究员叔同:云原生是企业数字创新的最短路径

作者:叔同 今天,数字化成为企业的核心竞争力,千行百业都在拥抱云计算,拥抱云原生。2020年我们认为是云原生的落地元年,那么2021年将是云原生加速推动企业数字创新的关键节点。在3月29日阿里云计算峰会上,阿…

Kubernetes 微服务监控体系

作者|无敌码农来源|无敌码农监控系统是运维体系乃至整个软件产品生命周期中最重要的一环,完善的监控可以帮助我们事前及时发现故障,事后快速追查定位问题。而在以微服务为代表的云原生架构体系中,系统分为多个层次,服务之间调用链…

python解zuobiaoxi方程_滑坡稳定性分析程序初探---Python版!

0 前言 山体滑坡是常见的自然灾害,从理论分析的角度讲,滑坡的稳定性分析方法源自于高中物理学,如图1所示。前者的滑动分析非常简单,在已知滑块的重量以及接触面摩擦系数的基础上通过计算下滑力和抗滑力的关系即可分析其稳定性&…

php 动态 控件,PHP技术在动态网页表单控件提取中的应用研究

曲小纳摘要:由于电子商务及网络信息技术的飞速发展,动态网站已经逐渐取代传统的静态网站,在不断向人工智能化等方向发展。该篇文章就针对PHP这种技术在动态网页表单控件提取中的应用进行详细的阐述。关键词:PHP;动态网页;表单中图…

冷启动延时缩短50%-80%,阿里云函数计算发布冷启动加速技术

简介: 近日,阿里云函数计算重磅发布冷启动加速技术,将原本属于开发者的镜像优化负担转由函数计算承担,进一步帮助开发者提高生产效率,专注业务创新。该技术源于阿里集团超大规模和场景高度复杂的容器环境,对…

评审恩仇录——IDE也能做代码评审?

简介: 云效Codeup推出了本地IDE插件端的评审,免除了黄药师来回华山的奔波之苦 现代科技公司的同事们平日一起交流开发规约和产品需求,肩上共同扛着业务发展和同行竞争的压力,这份还书贻剑的情谊如何能引来恩仇呢?通过…

云原生数据仓库TPC-H第一背后的Laser引擎大揭秘

简介: 作者| 魏闯先阿里云数据库资深技术专家 一、ADB PG 和Laser 计算引擎的介绍 (一)ADB PG 架构 ADB PG 是一款云原生数据仓库,在保证事务ACID 能力的前提下,主要解决云上海 量数据的实时分析问题。它的架构与传…

新云网、5G、Wi-Fi 6 Plus,探秘2021通信展上的锐捷网络黑科技

供稿 | 锐捷网络 出品 | CSDN云计算 2021年9月27日,主题为“创新点亮数字化未来”的第三十届中国国际信息通信展览会(PT EXPO 2021)在北京如期开幕。展会汇聚业内的科技创新技术专家和优秀企业,共同探讨数字化创新的新趋势、新场…

【OpenYurt 深度解析】边缘网关缓存能力的优雅实现

简介: 阿里云边缘容器服务上线 1 年后,正式开源了云原生边缘计算解决方案 OpenYurt,跟其他开源的容器化边缘计算方案不同的地方在于:OpenYurt 秉持 Extending your native Kubernetes to edge 的理念,对 Kubernetes 系…

python的类名一定要大写吗_python 类名

广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 如果我从中执行此操作的函数是实例的类派生的基类,我如何找到在python中创建对象实例的类的名称…

Elasticsearch生态技术峰会 | 阿里云Elasticsearch云原生内核

简介: 开源最大的特征就是开放性,云生态则让开源技术更具开放性与创造性,Elastic 与阿里云的合作正是开源与云生态共生共荣的典范。值此合作三周年之际,我们邀请业界资深人士相聚云端,共话云上Elasticsearch生态与技术…