Kubernetes,多云和低代码数据科学:2020年最热门的数据管理趋势

新兴技术为我们的数据之旅铺平了道路。我们已经看到Kubernetes在应用程序自动化方面处于领先地位,越来越多的公司将赌注押在了云上,以及当今的企业对数据科学的依赖程度正不断提,再加上对大数据的人工智能高级分析,可以看到数据管理领域正出现更多机会。

以下是我期待在2020年看到的一些最大数据趋势。

趋势1:Kubernetes将在2020年推动AI更加可操作

在高级分析和人工智能方面,“ Kubernetizing”将在2020年带来全新的分析堆栈。通过将数据从远程数据孤岛移动到K8s集群中以实现更严格的数据局部性,分析堆栈的 “ Kubernetizing”解决了数据共享和弹性挑战。尽管容器对于管理Web服务器和独立数据库等无状态应用程序非常有效,但在高级分析和AI方面,Kubernetes仍有增长的空间。在2020年,Kubernetes将成为推动运营AI工作负载的关键部分。

分析堆栈正从SQL转移到紧耦合的关系数据库,再到Hadoop和云,逐渐变得更加分散。原始数据库的核心元素可以是它们自己的独立系统或层。诸如Kubernetes之类的技术允许将这些不同的部分组合在一起,从而简化在任何环境中运行的应用程序,并改变与环境无关的软件和应用程序的部署和扩展方式。

现在,当我们仔细思考当今的数据趋势已将我们带到何处时(尤其是高级分析和AI)时,我们看到了对分发模型训练和处理的更大需求。这需要在您的Kubernetes部署中编排数据。这是一个很难解决的问题,因为要顾忌分析堆栈是如何分开的。数据湖(S3,HDFS,GCS等),计算框架(Apache Spark,Presto,Hive,Tensorflow等)以及其他依赖项(例如目录服务)(Hive Metastore,AWS Glue,KMS等)都处于活动状态并自行管理。随着Kubernetes驱动更多可操作的AI,数据编排技术将成为这一趋势的关键部分。

Kubernetes简化了将多个分布式系统一起部署的复杂性,但随着分解变得越来越普遍,我们将看到在K8s集群上运行的更先进的可操作AI。下一组要解决的挑战将是数据访问,数据局部性和数据弹性。

为了在Kubernetes中为可操作的AI做准备,请查看使Kubernetes中的数据能够访问远程数据的技术。对于未来的AI工作负载需求而言,将数据本地化重新带入环境至关重要。

趋势2:无码/低码技术将简化数据科学

到2020年,借助无代码/低代码技术,简化的数据科学将得到发展。我们看到企业中比以往任何时候都更侧重于使用高级的分析和人工智能;公司将业务押在从AI和ML衍生的数据驱动的结果上。如今,要对大量数据进行如此深入的分析和洞察,您需要一名数据科学家或工程师——具有广泛的编程技能和非常深的数学知识的人员。可以想象,这些类型的人的需求量很大,供不应求。

2020年会带来什么?

数分钟被部署而不是数周的AI。这是公司想要实现的目标,尽管可以实现这一目标的专业人员数量有限。我们将看到更多使最终用户(在大多数情况下为业务或数据分析师)从自己的数据中收集深刻见解的技术。这些无代码或低代码技术将把机器学习带到最前沿,并使服务变得更智能,因此企业不会依赖具有特定专业知识的个人。例如,除了构建和部署模型之外,我们还将看到“创建您自己的模型,我们将为您提供训练”的自主技术。

我们最近看到的项目包括Google的Cloud AutoML(“无需编码的AI培训师”)和Teachable Machine 2.0(面向新的ML实践者的入门产品)之类的技术。此类技术将使非技术的最终用户能够实施和运行模型,同时避免出现错误(在构建AI模型时经常发生错误)。

今年,我们看到C3.ai,Mendix和Appian公司在低代码AI领域涌现了几项新技术,所有这些新技术都吹捧了低代码平台,这些平台几乎不需要编码经验,甚至可以提高开发人员的工作效率。

如果此方法适合您,请确保您的无代码/低代码技术具有内置的应用程序逻辑,位于其上方的托管或声明层以及位于其下方的可与数据集和模块配合使用的框架。

趋势3:云计算巨头将专注于多云

在过去三年中,我们一直在听到人们谈论混合云,而在过去的一年中,多云的趋势越来越多。在大多数情况下,这只是讨论,但在2020年将发生变化。在部署和利用多云环境方面,我们将看到显着增长。

我们正处于主要云提供商(AWS,GCP,Azure)的起步阶段,他们向市场推出了能够支持多云部署的技术。

Microsoft Azure Stack Hub允许用户在自己的数据中心中利用Azure云服务,而Microsoft最近刚刚发布了Azure Arc,这是一个多云管理层,将Azure扩展到其他公共云平台(例如AWS和GCP)。

AWS Outposts允许用户在本地运行适用于多云/混合架构的AWS基础设施。用户可以利用任何数据中心,托管空间或本地设施中的任何AWS服务,基础架构或运营模型。

Google Anthos可使应用程序能够在Google Cloud,私有数据中心(确实如此)和/或其他公共云(Azure和AWS)中运行。它使用户真正成为不需可感知云和喜欢使用多云的人。

云提供商意识到不同的用例需要不同的环境,并且正在构建产品,允许其用户从一个数据中心(云)灵活地迁移到另一个数据中心。

这些技术的好处是巨大的。用户可以自由地在他们想要的任何地方轻松地部署,运行和管理其应用程序,同时满足业务和技术要求。必须学习不同的环境和不同的API的日子已经一去不复返了。这些技术使企业可以避免供应商锁定,通过使用更接近客户的数据中心来获得更好的性能(更少的延迟),帮助遵守数据治理要求(例如GDPR),并在发生故障时提供弹性。

在2020年,我们将看到企业在多云环境下的数量翻倍。随着这些类型的服务逐渐成为主流,入门也变得容易。

关于作者

史蒂文·米(Steven Mih)是Alluxio的首席执行官。他在企业技术解决方案的销售,业务开发和市场营销方面拥有20多年的经验。他的营销经验来自于一些领先的组织,包括Aviatrix,Couchbase,Transitive,Cadence Design Systems和AMD。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/312421.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

matlab光盘映像文件可以删除吗_DVD-Cloner 2020 for mac(DVD光盘刻录工具) 7.00.715

DVD-Cloner Gold 2020版是功能强大的DVD光盘刻录工具,DVD-Cloner Gold 2020版可以轻松刻录光盘以及蓝光光盘,用户可以将任何的文件刻录到DVD光盘中,并可以制作为蓝光光盘,可以很方便地录入视频到光盘中进行保存,刻录好…

性能优化 = 改改代码?

大家好,我是Z哥。好久没写技术文章了,最近正好有进行一些思考,顺手写出来分享给大家。如果不是程序员的话,可以快速扫一眼正文的几个小标题,快速略过即可,毕竟思路和专业无关,很多是相通的。&am…

使用refs获取节点_闲庭信步聊前端 - 原来你是这样的Refs

一、refs 的由来什么是refsrefs是拿到真实的DOM节点和React元素实例的一种方法。在React官方文档中有提到Refs 提供了一种方式,允许我们访问 DOM 节点或在 render 方法中创建的 React 元素。 React是单向的数据流,父子组件的交互是通过props。修改子组件…

从TimeSpan说起

小编在编写WPF程序时,需要做一个判断:定时使用Modbus协议使用Quartz.net 定时任务读取设备中的数据,同时也使用定时任务判断是否长时间获取不到数据的情况,如果程序中超过一分钟没有获取到数据(数据没有更新&#xff0…

如何维持手机电池寿命_延长手机电池寿命终极技巧教学,iPhone和安卓手机皆适合...

每隔一阵子就开始有不少用户询问,iPhone电池健康度又剩下多少了,怎么朋友的还维持在100%,是不是我手机电池出问题,引起不少用户翻白眼。会有电池健康度,最主要是要让大家了解目前手机电池当前寿命,只要电池…

2020年了,再不会Https就老了

合格的web后端程序员,除搬砖技能,还必须会给各种web服务器启用Https,本文结合ASP.NET Core部署模型聊一聊启用Https的方式。温故知新目前常见的Http请求明文传输,请求可能被篡改,访问的站点可能被伪造。HTTPS是HTTP加上…

c语言枚举类型例题_[开源资讯]Zig 0.6.0 发布,想要挑战 C 语言

Zig 0.6.0 已发布,这是一门通用编程语言,专为稳定性、可维护性和性能而设计,追求替代 C 语言在系统编程上的最佳地位。Zig 具有以下值得关注的特性:手动管理内存与 C 语言竞争而非依赖它,Zig 标准库不依赖于 libc轻量而…

【实战 Ids4】║ 给授权服务器加个锁——HTTPS配置

在上篇文章《【实战 Ids4】║客户端、服务端、授权中心全线打通!》中,我们正式的将三站打通,发布过后,有小伙伴反馈,可能Nginx对配置HTTPS安全协议有点儿问题,我也就半夜趁着没人打扰,疯狂的研究…

快速幂 a*b%c

2020.12.30开始学习AcWing算法《算法竞赛进阶指南》&#xff1b; 在CSDN上传博客方便复习。 //wecccccccc //2020.12.30 #include <iostream> using namespace std; typedef long long int ll;ll fast_power(ll a, ll b, ll c) {ll ans 1;a % c;//防止一开始输入的值过…

thinkphp 助手函数url不生成https_如何用ThinkPHP框架写一个快递查询接口

ThinkPHP是php程序员们经常使用的框架之一&#xff0c;运用框架来开发网站无疑减轻了我们代码量&#xff0c;加快了我们的开发速度&#xff0c;框架底层封装的方法和函数使用起来简直不能太爽。今天给大家总结一个小案例&#xff0c;如何实现一个快递查询的接口。所谓接口&…

64位整数乘法

2020.12.30开始学习AcWing算法《算法竞赛进阶指南》&#xff1b; 上传博客方便复习。 //Wecccccccc //2020.12.30 #include <iostream> using namespace std; typedef unsigned long long int ull;int main() {ull a, b, c;cin >> a >> b >> c;ull ans…

分布式锁的实现与探索

源宝导读&#xff1a;大型的信息化系统对数据准确性的要求很高&#xff0c;所以经常会使用事务、锁、队列等技术&#xff0c;保障高并发下的数据一致性问题。本文将讨论在分布式部署模式下&#xff0c;如何利用锁机制保证业务数据准确的技术探索与实践。一、背景分布式场景下的…

matlab 角度转四元数_基于Matlab的机械臂路径规划

什么是 trajectory(路径)规划中文路径在英语中可能有两种翻译&#xff1a;1. path2. trajectory首先告诉大家&#xff0c;我们所说的“路径”是后者——trajectory。我们看一下这两种“路径”在机械臂的世界里有什么区别。设想机械臂的 end-effector 要从 A 点运动到 B 点&…

ASP.NET Core 中间件的几种实现方式

前言ASP.NET Core 中 HTTP 管道使用中间件组合处理的方式,换句人话来说,对于写代码的人而言,一切皆中间件.业务逻辑/数据访问/等等一切都需要以中间件的方式来呈现.那么我们必须学会如何实现自定义中间件 这里划重点,必考这里我们介绍下中间件的几种实现方式...匿名函数通常新建…

cookies默认过期时间_「图」Chrome Canary新版已启动“增强版cookies控制”预览测试...

近日谷歌承诺将于今年晚些时候在Chrome浏览器启动“增强版cookies控制”的预览测试。在今年的I/O开发者大会上&#xff0c;谷歌宣布携手Mozilla等开发者耗时3年多时间制定了名为“same-site cookies”的IETF 标准&#xff0c;而该功能就是建立在same-site cookies的基础上&…

【原创】StackOverflow 20万关注的问题:如何实现异步Task超时的处理?

前文传送门 dotNET开发系列收藏&#xff01;推荐12个超实用的Visual Studio插件程序员&#xff1a;这10种糟糕的程序命名&#xff0c;你遇到过几个&#xff1f;使用Vistual Studio N年&#xff0c;推荐2个异常捕获的技巧面试官&#xff1a;你连RESTful都不知道我怎么敢要你&…

C# WPF 表单更改提示

微信公众号&#xff1a;Dotnet9&#xff0c;网站&#xff1a;Dotnet9&#xff0c;问题或建议&#xff0c;请网站留言&#xff1b; 如果您觉得Dotnet9对您有帮助&#xff0c;欢迎赞赏Dotnet9.com内容目录实现效果业务场景编码实现本文参考源码下载1.实现效果未做修改的表单展示 …

XRPC接口双向调用

一般远程接口调用的服务都是基于客户端主动调用服务端&#xff0c;由服务端来提供相关的接口服务&#xff1b;在新版本的XRPC中引入了一个新的功能&#xff0c;即接口双向通讯&#xff0c;组件提供服务创建客户会话的接口代理并调用客户提供的接口服务。接下来介绍如何通过XRPC…

电机控制pid_微电机控制如此简单,揭秘微电机调速的控制,PID控制之双环调速...

​​在微型电机应用中&#xff0c;由于各种应用产品的不同会用到不同的调速方式&#xff0c;在调速中可能会遇到各种不同的问题&#xff0c;下面天孚电机对最近客户对微电机PID调速遇到的双环控制问题来讲一讲。智能小车TFMOTOR-N30减速电机​客户是做智能小车的采用的是tfn30微…

简单的01背包和完全背包

2020.12.30开始学习AcWing算法《算法竞赛进阶指南》&#xff1b; 上传博客方便复习。 01背包&#xff08;每种物品只能使用一次&#xff09;&#xff1a; //Wecccccccc //2020.12.31 #include <iostream> using namespace std; int n,m,v[1010],w[1010],dp[1010]; int…