如何将实时计算 Flink 与自身环境打通

简介: 如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 客训练营产品、技术专家齐上阵,从 Flink的发展、 Flink 的技术原理、应用场景及行业案例,到开源Flink功能介绍和实时计算 Flink 优势详解,现场实操,9天即可上手! 本篇内容将介绍如何实时计算 Flink 与自身环境打通。

一、运行作业的Jar如何存储在OSS上

在VVP平台有两种方法可以上传作业的jar。

方法一,借助VVP提供的资源上传功能,可以直接使用这个功能对Jar进行上传目前该功能支持200兆以内的Jar包上传。使用时,直接在创建作业的时候选择上传的jar包就可以了,演示如下:

● 进入到VVP平台,点击左侧资源上传功能,然后在打开页面点击右上角的上传资源,选择要上传的Jar包,完成上传;

image.png

● 上传成功后,点击左侧创建作业,完善作业名等信息。在Jar URI栏,下拉选择刚刚上传的Jar包,点击确定完成创建作业,然后启动即可使用。

image.png

方法二,直接在OSS的控制台上面,将要使用的Jar上传上去,然后使用OSS是提供的Jar链接来行使用。使用的时候也比较简单,直接使用OSS提供的Jar链接,演示如下:

● 打开OSS控制台,选择在创建VVP时候使用的Bucket,再选择目录,点击上传文件,上传时可以将它的权限设置为公共读,点击上传文件即完成;
● 使用时,OSS控制台上点击已上传包右侧的“详情”,获取该Jar包的URL链接。

image.png

● 创建作业时,将jar包的URL的链接填入Jar URI,如下图所示:

image.png

需要注意,OSS详情页面提供的链接是公网访问的,开通的VVP并不能直接访问公网,所以在创建作业使用HTTPS的时候,需要使用VPC访问的endpoint(例如:https://vvp-training.oss-cn-shanghai-internal.aliyuncs.com/artifacts/namespaces/vvp-training/WordCount.jar),这样才能正常的启动作业。

如果想用公网获取一个HTTPS的链接,怎么操作呢?可以首先对VVP进行公网打通,打通的操作流程可以参考阿里云帮助文档中的《Flink 全托管集群如何访问公网》(https://help.aliyun.com/document_detail/174840.html),简单来说步骤如下:

● 首先,创建一个NAT网关。创建时选择“组合购买ERP”,然后选择区域并补充名称等信息,然后绑定弹性公网IP,完成创建;
● 其次,创建SNAT条目。创建好NAT之后,点击“创建SNAT条目”,在弹窗选择交换机并补充名称信息,完成创建。

image.png

完成上述两个步骤,该VVP实例就已经打通公网,在创建Deployment时就可以直接使用https公网可访问的jar包了。

二、在VVP平台上 Flink 如何与典型数据源进行交互

这部介绍如何通过SQL以及connectors与外部的一些数据存储系统进行交互,以SLS,Kafka作为数据源读写数据为例。

幻灯片05.png

(实操演示)点击SQL编辑器,创建一个Datagen Table,它是用于数据的随机生成的,然后点击运行。然后再点击生成一个SLS Table,补充所需参数信息,然后点击创建完成。

image.png

创建完成后,写入SQL语句,比如insert into sls select id, name from datagen,然后另存后点击运行,创建Deployment并启动。

image.png

当作业成功运行后,在SLS上查询数据。如下图所示,说明datagen已经生成数据并成功写入SLS。

image.png

类似的,我们可以按照上面的步骤从SLS读数据然后写入Kafka:

● 在vvp的sql编辑器页面创建一个Kafka table
● 用SQL语法从SLS读取数据写入Kafka中并启动
● 作业运行成功后,即开始从SLS读数据写入Kafka中

三、如何将VVP平台上 Flink的指标打入外部Metrics系统

接下介绍如果想把运行作业的指标放入到一些系统当中去,并进行指标观测。VVP提供了两种方法:

方法一,VVP默认的将 Flink 作业指标打入到arms,不需要额外的处理,直接运行作业之后,就能通过指标按钮看到,如下图所示:

image.png

方法二,如果自己有指标系统,想把 Flink 的作业指标打入到自己的系统里,主要有两点:首先保证VVP上作业与自己指标系统网络的连通性;其次在 Flink conf 中配置好相应的metrics reporter。如下图所示,在创建作业过程中,进行metric配置(metrics reporters配置参考:https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/metrics.html):

image.png

例:使用premetheus的pushGateway方式,所以reporter class就选择org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter。按上图所示配置pushGateway的port和host,Metric reporter就配置完成了。作业启动成功后在配置好的grafana大盘上查看指标,如下例所示。

image.png

四、如何将Flink作业日志打入到外部系统

如果在作业运行中,突然运行失败,我们想要查看运行失败作业的日志,就需要把 Flink 作业的日志保存下来。在VVP平台为这个目的提供了两种方案,将Logs写入OSS中或SLS中,简单来说,在创建作业的时候, 在Log配置项里面配置一些Log参数。

image.png

配置参考文档:https://help.aliyun.com/document_detail/173646.html

方法一,将日志写入OSS中。在创建作业的时候,在高级配置中的Log配置里,选择使用用户自定义,然后将(帮助文档)里面的配置放在自定义的配置中去,再将一些参数换成OSS的必要参数就可以了。

需要查看日志时,可以通过帮助文档的指导,找到日志存放的文件,然后点击下载查看。

image.png

image.png

方法二,将日志写入SLS中。与方法一类似,只是LOG配置项稍有差异;下载和查看方法与方法一一致。

作者:阿里云实时计算Flink

原文链接 

本文为阿里云原创内容,未经允许不得转载

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514436.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一文知晓浪潮云海OS在SPEC Cloud测试中的调优实践!

日前,SPEC(Standard Performance Evaluation Corporation,即国际标准性能评测组织)公布了最新 Cloud IaaS 2018 Benchmark 测试成绩,在同规模测试场景下浪潮数据核心产品浪潮云海OS再次刷新世界纪录,性能得…

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介: 为了消灭数据孤岛,企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程,期间遇到的挑战,以及delta在数据接入中产生的价值。 背景 流利说目前的离线计算任务中&…

怎么提升写代码的能力

简介: 对于程序员而言,我始终认为代码是展现能力的关键,一个优秀程序员写的代码,和一个普通程序员写的代码是很容易看出差别的,代码作为程序员的硬实力和名片的展示,怎么提升写代码的能力始终是一个关键的话…

发力LPWAN 升哲打磨数智城市物联网通信之“芯”

8月上旬,随着多项物联网芯片与通信领域技术发明专利证书的下发,升哲科技(SENSORO)已在低功耗广域物联网(LPWAN)及相关领域拥有近百项独家专利,突破国外专利封锁实现国产、自主、可控。这些专利技…

android studio证件照代码,Android 修图(换证件照背景,污点修复)

背景前段时间的一个周末,一个女生让我帮她换一下他的证件照背景,我又没带电脑。我又不好意思拒接,怎么办呢?应用商店下载一个证件照换背景的APP,瞬间换完,我正准备保存时,跳出来一个支付框&…

闲鱼是怎么让二手属性抽取准确率达到95%+的?

闲鱼是怎么让二手属性抽取准确率达到95%的? 先上效果 图1 - 二手属性抽取算法效果Demo(1) 背景 闲鱼作为一款C2X的app,站在商品发布的角度,闲鱼商品相对于淘宝商品的特点有: 轻发布导致商品信息不足 闲鱼采用图文描述的轻发布模…

代号红狗:那些站在微软云起点的中国创业者

作者:亲爱的数据 来源:亲爱的数据011996年的北京。上高中二年级的左玥,代表崇文区参加市一级"四通杯"青少年计算机程序设计竞赛,得了一等奖。据左玥回忆,在去参赛的路上,辅导老师还在吐槽&#x…

如何迁移 Flink 任务到实时计算

简介: 本文由阿里巴巴技术专家景丽宁(砚田)分享,主要介绍如何迁移Flink任务到实时计算 Flink 中来。 通常用户在线下主要使用 Flink run,这会造成一些问题,比如:同一个配置因版本而变化&#xf…

如何落地云原生DevOps?

简介: 什么是云原生DevOps?在阿里内部有怎样的实践?企业又该如何落地?阿里云云效专家团队提出了下一代精益产品开发方法体系——ALPD,提供了系统的云原生DevOps落地的方法支撑,帮助企业渐进式地迈入云原生D…

亚马逊独霸美国安云计算未来十年订单;英伟达推出首个元宇宙平台;华为云、天翼云会合并吗?...

NEWS本周新闻回顾亚马逊独霸美国安云计算未来十年订单,微软表示不服亚马逊AWS获得美国国家安全局100亿美元云计算合同。得知亚马逊拿下订单后,微软已向政府问责提交文件,提出抗议。最终……还是亚马逊笑到了最后英伟达推出全球首个元宇宙平台…

如何做好技术 Team Leader?

简介: 作为一个技术TL(Team Leader),除了自身技能,还会面临诸多团队管理上的困难和挑战。如何定义和明确团队的目标?怎样建立优秀的工程文化?让团队长期发挥战斗力和创新能力的核心是什么&#…

android应用控制百度地图,Android中应用百度地图API开发地图APP实例-显示百度地图...

场景效果在使用百度地图API之前需要先在百度地图开放平台中申请API_KEY申请API_KEY登录百度开放平台后找到控制台下的应用管理-创建应用依次输入应用名,应用类型选择Android SDK然后下面需要输入发布版SHA1和包名获取应用SHA1首先来到.Android文件所在的位置&#x…

数禾云上数据湖最佳实践

简介: 数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张发展,大数据团队承担的责任也越来越重,实时数仓需求,日志分析需求,即…

程序员只能吃“青春饭”?IT行业年龄焦虑如何破局?

2019 年搜狐科技《中国互联网简史》报告显示,国内近一半的程序员年龄在 25-29 岁之间,其次为 30-34岁,占比 24.6%,35 岁 -39 岁的程序员占比 6.1%,而 40岁 的程序员仅占 1.2%。由于程序员需要长时间面对电脑工作&#…

对容器镜像的思考和讨论

简介: 常言道,startup 有 startup 的好,大厂有大厂的好,那么大厂究竟好在哪呢?拿硅谷老牌大厂们 FLG 来说,如果要问最令人怀念的是什么?Free food 和基础设施(Infrastructure)一定是会上榜的&am…

android 高度上分权重,Android LinearLayout weight权重使用

在日常的开发过程中,我们通常或多或少会使用到LinearLayout的weight属性来进行权重设置,进而达到按比例显示布局的意图通常我们在使用时,会这样使用android:layout_width"match_parent"android:layout_height"match_parent&qu…

实时计算pv/uv Demo

简介: 本文由阿里巴巴高级技术专家邓小勇(静行)分享,主要用 Demo 演示如何通过实时计算 Flink 实时计算pv/uv的场景。 本文由阿里巴巴高级技术专家邓小勇(静行)分享,主要用 Demo 演示如何通过实…

《天际友盟DRP数字风险防护报告(2021年上半年)》重磅发布

今天,数字化正在发生,整个社会正在步入数字化革新。根据市场研究公司IDC的预测,到2023年超过50%的全球经济将由数字经济所驱动。在中国,2021-2024数字化转型总支出将达到1.5万亿美元,年均增长率超过17%。由此可见&…

Android Native crash 处理案例分享

简介: Android Native crash 处理案例分享 1. 背景 目前 mPaas[1] Android使用Crash SDK对闪退进行的处理,CrashSDK 是 Android 平台上一款功能强大的崩溃日志收集 SDK,有着极高的崩溃收集率和完整、全面的崩溃日志信息,生成的日…

Mendix:低代码与无代码的异同点与用例

投稿 | Mendix 编辑 | 宋 慧 头图 | 付费下载于 IC photo 低代码和无代码应用开发都遵循着代码抽象化原则来实现建模的可视化。但基于这两种方法构建的应用在规模和类型却有着根本性的区别。 低代码与无代码的相同之处 低代码和无代码开发平台都无需编写代码就能构建软件应用…