[MaxCompute MapReduce实践]通过简单瘦身,解决Dataworks 10M文件限制问题

用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。

解决方案:

第一步:大于10M的resources通过MaxCompute CLI客户端上传,

客户端下载地址:https://help.aliyun.com/document_detail/27971.html

客户端配置AK、EndPoint:https://help.aliyun.com/document_detail/27804.html

 

add jar C:\test_mr\test_mr.jar -f;//添加资源

 

第二步:目前通过MaxCompute CLI上传的资源,在Dataworks左侧资源列表是找不到的,只能通过list resources查看确认资源;

 

list resources;//查看资源

 

第三步:瘦身Jar,因为Dataworks执行MR作业的时候,一定要本地执行,所以保留个main就可以;

 

jar -resources test_mr.jar,test_ab.jar 
//resources在客户端注册后直接引用-classpath test_mr.jar  
//瘦身策略:在gateway上提交要有main和相关的mapper和reducer,
额外的三方依赖可以不需要,其他都可以放到resourcescom.aliyun.odps.examples.mr.test_mr wc_in wc_out;


通过上述方法,我们可以在Dataworks上跑大于10M的MR作业。

 

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/521099.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“熬夜导致秃头”,因果关系推断说这话有问题!

扫码了解2019中国大数据技术大会(https://t.csdnimg.cn/7yMh )更多详情。“因果”,顾名思义,即“原因与结果”。“推理”则指“根据某个事件推导其他事件,即经过推测和推断得出结论的过程”。换句话说,就是…

java cookbook 3_CookBook/Java核心/3-Java反射.md at master · zhgdbut/CookBook · GitHub

#Java核心(三)反射Java反射给我们提供了在运行时检查甚至修改应用行为的机制。 反射是java高级的核心技术,所有有经验的程序员都应该理解。通过反射机制,我们可以在运行时检视 类、接口、枚举,获得他们的结构、方法以及属性信息,即…

大数据可视化html模板开源_8个可靠好用的开源数据可视化工具推荐

数据可视化在数据科学领域中发挥着重要的作用。在不清楚数据的情况下,要监视和调整数据以使其按照应有的方式执行并不容易。这就是数据可视化发挥作用的地方,它把收集到的数据放到一个可视的上下文中,使数据更容易找出模式、跟踪趋势等。但是…

MaxCompute - ODPS重装上阵 第五弹 - SELECT TRANSFORM

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高…

RabbitMQ 最新版本 下载、部署 _rpm版本(CentOS7环境)

文章目录1. 安装rabbitmq前要准备的基础环境2. wget 远程下载安装包2. rpm安装软件3. 编辑配置文件修改密码4. 启动RabbitMQ5. 查看RabbitMQ是否启动6. 安装RabbitMQ 管控台7. 浏览器访问:8. 登录1. 安装rabbitmq前要准备的基础环境 yum install build-essential o…

MaxCompute存储力持续升级,每年节省不止一个亿

数据是开启全新洞察和机器智能创新的基础,拥有高性能、稳定、可扩展性强的存储能力和充沛的计算力,才能全面释放数据价值。 阿里巴巴大数据计算平台MaxCompute,作为阿里巴巴统一的计算平台,支持了整个阿里巴巴集团内部几乎99%的数…

freemarker java类_在freemarker使用java类方法

1 要想使用Freemarker支持的自定义方法,需要实现freemarker.template.TemplateMethodModel接口或 TemplateMethodModelEx接口参考示例如下:java 代码:public class Object2HashMap implements TemplateMethodModelEx {private static final L…

【10.23头条】阿里云存储负责人吴结生:安全可靠是云存储立身之本, 智能技术将激活存储技术新变革...

戳蓝字“CSDN云计算”关注我们哦!作者 | 刘丹责编 | 阿秃人类以日新月异的速度刷新着科技的成果,其中存储的发展历史尤其悠久,堪称万年进化史。自文明诞生以来,我们就一直在寻求能够更有效存储信息的方式,从4万年前的…

专访20年技术老兵云郎:16年峰回路,每一步都是更好的沉淀

从技术研发到产品经理 3次峰回路转 这条路,他走了16年 一个懂技术的产品 更有底气和研发“叫板” 一个具备产品思维的技术 更明白未来的方向 张良模,花名云郎。1997年入行做通信软件研发;8年后转型IT行业,曾任Oracle(甲…

子网规划与组网实验_【干货】从0到1,“大型WLAN组网”基础知识分享~

点击蓝字 关注我们 目前,大多数企业办公环境同时使用有线和无线网络来支撑业务。办公区在提供有线网口的同时,也采用全Wi-Fi覆盖,办公环境更为开放和智能。未来,企业云桌面办公、智真会议、4K视频等大带宽业务将从有线网络迁移至无…

搭建集群 RabbitMQ SHELL脚本实战_03

接上一篇: (企业级) 搭建集群RabbitMQ 快速下载、安装、配置、部署_02 文章目录一、shell脚本说明1. 选择脚本的原因2. 脚本总览二、脚本实战2.1. 工具依赖包2.2. wget 远程下载安装包2.3. rpm安装软件2.4. 编辑配置文件修改密码2.5. 启动RabbitMQ2.6. 查看RabbitMQ…

这是一段关乎你的代码:你的未来 我们正在参与

温暖小视频 ~ 让2980个孩子回家团圆 “十五年了,只有在路上,我才感觉我是一个父亲。” 2015年初电影《失孤》热映,一辆摩托车、一张旗子、一个背包,一个父亲15年走遍大江南北寻找被拐卖儿子的故事,戳动了很多人的心弦…

java 反射类 实例化_java-如何在Android上通过反射实例化成员类

我有一个保存/加载框架,该框架应该保存任意对象图.这包括非静态嵌套类的实例.嵌套类require为其创建它们的父类的实例所拥有,并且嵌套类使用合成字段知道它属于哪个实例.作为一个简单的例子,我介绍这个类:public class Foo implements Savable {private class Bar i…

欧洲为何没有牛逼的互联网公司

戳蓝字“CSDN云计算”关注我们哦!作者 | 挖数责编 | 阿秃截至2018年底,全球市值最大的21家互联网科技公司里边,美国有12家,中国有9家,没有一家欧洲公司。在国内BAT搅动风云,美国亚马逊的贝索斯坐上全球首富…

混合云存储开启企业上云新路径--阿里云混合云备份容灾方案发布

当前,数据已经成为了企业的核心资产。而如果数据中心发生故障不仅会给企业带来巨大损失,甚至会直接迫使企业走向倒闭。对于企业而言,每一字节业务数据的丢失都是一场重大的灾难!那么,如何保证企业的核心数据资产不丢失…

java导出pdf_一张PDF了解JDK11 GC调优秘籍-附PDF下载

简介JDK11相比JDK10,添加了一个新的Source-File Mode,可以直接通过java来运行单个java源文件,而不需要进行编译。同时还提供了新的HTTP API,支持响应性stream。当然上面的都不是重点,重点的是JDK11是一个LTS版本&#…

RabbitMQ 普通集群配置_04

接上一篇:(企业级) 搭建集群 RabbitMQ SHELL脚本实战_03 文章目录RabbiMQ简介RabbiMQ模式RabbiMQ特点环境部署总览一、基础配置及RabbitMQ 安装1. 配置hosts文件2. 安装配置RabbitMQ3. 思路分析二、RabiitMQ 集群配置同步2.1. 拷贝erlang.cookie2.2. 同步.erlang.co…

java 百度api接口开发_百度熊掌号使用Java工具类对接API推送接口进行文章推送实例详解...

对于java程序员来说,自己运维的百度熊掌号当然得使用java的方式去每天推送文章了。目前,百度推出了百度熊掌号服务。旨在更好的为站长服务。那么百度熊掌号如何通过推送API接口实现自动文章推送呢?第一步:注册注册百度熊掌号&…

RabbitMQ 集群搭建_02_rpm版本(linux环境)

接上一篇:(企业级) CentOS7 安装 RabbitMQ最新版本 下载、安装、配置、运行、部署_01 文章目录一、SHELL脚本说明1. 选择脚本的原因2. 脚本总览二、脚本实战2.1. 安装rabbitmq前要准备的基础环境2.2. wget 远程下载安装包2.3. rpm安装软件2.4. 编辑配置文件修改密码…

力荐联邦学习系统,据说英伟达Clara“上架”新进展!

戳蓝字“CSDN云计算”关注我们哦!作者 | 晶少责编 | 阿秃这是晶少本年度第二次面访Kimberly Powell,这位英伟达医疗领域的美女副总裁。除了一贯的nice之外,更重要的一点,在深圳MICCAI 2019期间,英伟达医疗团队还带来了…