HDFS查看文件的前几行-后几行-行数

随机返回指定行数的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5

返回前几行的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100

返回最后几行的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail -5

查看文本行数
hadoop fs -cat hdfs://172.16.0.226:8020/test/sys_dict/sysdict_case_type.csv |wc -l

查看文件大小(单位byte)
hadoop fs -du hdfs://172.16.0.226:8020/test/sys_dict/*

hadoop fs -count hdfs://172.16.0.226:8020/test/sys_dict/*

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/570711.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

psql: FATAL the database system is in recovery解决

报错: FATAL: the database system is in recovery mode 解决思路: 在hawq master节点 1、执行hawq state ,提示 database is down 2、查看hawq master进程: ps aux | grep postgresql ,发现master进程不在 3、查…

软件工具组功能逆向工程设想

背景:昨天小智公布了软件工具组现在的几个项目组,大概罗列了现阶段软件工具组的主要职能,总结起来说就是将现有设计方案生成渲染图、全景图、视频、CAD等,看完所有这些功能我不禁设想了一下,如果软件工具组的功能逆向工…

FAIL : SSHException: Incompatible ssh peer (no acceptable kex algorithm)

问题描述: 在安装greenplum,执行gpssh-exkeys过程中抛出异常 Incompatible ssh peer (no acceptable kex algorithm) 原因: 由于ssh 6.7以上屏蔽不安全算法 解决: 在/etc/ssh/sshd_config最后加上 KexAlgorithms curve25519…

集群监控之Ganglia的部署

转载地址:https://www.slothparadise.com/how-to-install-ganglia-on-centos-7/ 找了一堆文章,全都误导了,这篇正解。 总结步骤如下: 1、server端 : yum install -y ganglia-gmetad ganglia-web ganglia-gmond rrd…

期货大赛项目|九,fileinput插件的应用

引入JS和CSS bundles.Add(new ScriptBundle("~/bundles/fileinputJs").Include( "~/Content/vendors/bootstrap-fileinput-master/js/fileinput.min.js", "~/Content/vendors/bootstrap-fileinput-master/js/locales/zh.js", "~/Scripts/fi…

redis见解

http://blog.csdn.net/zhiguozhu/article/details/50517527Redis原生session与redis中的session区别原生session在服务器上是以文件的形式存储的,所以其有一些磁盘io上的缺点 1) 有哪几种类型的数据结构String——字符串  value 不仅可以是 String&…

快速解读GC日志

文章转载自:http://blog.csdn.net/renfufei/article/details/49230943 本文是 Plumbr 发行的 Java垃圾收集指南 的部分内容。文中将介绍GC日志的输出格式, 以及如何解读GC日志, 从中提取有用的信息。我们通过 -XX:UseSerialGC 选项,指定JVM使用串行垃圾收集器, 并使…

HBase meta元数据损坏导致hbase master初始化失败

故障起因: 跑kylin任务,过程出错,异常信息:Direct buffer memory, java.io.IOException: java.lang.OutOfMemoryError: Direct buffer memoryat org.apache.hadoop.hbase.regionserver.HRegion$RegionScannerImpl.ha…

HBase shell执行批量脚本

场景描述: HBase namespace中有大量无用的小表,占用了过多的block,需要批量删除,了解了一下有两种方式: 1、使用通配符 用drop命令可以删除表。在删除一个表之前必须先将其禁用。 hbase(main):018:0> disable em…

时间序列分析综述

一.基本分类 1.单变量的传统时间序列分析 2.单变量的随机时间序列分析 3.多变量的时间序列分析 建立在回归基础上的两变量序列分析 建立在AR基础上的多变量序列分析 4.截面时序数据结合的分析 转载于:https://www.cnblogs.com/xyp666/p/9220667.html

Ubuntu开启允许root用户远程登录

SSH服务器,可以通过SSH协议来访问远程服务器,代替telnet和ftp。但是ubuntu默认是不启用root用户也不允许root远程登录的。所以需要先启用root用户 1、启用root用户: 第一步 sudo passwd root //修改密码 第二步: vim /usr…

补码(为什么按位取反再加一):告诉你一个其实很简单的问题(转自醍醐灌顶)...

首先,阅读这篇文章的你,肯定是一个在网上已经纠结了很久的读者,因为你查阅了所有你能查到的资料,然后他们都会很耐心的告诉你,补码:就是按位取反,然后加一。准确无误,毫无破绽。但是…

Kettle报错:Entry to update with following key could not be found

问题描述: 一个转换对一个表进行插入操作,第一次查询然后插入数据,但是有些字段需要特殊处理下,也就是要先插入主要的信息,然后针对这个记录根据刚才生成的id进行更新操作,在开发环境上测试没问题&#xf…

IntrospectorCleanupListener作用

https://www.cnblogs.com/qiankun-site/p/5886673.html 1、此监听器主要用于解决java.beans.Introspector导致的内存泄漏的问题 2、此监听器应该配置在web.xml中与Spring相关监听器中的第一个位置(也要在ContextLoaderListener的前面)3、JDK中的java.beans.Introspector类的用途…

CentOS安装Oracle12C

文章转载: https://www.howtoforge.com/tutorial/how-to-install-oracle-database-12c-on-centos-7/

7-2 幼儿园数学题(29 分)

我系渣渣辉,我在梦工厂等你,是兄弟就来砍我啊!! 刚上幼儿园的渣渣辉迷上了一款名叫贪玩蓝月的新游戏,由于过于沉迷游戏,上课听讲的效率直线下降。 今天,他的数学老师给他布置了一道求解二元一次…

PLSQL中文显示乱码(问号)

1、输入 select * from V$NLS_PARAMETERS 查看第一行value值是否为简体中文 simplified chinese 实际显示为:AMERICAN 2、设置本地环境变量 :NLS_LANG NLS_LANGAMERICAN_AMERICA.ZHS16GBK NLS_LANG的值为三个划线值拼接而成。 3、重新打开PLSQL…

python2精确除法

python2和python3除法的最大区别: python2: print 500/1000 python2结果:取整数部分,小数并没有保留 0Process finished with exit code 0 python3: print 500/1000 python3结果:得到真实结果,小数保留 0.5Process finished with exit code 0 那么,如果python2想保留小数部分,要…

vim 中代码的折叠和打开

文章转载自:http://liufabin66688.blog.163.com/blog/static/13968548200810140486304/ 仅用于个人学习备查收藏。 在查看代码的时候,如果代码十分冗长,尤其是c/c系列的时候, 代码结构比较让人难以理清,主要是各种注…

WGCNA | weighted correlation network analysis

早就接触过这个包了,只是一直畏惧,以为很复杂,也没有应用场景,所以认识很肤浅。 现在有应用场景了,我自己开发了一个幼稚的版本,发现了很多需求,后来想起了WGCNA似乎部分解决了我的问题&#xf…