Linux shell逐行读取文件的方法-比较

From: http://www.embeddedlinux.org.cn/html/jishuzixun/201211/19-2387.html

  在linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率。

方法1:while循环中执行效率最高,最常用的方法。
 
function while_read_LINE_bottm(){
 While read LINE
 do
echo $LINE
done   < $FILENAME
}
 
         注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。
 
方法2 : 重定向法;管道法: cat $FILENAME | while read LINE
 
Function While_read_LINE(){
 cat $FILENAME | while read LINE
 do
echo $LINE
done
}
          注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。
 
方法3: 文件描述符法
 
Function while_read_line_fd(){
Exec 3<&0
Exec 0<$FILENAME
While read LINE
Do
 Echo $LINE
 Exec 0<&<3
}
 
         注释: 这种方法分2步骤,第一,通过将所有内容重定向到文件描述符3来关闭文件描述符0.为此我们用了语法Exec 3<&0 。第二部将输入文件放送到文件描述符0,即标准输入。
  
方法4    for  循环。
 
function  for_in_file(){
For  i  in  `cat $FILENAME`
do
echo $i
done
}
           注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。
 
 
     对各个方法进行测试,看那方法的执行效率最高。
 
           首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。
 
#!/bin/bash
FILENAME="$1"
TIMEFILE="/tmp/loopfile.out" > $TIMEFILE
SCRIPT=$(basename $0)
 
function usage(){
echo -e "\nUSAGE: $SCRIPT file \n"
 
exit 1
}
 
function while_read_bottm(){
 
while read LINE
do
echo $LINE
 
done < $FILENAME
 
}
 
function while_read_line(){
 
cat $FILENAME | while read LINE
do
echo $LINE
done
 
}
 
 function while_read_line_fd(){
 
exec 3<&0
exec 0< $FILENAME
while read LINE
do
 echo $LINE
done
 exec 0<&3
}
 
function for_in_file(){
for i in   `cat $FILENAME`
do
echo $i
done
}
 
if [ $# -lt 1 ] ; then
usage
fi
 echo -e " \n starting file processing of each method\n"
 echo -e "method 1:"
 echo -e "function while_read_bottm"
 time while_read_bottm >> $TIMEFILE
 
echo -e "\n"
 
echo -e "method 2:"
echo -e "function while_read_line "
time while_read_line >> $TIMEFILE
 
echo -e "\n"
echo -e "method 3:"
echo "function while_read_line_fd"
time while_read_line_fd >>$TIMEFILE
 
echo -e "\n"
echo -e "method 4:"
echo -e "function   for_in_file"
time   for_in_file >> $TIMEFILE
 
     执行脚本后: [root@localhost shell]# ./while /scripts/bigfile
脚本输出内容:
method 1:
function while_read_bottm
 
real    0m5.689s
user    0m3.399s
sys     0m1.588s
 
 
method 2:
function while_read_line
 
real    0m11.612s
user    0m4.031s
sys     0m4.956s
 
 
method 3:
function while_read_line_fd
 
real    0m5.853s
user    0m3.536s
sys     0m1.469s
 
 
method 4:
function   for_in_file
 
real    0m5.153s
user    0m3.335s
sys     0m1.593s
 
 
下面我们对各个方法按照速度进行排序。
real    0m5.153s    method 4 (for 循环法)
real    0m5.689s    method 1   (while 釜底抽薪法)
real    0m5.853s    method 3    (标识符法)
real    0m11.612s   method 2     (管道法)
 
 由此可见在各个方法中,for语句效率最高,而在while循环中读写文件时,
while read LINE
do
echo $LINE
 
done < $FILENAME

方式执行效率最高。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/405345.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RMSE、MAPE、准确率、召回率、F1、ROC、AUC总结

RMSE(root mean square error)均方根误差 单纯统计误差的值。 MAPE(mean absolute percentage error) 平均百分比误差 存在一个和原始数据相比较的过程。 准确率&#xff08;precision&#xff09;P&#xff1a; PTP/(TPFP) TP(true positive) FP(false positive) P是代表预…

移植PPP2.4.5到ARM上实现拨号

&#xfeff;&#xfeff;1、内核编译的时候&#xff0c;看到以下关于PPP的全部要选择如下&#xff1a; Device Drivers--->Network device support ---> │ │ <*> PPP (point-to-point protocol) support │ │ │ │ [*] …

hdu 5317 RGCDQ (2015多校第三场第2题)素数打表+前缀和相减求后缀(DP)

题目链接&#xff1a;http://acm.hdu.edu.cn/showproblem.php?pid5317 题意&#xff1a;F(x) 表示x的不同质因子的个数结果是求L&#xff0c;R区间中最大的gcd( F(i) , F(j) )&#xff0c;i、j在L&#xff0c;R区间内。 思路&#xff1a;因为2<L < R<1000000&#xf…

[react] 举例说明React的插槽有哪些运用场景

[react] 举例说明React的插槽有哪些运用场景 我觉得这里的插槽&#xff0c;指的应该是组合组件&#xff0c;而不是portal(传送门)&#xff0c;因为对比vue中的插槽&#xff0c;只是父组件在子组件中间加入一系列的内容&#xff0c;然后子组件可以自己判断显示逻辑&#xff0c;…

C#中的事件和委托(续)

引言 如果你看过了 C#中的委托和事件 一文&#xff0c;我想你对委托和事件已经有了一个基本的认识。但那些远不是委托和事件的全部内容&#xff0c;还有很多的地方没有涉及。本文将讨论委托和事件一些更为细节的问题&#xff0c;包括一些大家常问到的问题&#xff0c;以及事件访…

linux中追踪函数backtrace调用堆栈

From: http://www.embeddedlinux.org.cn/html/jishuzixun/201211/19-2388.html 一般察看函数运行时堆栈的方法是使用GDB之类的外部调试器,但是,有些时候为了分析程序的BUG,(主要针对长时间运行程序的分析),在程序出错时打印出函数的调用堆栈是非常有用的。 在头文件"exe…

MATLAB 中RMSE和MAPE的计算方法

RMSE&#xff1a;均方根误差 matlab计算方法&#xff1a; rmse sqrt(mean((YPred-Obverval).^2)); MAPE&#xff1a;平均百分比误差 matlab计算方法&#xff1a; meap mean(abs((observed - predicted)./observed))*100;

Linux SPI总线和设备驱动架构

http://blog.csdn.net/droidphone/article/details/24353293

[react] React15和16别支持IE几以上?

[react] React15和16别支持IE几以上&#xff1f; React15 版本不直接支持IE8 浏览器的&#xff0c;官方文档中说React16 中依赖于集合类型Map 和 Set 因此不再支持IE 11 以下的浏览器&#xff0c;如果想要支持&#xff0c;需要使用全局的 polyfill 个人简介 我是歌谣&#x…

ubuntu11.04正式版下载地址

ubuntu11.04正式版下载地址&#xff1a; 下載點列表&#xff1a; http://ftp.cs.pu.edu.tw/Linux/Ubuntu/ubuntu-cd/11.04/ubuntu-11.04-desktop-amd64.iso http://ftp.cse.yzu.edu.tw/pub/Linux/Ubuntu/ubuntu-cd/11.04/ubuntu-11.04-desktop-amd64.iso http://ftp.cs.pu.edu.…

hdu 3074 线段树 OR 树状数组

比较基础的线段树&#xff0c;1A。 线段树&#xff1a; 1 #include <iostream>2 #include <cstring>3 #include <cstdio>4 using namespace std;5 6 typedef long long ll;7 const int N 50001;8 const int MOD 1000000007;9 int a[N];10 11 struct Node12…

掌握shell编程中数组的常见用法及示例

From: http://www.embeddedlinux.org.cn/html/jishuzixun/201211/19-2386.html 给大家分享下数组的用法小例子&#xff0c;希望能给大家一点帮助。其实SHELL的数组很简单&#xff0c;好用。我们学习都应该遵循简单、易用的原则。 shell编程中数组的简单用法及示例 新版本的B…

QT tr与Qstring的差别

在论坛中漂&#xff0c;经常遇到有人遇到tr相关的问题。用tr的有两类人&#xff1a; (1)因为发现中文老出问题&#xff0c;然后搜索&#xff0c;发现很多人用tr&#xff0c;于是他也开始用tr(2)另一类人&#xff0c;确实是出于国际化的需要&#xff0c;将需要在界面上显示的文…

printf的扩展

#define printf(format , ...) printf("FILE[%s] LINE[%d]" format , __FILE__ , __LINE__ , ##__VA_ARGS__)这个宏应用好几个技巧&#xff1a;1、使用printf宏&#xff0c;和原来的printf相同。这样我们不需要修改源码&#xff0c;直接替换原来的printf的函数。2、…

[react] contextType是什么?它有什么用?

[react] contextType是什么&#xff1f;它有什么用&#xff1f; 定义当前组件要使用哪一个context const MyContext React.createContext(defaultValue);class MyClass extends React.Component {componentDidMount() {let value this.context;/* perform a side-effect at…

shell 基本知识

shell--脚本基础知识 ****shell 脚本基础知识**** 一、基本脚本编译 知识内容&#xff1a; # 构建脚本 # 将命令串联起来 # 存储变量 # 数学计算 # 重定向输出 # 检查代码shell不像高级语言需要编译后执行&#xff0c;而是直接处理每一条命令&#xff0c;可以将多条命令连接起来…

Lombok(1.14.8) - @Log

Log Logs&#xff0c;生成一个日志对象。 package com.huey.lombok;import lombok.extern.java.Log;Log public class LogExample {public static void main(String[] args) {log.info("This is an info message."); }} 除了&#xff0c;Log还有其他annotatio…

让LwIP拥有PING其他设备的能力

LwIP是个很不错的协议栈&#xff0c;但是由于其体积过于小巧&#xff0c;使其只能支持ICMP的ECHO类型。 因为在“icmp.c”中的“void icmp_input(struct pbuf *p, struct netif *inp)”函数里有个很长的switch case语句&#xff08;大约80行的位置&#xff09;。 而这个语句只…

[react] 在React怎么使用Context?

[react] 在React怎么使用Context&#xff1f; context : Context提供了一种方式&#xff0c;能够让数据在组件树中传递&#xff0c;而不必一级一级手动传递。 API : createContext(defaultValue?)。 使用方法&#xff1a; 首先要引入createContext import React, { Component…

H.264详解

From: http://netliuwei.blog.163.com/blog/static/93642191201111721931583/ H.264 H.264&#xff0c;同时也是MPEG-4第十部分&#xff0c;是由ITU-T视频编码专家组&#xff08;VCEG&#xff09;和ISO/IEC动态图像专家组&#xff08;MPEG&#xff09;联合组成的联合视频组&…