python parser count_8个超实用的Python脚本,收藏备用

v2-6fb700313e08eb62f1e7fac864b868d3_1440w.jpg?source=172ae18b

脚本写的好,下班下得早!程序员的日常工作除了编写程序代码,还不可避免地需要处理相关的测试和验证工作。

例如,访问某个网站一直不通,需要确定此地址是否可访问,服务器返回什么,进而确定问题在于什么。完成这个任务,如果一味希望采用编译型语言来编写这样的代码,实践中的时间和精力是不够的,这个时候就需要发挥脚本的神奇作用!

v2-3d4f13425dd65042ad8ddcfc8ab2c250_b.jpg

好不夸张的说,能否写出高效实用的脚本代码,直接影响着一个程序员的幸福生活[下班时间]。下面整理 8 个实用的 Python 脚本,需要的时候改改直接用,建议收藏!

成长离不开与优秀的同伴共同交流,如果你需要好的学习环境,好的学习资源,这里欢迎每一位热爱Python的小伙伴,Python学习圈

1.解决 linux 下 unzip 乱码的问题。

import os 
import sys 
import zipfile 
import argparse 
s = 'x1b[%d;%dm%sx1b[0m'  
def unzip(path): file = zipfile.ZipFile(path,"r") if args.secret: file.setpassword(args.secret) for name in file.namelist(): try: utf8name=name.decode('gbk') pathname = os.path.dirname(utf8name) except: utf8name=name pathname = os.path.dirname(utf8name) #print s % (1, 92, ' >> extracting:'), utf8name #pathname = os.path.dirname(utf8name) if not os.path.exists(pathname) and pathname != "": os.makedirs(pathname) data = file.read(name) if not os.path.exists(utf8name): try: fo = open(utf8name, "w") fo.write(data) fo.close except: pass file.close() 
def main(argv): ###################################################### # for argparse p = argparse.ArgumentParser(description='解决unzip乱码') p.add_argument('xxx', type=str, nargs='*',  help='命令对象.') p.add_argument('-s', '--secret', action='store',  default=None, help='密码') global args args = p.parse_args(argv[1:]) xxx = args.xxx for path in xxx: if path.endswith('.zip'): if os.path.exists(path): print s % (1, 97, ' ++ unzip:'), path unzip(path) else: print s % (1, 91, ' !! file doesn't exist.'), path else: print s % (1, 91, ' !! file isn't a zip file.'), path 
if __name__ == '__main__': argv = sys.argv main(argv) 

2.统计当前根目录代码行数。

# coding=utf-8 
import os 
import time 
# 设定根目录 
basedir = './' 
filelists = [] 
# 指定想要统计的文件类型 
whitelist = ['cpp', 'h'] 
#遍历文件, 递归遍历文件夹中的所有 
def getFile(basedir): global filelists for parent,dirnames,filenames in os.walk(basedir): for filename in filenames: ext = filename.split('.')[-1] #只统计指定的文件类型,略过一些log和cache文件 if ext in whitelist: filelists.append(os.path.join(parent,filename)) 
#统计一个的行数 
def countLine(fname): count = 0 # 把文件做二进制看待,read. for file_line in open(fname, 'rb').readlines(): if file_line != '' and file_line != 'n': #过滤掉空行 count += 1 print (fname + '----' , count) return count 
if __name__ == '__main__' : startTime = time.clock() getFile(basedir) totalline = 0 for filelist in filelists: totalline = totalline + countLine(filelist) print ('total lines:',totalline) print ('Done! Cost Time: %0.2f second' % (time.clock() - startTime)) 

3.扫描当前目录和所有子目录并显示大小。

import os 
import sys  
try: directory = sys.argv[1]  
except IndexError: sys.exit("Must provide an argument.") 
dir_size = 0  
fsizedicr = {'Bytes': 1, 'Kilobytes': float(1) / 1024, 'Megabytes': float(1) / (1024 * 1024), 'Gigabytes': float(1) / (1024 * 1024 * 1024)} 
for (path, dirs, files) in os.walk(directory):  for file in files:  filename = os.path.join(path, file) dir_size += os.path.getsize(filename)  
fsizeList = [str(round(fsizedicr[key] * dir_size, 2)) + " " + key for key in fsizedicr]  
if dir_size == 0: print ("File Empty")  
else: for units in sorted(fsizeList)[::-1]:  print ("Folder Size: " + units) 

4.将源目录240天以上的所有文件移动到目标目录。

import shutil 
import sys 
import time 
import os 
import argparse 
usage = 'python move_files_over_x_days.py -src [SRC] -dst [DST] -days [DAYS]' 
description = 'Move files from src to dst if they are older than a certain number of days. Default is 240 days' 
args_parser = argparse.ArgumentParser(usage=usage, description=description) 
args_parser.add_argument('-src', '--src', type=str, nargs='?', default='.', help='(OPTIONAL) Directory where files will be moved from. Defaults to current directory') 
args_parser.add_argument('-dst', '--dst', type=str, nargs='?', required=True, help='(REQUIRED) Directory where files will be moved to.') 
args_parser.add_argument('-days', '--days', type=int, nargs='?', default=240, help='(OPTIONAL) Days value specifies the minimum age of files to be moved. Default is 240.') 
args = args_parser.parse_args() 
if args.days < 0: args.days = 0 
src = args.src # 设置源目录 
dst = args.dst # 设置目标目录 
days = args.days # 设置天数 
now = time.time() # 获得当前时间 
if not os.path.exists(dst): os.mkdir(dst) 
for f in os.listdir(src): # 遍历源目录所有文件 if os.stat(f).st_mtime < now - days * 86400: # 判断是否超过240天 if os.path.isfile(f): # 检查是否是文件 shutil.move(f, dst) # 移动文件 

5.扫描脚本目录,并给出不同类型脚本的计数。

import os     
import shutil             
from time import strftime                                                
logsdir="c:logsputtylogs"    
zipdir="c:logsputtylogszipped_logs"                           
zip_program="zip.exe"                                                
for files in os.listdir(logsdir):           if files.endswith(".log"):                                       files1=files+"."+strftime("%Y-%m-%d")+".zip"         os.chdir(logsdir)                                                os.system(zip_program + " " + files1 +" "+ files)    shutil.move(files1, zipdir)   os.remove(files) 

6.下载Leetcode的算法题。

import sys 
import re 
import os 
import argparse 
import requests 
from lxml import html as lxml_html 
try: import html 
except ImportError: import HTMLParser html = HTMLParser.HTMLParser() 
try: import cPickle as pk 
except ImportError: import pickle as pk 
class LeetcodeProblems(object): def get_problems_info(self): leetcode_url = 'Problems - LeetCode' res = requests.get(leetcode_url) if not res.ok: print('request error') sys.exit() cm = res.text cmt = cm.split('tbody>')[-2] indexs = re.findall(r'<td>(d+)</td>', cmt) problem_urls = ['LeetCode - The World's Leading Online Programming Learning Platform' + url  for url in re.findall( r'<a href="(/problems/.+?)"', cmt)] levels = re.findall(r"<td value='d*'>(.+?)</td>", cmt) tinfos = zip(indexs, levels, problem_urls) assert (len(indexs) == len(problem_urls) == len(levels)) infos = [] for info in tinfos: res = requests.get(info[-1]) if not res.ok: print('request error') sys.exit() tree = lxml_html.fromstring(res.text) title = tree.xpath('//meta[@property="og:title"]/@content')[0] description = tree.xpath('//meta[@property="description"]/@content') if not description: description = tree.xpath('//meta[@property="og:description"]/@content')[0] else: description = description[0] description = html.unescape(description.strip()) tags = tree.xpath('//div[@id="tags"]/following::a[@]/text()') infos.append( { 'title': title, 'level': info[1], 'index': int(info[0]), 'description': description, 'tags': tags } ) with open('leecode_problems.pk', 'wb') as g: pk.dump(infos, g) return infos def to_text(self, pm_infos): if self.args.index: key = 'index' elif self.args.title: key = 'title' elif self.args.tag: key = 'tags' elif self.args.level: key = 'level' else: key = 'index' infos = sorted(pm_infos, key=lambda i: i[key]) text_template = '## {index} - {title}n'  '~{level}~ {tags}n'  '{description}n' + 'n' * self.args.line text = '' for info in infos: if self.args.rm_blank: info['description'] = re.sub(r'[nr]+', r'n', info['description']) text += text_template.format(**info) with open('leecode problems.txt', 'w') as g: g.write(text) def run(self): if os.path.exists('leecode_problems.pk') and not self.args.redownload: with open('leecode_problems.pk', 'rb') as f: pm_infos = pk.load(f) else: pm_infos = self.get_problems_info() print('find %s problems.' % len(pm_infos)) self.to_text(pm_infos) 
def handle_args(argv): p = argparse.ArgumentParser(description='extract all leecode problems to location') p.add_argument('--index', action='store_true', help='sort by index') p.add_argument('--level', action='store_true', help='sort by level') p.add_argument('--tag', action='store_true', help='sort by tag') p.add_argument('--title', action='store_true', help='sort by title') p.add_argument('--rm_blank', action='store_true', help='remove blank') p.add_argument('--line', action='store', type=int, default=10, help='blank of two problems') p.add_argument('-r', '--redownload', action='store_true', help='redownload data') args = p.parse_args(argv[1:]) return args 
def main(argv): args = handle_args(argv) x = LeetcodeProblems() x.args = args x.run - 这个网站可出售。 - 最佳的x 来源和相关信息。() 
if __name__ == '__main__': argv = sys.argv main(argv) 

7.将 Markdown 转换为 HTML。

import sys 
import os 
from bs4 import BeautifulSoup 
import markdown 
class MarkdownToHtml: headTag = '<head><meta charset="utf-8" /></head>' def __init__(self,cssFilePath = None): if cssFilePath != None: self.genStyle(cssFilePath) def genStyle(self,cssFilePath): with open(cssFilePath,'r') as f: cssString = f.read() self.headTag = self.headTag[:-7] + '<style type="text/css">{}</style>'.format(cssString) + self.headTag[-7:] def markdownToHtml(self, sourceFilePath, destinationDirectory = None, outputFileName = None): if not destinationDirectory: # 未定义输出目录则将源文件目录(注意要转换为绝对路径)作为输出目录 destinationDirectory = os.path.dirname(os.path.abspath(sourceFilePath)) if not outputFileName: # 未定义输出文件名则沿用输入文件名 outputFileName = os.path.splitext(os.path.basename(sourceFilePath))[0] + '.html' if destinationDirectory[-1] != '/': destinationDirectory += '/' with open(sourceFilePath,'r', encoding='utf8') as f: markdownText = f.read() # 编译出原始 HTML 文本 rawHtml = self.headTag + markdown.markdown(markdownText,output_format='html5') # 格式化 HTML 文本为可读性更强的格式 beautifyHtml = BeautifulSoup(rawHtml,'html5lib').prettify() with open(destinationDirectory + outputFileName, 'w', encoding='utf8') as f: f.write(beautifyHtml) 
if __name__ == "__main__": mth = MarkdownToHtml() # 做一个命令行参数列表的浅拷贝,不包含脚本文件名 argv = sys.argv[1:] # 目前列表 argv 可能包含源文件路径之外的元素(即选项信息) # 程序最后遍历列表 argv 进行编译 markdown 时,列表中的元素必须全部是源文件路径 outputDirectory = None if '-s' in argv: cssArgIndex = argv.index('-s') +1 cssFilePath = argv[cssArgIndex] # 检测样式表文件路径是否有效 if not os.path.isfile(cssFilePath): print('Invalid Path: '+cssFilePath) sys.exit() mth.genStyle(cssFilePath) # pop 顺序不能随意变化 argv.pop(cssArgIndex) argv.pop(cssArgIndex-1) if '-o' in argv: dirArgIndex = argv.index('-o') +1 outputDirectory = argv[dirArgIndex] # 检测输出目录是否有效 if not os.path.isdir(outputDirectory): print('Invalid Directory: ' + outputDirectory) sys.exit() # pop 顺序不能随意变化 argv.pop(dirArgIndex) argv.pop(dirArgIndex-1) # 至此,列表 argv 中的元素均是源文件路径 # 遍历所有源文件路径 for filePath in argv: # 判断文件路径是否有效 if os.path.isfile(filePath): mth.markdownToHtml(filePath, outputDirectory) else: print('Invalid Path: ' + filePath) 

8.文本文件编码检测与转换。

import sys 
import os 
import argparse 
from chardet.universaldetector import UniversalDetector 
parser = argparse.ArgumentParser(description = '文本文件编码检测与转换') 
parser.add_argument('filePaths', nargs = '+', help = '检测或转换的文件路径') 
parser.add_argument('-e', '--encoding', nargs = '?', const = 'UTF-8', help = ''' 
目标编码。支持的编码有: 
ASCII, (Default) UTF-8 (with or without a BOM), UTF-16 (with a BOM), 
UTF-32 (with a BOM), Big5, GB2312/GB18030, EUC-TW, HZ-GB-2312, ISO-2022-CN, EUC-JP, SHIFT_JIS, ISO-2022-JP, 
ISO-2022-KR, KOI8-R, MacCyrillic, IBM855, IBM866, ISO-8859-5, windows-1251, ISO-8859-2, windows-1250, EUC-KR, 
ISO-8859-5, windows-1251, ISO-8859-1, windows-1252, ISO-8859-7, windows-1253, ISO-8859-8, windows-1255, TIS-620 
''') 
parser.add_argument('-o', '--output', help = '输出目录') 
# 解析参数,得到一个 Namespace 对象 
args = parser.parse_args() 
# 输出目录不为空即视为开启转换, 若未指定转换编码,则默认为 UTF-8 
if args.output != None: if not args.encoding: # 默认使用编码 UTF-8 args.encoding = 'UTF-8' # 检测用户提供的输出目录是否有效 if not os.path.isdir(args.output): print('Invalid Directory: ' + args.output) sys.exit() else: if args.output[-1] != '/': args.output += '/' 
# 实例化一个通用检测器 
detector = UniversalDetector() 
print() 
print('Encoding (Confidence)',':','File path') 
for filePath in args.filePaths: # 检测文件路径是否有效,无效则跳过 if not os.path.isfile(filePath): print('Invalid Path: ' + filePath) continue # 重置检测器 detector.reset() # 以二进制模式读取文件 for each in open(filePath, 'rb'): # 检测器读取数据 detector.feed(each) # 若检测完成则跳出循环 if detector.done: break # 关闭检测器 detector.close() # 读取结果 charEncoding = detector.result['encoding'] confidence = detector.result['confidence'] # 打印信息 if charEncoding is None: charEncoding = 'Unknown' confidence = 0.99 print('{} {:>12} : {}'.format(charEncoding.rjust(8), '('+str(confidence*100)+'%)', filePath)) if args.encoding and charEncoding != 'Unknown' and confidence > 0.6: # 若未设置输出目录则覆盖源文件 outputPath = args.output + os.path.basename(filePath) if args.output else filePath with open(filePath, 'r', encoding = charEncoding, errors = 'replace') as f: temp = f.read() with open(outputPath, 'w', encoding = args.encoding, errors = 'replace') as f: f.write(temp) 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/468174.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LCD 设备驱动框架分析及核心结构

Linux 下很多东西都是和结构体相关&#xff0c;举个例子&#xff0c;时钟大家都知道吧&#xff0c;Linux 下对应时钟的东西就有好几个结构体&#xff0c;所以你要是想明白Linux 下那些东西&#xff0c;对结构体要有所了解&#xff0c;LCD 是基础的驱动设备&#xff0c;里面涉及…

kafka 启动_Kafka管理工具Kafka Manager

Kafka作为分布式消息系统以其轻量级、可扩展、高通吐等特点而得到广泛应用&#xff0c;最近在项目中用Kafka作为中间件进行数据交互。为了监控Kafka的运行情况&#xff0c;在网上找了个开源的Kafka监控工具Kafka-manager对Kafka集群监控。为什么选用Kafka-manager而不是KafkaOf…

Linux背后的思想

01Linus TorvaldsLinus Torvalds两次改变了技术&#xff0c;第一次是Linux内核&#xff0c;它帮助互联网的发展&#xff1b;第二次是Git&#xff0c;全球开发者使用的源代码管理系统。在一次TED的采访中&#xff0c;Torvalds以极其开放的态度讨论了他独特的工作方式和性格特点。…

linux执行sh提示非标准环境,Linux执行.sh文件时提示No such file or directory该怎么办(三种解决办法)...

先给大家看下问题描述&#xff0c;下图是我在运行时出现错误截图&#xff1a;解决方法分析原因&#xff0c;可能因为我平台迁移碰到权限问题我们来进行权限转换1)在Windows下转换&#xff1a;利用一些编辑器如UltraEdit或EditPlus等工具先将脚本编码转换&#xff0c;再放到Linu…

你应该知道Linux内核softirq

说起这个softirq &#xff0c;很多人还是一头雾水&#xff0c;觉得这个是什么东西&#xff0c;跟tasklets 和 workqueue有什么不同。每次谈到这个&#xff0c;很多人&#xff0c;包括我&#xff0c;都是有点紧张&#xff0c;特别是面试的时候&#xff0c;因为你一旦说错了什么&…

linux 查看磁盘分区,文件系统,使用情况的命令和相关工具介绍,Linux 查看磁盘分区、文件系统、使用情况的命令和相关工具介绍...

Linux 查看磁盘分区、文件系统、使用情况的命令和相关工具介绍作者&#xff1a;北南南北来自&#xff1a;http://doc.xuehai.net提要&#xff1a;Linux 磁盘分区表、文件系统的查看、统计的工具很多&#xff0c;有些工具是多功能的&#xff0c;不仅仅是查看磁盘的分区表&#x…

C语言,链表

定义一个链表的节点之前说到树&#xff0c;里面也有一个节点&#xff0c;节点是用来存数据的&#xff0c;不管是树还是其他什么数据结构&#xff0c;最终的目的都是用来处理数据的&#xff0c;所以节点里面包含两个东西&#xff0c;一个是指针&#xff0c;指针可以指向其他位置…

linux hosts文件如何修改_3 种方法教你在 Linux 中修改打开文件数量限制

当文件被打开访问时&#xff0c;操作系统临时分配一个名为文件句柄的数字。主内存的一个特殊区域是为文件句柄预留的&#xff0c;这个区域的大小决定了一次可以打开多少个文件。Linux上的进程受到许多限制&#xff0c;这些限制也阻碍它们正确地执行&#xff0c;而且每个进程都有…

10个高效Linux技巧及Vim命令对比

写在前面&#xff1a;今天没来得及唱歌~一个多星期没更新了&#xff0c;今天记录下我自己用得比较多的Linux命令行快捷键&#xff0c;小伙伴们别嘲笑我哈~不知道为啥&#xff0c;每次发文就有好几个小伙伴取消关注离开之前&#xff0c;可以告诉我为什么吗~~Vim的很多命令和功能…

python 微信机器人_Python 微信机器人

一、写在前边的话 如何做一个自动回复的微信机器人&#xff1f;机器人的功能有&#xff0c;自动加好友&#xff0c;关键字回复&#xff0c;等等&#xff0c;它甚至可以成为你的私人管家&#xff0c;只要你的代码到位。今天&#xff0c;主要讲解下&#xff0c;微信机器人-图灵版…

linux 控制台存储,技术|使用 Stratis 从命令行管理 Linux 存储

通过从命令行运行它&#xff0c;得到这个易于使用的 Linux 存储工具的主要用途。正如本系列的第一部分和第二部分中所讨论的&#xff0c;Stratis 是一个具有与 ZFS 和 Btrfs 相似功能的卷管理文件系统。在本文中&#xff0c;我们将介绍如何在命令行上使用 Stratis。安装 Strati…

你想要的江湖,可能不在这时候笑傲

昨天看知识星球看到的一个码农的经历&#xff0c;然后我看了&#xff0c;也回答了&#xff0c;想把回答分享给大家&#xff0c;我觉得这应该是很多人都会遇到的。困扰的问题潜水这么久&#xff0c;有一个问题想问一下&#xff0c;帅张。可能有点啰嗦。就是在一家公司做开发&…

mysql binlog 备份_MySQL的binlog知识梳理

1、binlog概念:binlog是一个二进制格式的文件&#xff0c;用于记录“修改数据或可能引起数据变更”的SQL语句(查询的SQL不会记录)。2、binlog功能:(1)恢复: 利用binlog日志恢复数据库数据。(2)复制: 主从架构通过binlog同步数据。(3)审计: 可以用binlog中的信息进行审计&#x…

你需要知道的Linux 系统下外设时钟管理

嵌入式系统一般要求低功耗&#xff0c;出于这个原因&#xff0c;一般只把需要使用到的外设时钟源打开&#xff0c;其他不需要使用到的模块&#xff0c;则默认关闭它们。LCD 模块&#xff0c;上电时候默认情况是关闭的&#xff0c;所以&#xff0c;要想使用 LCD 模块&#xff0c…

千万级大表如何更快速的创建索引_分享一份生产环境mysql数据库大表归档方案,值得收藏...

概述分享下最近做的一个mysql大表归档方案&#xff0c;仅供参考。整体思路一、明确哪些大表需做归档1、数据库表概要信息统计SELECTt1.table_schema,t1.table_name,ENGINE,table_rows,CAST( data_length / 1024.0 / 1024.0 AS DECIMAL ( 10, 2 ) ) data_size(M),CAST( index_le…

载波和LoRa

最近lora这个很火&#xff0c;火的原因是因为国家出了一个政策&#xff0c;这个政策呢&#xff0c;有很多人解读了&#xff0c;我身边也有好几个朋友做这方面的&#xff0c;然后我今天找他们聊了下&#xff0c;得到的结果是&#xff0c;这个政策肯定是或多或少对现在的行情和市…

imread函数 matlab_【MATLAB图像处理学习】1.读取和显示图片

CHAPTER2 图像处理的基础函数【使用的教材&#xff1a;冈萨雷斯 数字图像处理MATLAB(Digital image processing with Matlab】【原书图片下载地址&#xff1a;点这里】先介绍三个MATLAB中图片基本操作&#xff1a;imread imshow imwrite2.2读取图片imread(filename)imread是读取…

一场不能只看结果的较量

林书豪的比赛看得真的很舒服&#xff0c;虽然输掉了比赛&#xff0c;但是看到两边不断改变打法&#xff0c;不断试图侵犯对方的夺取分数&#xff0c;就好比看了一场战争电影&#xff0c;过程酣畅淋漓&#xff0c;结果差点令人满意。第一节广东的双后卫给北京制造了非常多的麻烦…

嘻哈帝国第一季/全集Empire迅雷下载

英文译名Empire&#xff0c;第1季(2015-01-08)FOX.本季看点&#xff1a;《嘻哈帝国》卢西奥斯莱恩是一名超级音乐明星兼Empire娱乐公司的创始人&#xff0c;故事讲述了他如何在困境和失败中运营公司的故事。拥有庞大帝国的老板得了绝症&#xff0c;于是他决定培养继承人&#x…

cassandra可视化工具_一位数据科学家的私房工具清单

作为一位万人敬仰的数据科学家&#xff0c;不但需要培育一棵参天技能树&#xff0c;私人武器库里没有一票玩得转的大火力工具也是没法在江湖中呼风唤雨的。近日北卡来罗纳大学CTO&#xff0c;一位数据科学家Jefferson Heard分享了多年来收集沉淀的数据分析工具集&#xff1a;处…