python门户网站文件爬取并显示

广西南宁政府门面网站

import requests
import os
import io
import numpy as np
from concurrent.futures import ThreadPoolExecutor
from bs4 import BeautifulSoup
import time
import pdfplumber
import pandas as pd
from docx import Document
import docx
import win32com.client as win32
import zipfile
import xlrd
headers=[{'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'},{'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76'}
]
temp=''
with open('D:/t.txt','r',encoding='utf-8') as f:temp=f.read()
contents=[]
def get_pdf_content(url,title):response = requests.get(url)pdf_content = io.BytesIO(response.content)with open(f'D:/{title}', 'wb') as f:f.write(pdf_content.read())print(f'D:/{title}')if 'D:/308 南宁市卫生和计划生育委员会2018年部门预算及“三公”经费预算/308南宁市卫生和计划生育委员会及所属单位2018年部门预算及“三公”经费预算公开.pdf'==f'D:/{title}':return ''texts=[]with pdfplumber.open(f'D:/{title}') as pdf:for page in pdf.pages:text = page.extract_text()#提取文本texts.append(text)return ' '.join(texts)
def doc_to_docx(title):word = win32.Dispatch("Word.Application")doc = word.Documents.Open('D:\\'+title)doc.SaveAs('D:\\'+title+'x')doc.Close()word.Quit()
def get_doc_content(url,title):response = requests.get(url)pdf_content = io.BytesIO(response.content)with open(f'D:/{title}', 'wb') as f:f.write(pdf_content.read())print(f'D:/{title}')#doc_to_docx(title)texts=[]if f'D:/{title}'=='D:/市工信委2017年部门预算及“三公”经费公开.docx' or 'D:/2017年部门预算公开-政府办公厅.docx'==f'D:/{title}' or 'D:/政务办2017年部门预算及“三公”经费公开 (1).doc'==f'D:/{title}' or 'D:/南宁市茅桥地区人民检察院2018年部门预算及“三公”经费预算.doc'==f'D:/{title}' or 'D:/017  南宁市审计局2018年部门预算及“三公”经费预算.doc'==f'D:/{title}' or 'D:/南宁市人大常委会办公厅2018年部门预算及“三公”经费预算 (1).doc'==f'D:/{title}' or 'D:/2017年市民宗委预算公开 (1).doc'==f'D:/{title}' or 'D:/预算 名词解释.docx'==f'D:/{title}' or 'D:/南宁市编办2017年部门预算公开名词解释.docx'==f'D:/{title}' or 'D:/南宁市编办2016年决算收支增减变化情况说明.docx'==f'D:/{title}':return ''app = win32.DispatchEx("Word.Application")doc = app.Documents.Open(f'D:/{title}')content = doc.Content.Textapp.Quit()return content
def get_xls_content(url,title):response = requests.get(url)pdf_content = io.BytesIO(response.content)with open(f'D:/{title}', 'wb') as f:f.write(pdf_content.read())print(f'D:/{title}')try:  # 尝试打开文件  with open(f'D:/{title}', 'rb') as file:passexcept Exception as e:  return ''if f'D:/{title}'=='D:/附件—市发展改革委2018年预算公开附件.xlsx' or f'D:/{title}'=='D:/2017预算公开附件-市人大.xls' or 'D:/南宁市科协2020年部门预算公开附件.xlsx'==f'D:/{title}' or 'D:/宣传部2017年预算公开附件0309.xlsx'==f'D:/{title}':return ''if title.split('.')[-1]=='xls':df = pd.read_excel(f'D:/{title}',engine='xlrd')elif title.split('.')[-1]=='xlsx':df = pd.read_excel(f'D:/{title}',engine='openpyxl')else:return ''return df.to_string(index=False)
def solve_file(file_type,file_url,title):content=''if file_type=='pdf':content=get_pdf_content(file_url,title)elif file_type=='doc' or file_type=='docx':content=get_doc_content(file_url,title)elif file_type=='xls' or file_type=='xlsx' or file_type=='XLS':content=get_xls_content(file_url,title)return content
def unzip_file(save_file,unzip_dir_path):
# 打开压缩包file_name=[]with zipfile.ZipFile(save_file, 'r') as zip_file:# 获取所有文件列表for zip_info in zip_file.infolist():# 如果是文件，先将文件名从gbk编码转换为utf-8编码# print(type(zip_info.filename.encode('cp437').decode('gbk').encode('utf-8')))zip_info.filename = zip_info.filename.encode('cp437').decode('gbk')# 解压文件zip_file.extract(zip_info, unzip_dir_path)file_name.append(zip_info.filename)return file_name
def get_file(url,base,year,date):time.sleep(10)r=requests.get(url,headers=np.random.choice(headers))#利用request的get函数连接到网址if r.status_code!=200:print('connect error!')r=requests.get(url,headers=np.random.choice(headers))if r.status_code!=200:returnr.encoding='utf-8'soup = BeautifulSoup(r.text, 'html.parser')  hrefs=soup.find('div',class_='downfile').find_all('a')for href in hrefs:file_url=base+href['href']file_type=file_url.split('.')[-1]#获取文件类型print(file_type)title=href.textif '.' not in title:title+='.'+file_typet=solve_file(file_type,file_url,title)if t!='':content=[]content.append(year)content.append(date)content.append('广西')content.append('南宁市')content.append(title)content.append(t)content.append('预算公开')content.append(file_url)contents.append(content)print(content)elif file_type=='zip':response = requests.get(file_url)with open(f'D:/{title}', 'wb') as f:f.write(response.content)print(f'D:/{title}')if 'D:/17年预算信息公开.zip'==f'D:/{title}' or 'D:/卫计委2017年部门预算公开.zip'==f'D:/{title}':continuefile_name=unzip_file(f'D:/{title}','D:/')for name in file_name:path='D:/'+namezip_file_type=path.split('.')[-1]t=tempif zip_file_type=='xls' or zip_file_type=='xlsx' or zip_file_type=='doc' or zip_file_type=='XLS':passelse:t=solve_file(zip_file_type,'https://www.nanning.gov.cn/zwgk/fdzdgknr/czxx/sbjyjs/sbjbmys/2017bmys/P020171030399005252620.doc',name)content=[]content.append(year)content.append(date)content.append('广西')content.append('南宁市')content.append(path.split('/')[-1])content.append(t)content.append('预算公开')content.append(file_url)contents.append(content)print(content)continueelif file_type=='rar':continuedef get_url(urls,year):#每年的总页面time.sleep(10)r=requests.get(urls,headers=np.random.choice(headers))if r.status_code!=200:print('connect error!')r=requests.get(url,headers=np.random.choice(headers))if r.status_code!=200:returnr.encoding='utf-8'soup = BeautifulSoup(r.text, 'html.parser')  hrefs=soup.find('div',class_='nav1Cont').find_all('li')for href in hrefs:date=href.find('span',class_='time').texthref=href.find('a')base=href['href']url=base_urls+basetitle=href.text.strip()net_type=url.split('.')[-1]if net_type=='pdf':content=[]content.append(year)content.append(date)content.append('广西')content.append('南宁市')content.append(title)t=get_pdf_content(url,title+'.pdf')if t.strip()=='':t=tempcontent.append(t)content.append('预算公开')content.append(url)contents.append(content)print(content)continueget_file(url,base_urls,year,date)for year in range(2018,2023):base_urls=f'https://www.nanning.gov.cn/zwgk/fdzdgknr/czxx/sbjyjs/sbjbmys/{year}bmys/'get_url(base_urls,year)for i in range(1,7):url=f'https://www.nanning.gov.cn/zwgk/fdzdgknr/czxx/sbjyjs/sbjbmys/{year}bmys/index_{i}.html'r=requests.get(url)if r.status_code!=200:breakget_url(url,year)df=pd.DataFrame(contents,columns=['年份','发布日期','省份','城市','标题','文本','类型','下载链接'])
df.to_excel('D:/广西-南宁-部门预算2017.xlsx',index=False)

爬取网页附件，根据文件类型分类处理，显示文件内容并制成表格 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/209728.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

WordCount 源码解析 Mapper，Reducer，Driver

WordCount 源码解析 Mapper，Reducer，Driver

创建包 com.nefu.mapreduce.wordcount ，开始编写 Mapper ， Reducer ， Driver 用户编写的程序分成三个部分： Mapper 、 Reducer 和 Driver 。 （ 1 ） Mapper 阶段 ➢ 用户自定义的 Mapper 要继承自己的父…
阅读更多...
文件服务器搭建

文件服务器搭建

文件服务器搭建 文件服务器有四个选择： httpd（apache） 稳定，使用广泛，服务器一般自带，对于开发人员来说强烈推荐。 nginx 稳定高效，使用广泛，linux命令可直接下载，对…
阅读更多...
STM32CubeIDE串口空闲中断实现不定长数据接收

STM32CubeIDE串口空闲中断实现不定长数据接收

STM32F051空闲中断实现串口不定长数据接收 目的编程软件配置串口开中断中断程序运行结果目的 在串口输入不定长数据时，通过串口空闲中断来断帧接收数据。 编程软件 STM32CubeIDE STM32CubeMX配置MCU。通过对端口配置，自动生成程序，减少编程量。 配置串口开中断 配置串口…
阅读更多...
redis中序列化问题，value包含全路径类名解析

redis中序列化问题，value包含全路径类名解析

1. 问题 redis中保存的key-value格式 value直接存入的是实体对象，值中包含全路径类名，在使用Jackson2JsonRedisSerializer和GenericJackson2JsonRedisSerializer解析器时报错 报错内容： com.fasterxml.jackson.databind.exc.InvalidTypeI…
阅读更多...
《师兄啊师兄》第二季确认定档！海神扬名，稳健回归！

《师兄啊师兄》第二季确认定档！海神扬名，稳健回归！

近日，《师兄啊师兄》第二季的定档海报和PV终于发布，确认将于12月14日上午10点强势回归！这部备受瞩目的国漫作品自第一季播出以来，便以其独特的剧情设定和唯美的画风，赢得了广大观众的喜爱。如今，动画第二季…
阅读更多...
第一课【习题】给应用添加通知和提醒

第一课【习题】给应用添加通知和提醒

构造进度条模板通知，name字段当前需要固定配置为downloadTemplate。 给通知设置分发时间，需要设置showDeliveryTime为false。 OpenHarmony提供后台代理提醒功能，在应用退居后台或退出后，计时和提醒通知功能被系统后台代理接管…
阅读更多...
Qt 5.15.2 三维显示功能

Qt 5.15.2 三维显示功能

Qt 5.15.2 三维显示功能 三维显示效果： .pro项目文件 QT core gui opengl 3dcore 3drender 3dinput 3dextrasgreaterThan(QT_MAJOR_VERSION, 4): QT widgetsCONFIG c17# You can make your code fail to compile if it uses deprecated APIs. # In ord…
阅读更多...
2023年法国经销商Solu-Watt来访安科瑞-安科瑞 蒋静

2023年法国经销商Solu-Watt来访安科瑞-安科瑞 蒋静

2023年4月10日上午9点，法国Solu-Watt公司Matthieu先生一行到安科瑞考察参观工厂的智能化出入库工作站、柔性化仪表生产车间及实验室。自1992年以来，Solu-Watt在电气设备市场中不断发展。能够提供量身定制的安装有线电气解决方案（电气柜、接线…
阅读更多...
如何用Qt配置git项目并上传Gitee

如何用Qt配置git项目并上传Gitee

1.进入到Qt项目文件夹内，打开 “Git Bash Here” 2.初始化，在“Git Bash Here”中输入 git init 3.加入所有文件，在“Git Bash Here”中输入 git add . (需要注意，git add 后面还有一个点) 4.添加备注，git com…
阅读更多...
STL源码剖析笔记——哈希表、unordered_set、unordered_map、unordered_mutiset、unordered_mutimap

STL源码剖析笔记——哈希表、unordered_set、unordered_map、unordered_mutiset、unordered_mutimap

系列文章目录 STL源码剖析笔记——迭代器 STL源码剖析笔记——vector STL源码剖析笔记——list STL源码剖析笔记——deque、stack，queue STL源码剖析笔记——Binary Heap、priority_queue STL源码剖析笔记——AVL-tree、RB-tree、set、map、mutiset、mutimap STL源…
阅读更多...
一套rk3588 rtsp服务器推流的 github 方案及记录 -01

一套rk3588 rtsp服务器推流的 github 方案及记录 -01

我不生产代码，我只是代码的搬运工，相信我，看完这个文章你的图片一定能变成流媒体推出去。 诉求：使用opencv拉流，转成bgr数据，需要把处理后的数据（BGR）编码成264，然后推流…
阅读更多...
字符串函数strtok

字符串函数strtok

1.调用格式： 2.调用形式：char*strtok(char*p1,const char*p2),其中第二个是由分隔符组成的字符串，第一个为需要分隔的字符串 3.调用目的：将分隔符之间的字符串取出 4.调用时一般将源字符串拷贝后调用，因为此函数会将…
阅读更多...
基于Unity3D 低多边形地形模型纹理贴图

基于Unity3D 低多边形地形模型纹理贴图

在线工具推荐： 3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.js AI自动纹理开发包 - YOLO 虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎 当谈到游戏角色的3D模型风格时，有几种不同的风格&#xf…
阅读更多...
【工程实践】使用modelscope下载大模型文件

【工程实践】使用modelscope下载大模型文件

前言 Modelscope（魔搭社区）是阿里达摩院的一款开源模型平台，里面提供了很多的热门模型供使用体验，其中的模型文件可以通过git clone 快速下载。并且为模型提供了Notebook的快速开发体验，使用阿里云服务，不需…
阅读更多...
【优选算法系列】【专题二滑动窗口】第三节.904. 水果成篮和438. 找到字符串中所有字母异位词

【优选算法系列】【专题二滑动窗口】第三节.904. 水果成篮和438. 找到字符串中所有字母异位词

文章目录 前言一、水果成篮 1.1 题目描述 1.2 题目解析 1.2.1 算法原理 1.2.2 代码编写 1.2.3 题目总结二、找到字符串中所有字母异位词 2.1 题目描述 2.2 题目解析 2.2.1 算法原理 2.2.2 代码编写 …
阅读更多...
SAP UI5 walkthrough step9 Component Configuration

SAP UI5 walkthrough step9 Component Configuration

在之前的章节中，我们已经介绍完了MVC的架构和实现，现在我们来讲一下，SAPUI5的结构 这一步，我们将所有的UI资产从index.html里面独立封装在一个组件里面 这样组件就变得独立，可复用了。这样，无所什么时候我…
阅读更多...
队列的实现

队列的实现

学习就像一段长跑，比的不是谁跑得快，而是谁更能坚持！！ 1 队列的概念及结构 队列：只允许在一端进行插入数据操作，在另一端进行删除数据操作的特殊线性表，队列具有先进先出 FIFO(First In First O…
阅读更多...
外网访问内网服务器使用教程

外网访问内网服务器使用教程

如何在任何地方都能访问自己家里的笔记本上的应用？如何让局域网的服务器可以被任何地方访问到？有很多类似的需求，我们可以统一用一个解决方案：内网穿透。内网穿透的工具及方式有很多，如Ngrok、Ssh、autossh、Natapp、F…
阅读更多...
linux具体命令（一）

linux具体命令（一）

1. cd CD命令是Linux和类Unix操作系统中非常常用的一个命令，它的全称是“change directory”，用于改变当前的工作目录。用户可以通过这个命令进入到不同的目录中，进行文件操作或是执行其他任务。 以下是CD命令的一些基本用法： 进…
阅读更多...
特殊进程之守护进程

特殊进程之守护进程

文章目录 1、守护进程的概念2、如何查看守护进程3、编写守护进程的步骤3.1 创建子进程，父进程退出3.2 在子进程中创建新会话3.3 改变当前工作目录3.4 重设文件权限掩码3.5 关闭不需要的文件描述符3.6 某些特殊的守护进程打开/dev/null 4、守护进程代码示例 1、守护进…
阅读更多...
最新文章

Copyright @ 2022~2023