通过统计词频来快速预览PDF报告。本文提供了文字PDF和图片PDF提取文字的两类方式。
对于是文字类的PDF可以快速的提取其中文字，但是有许多PDF是图片格式，并不能直接提取文字。本文采取PDF转图片，并通过OCR识别文字生成文本，进而统计文本的词频的方式进行快速预览。
一、PDF转图片
本文使用PyMuPDF模块进行转化。
1、 PyMuPD网上有许多资料，但是多数比较老，这个模块的API已有变动，本文做了更新。本模块安装需要pip install PyMuPDF，但是导入是fitz。该库不支持python3.10以上版本。
2、本文加了文件路径处理的功能find_pdf_files(directory)函数和以下部分。
filename = os.path.basename(pdf)
file_name, file_extension = os.path.splitext(filename)
image_path = f"{imagePath}\{file_name}{pg}.jpg"
代码
import datetime
import os
import fitz #输出以.pdf结尾的文件的完整文件路径
def find_pdf_files(directory):pdf_files = []for root, dirs, files in os.walk(directory):for file in files:if file.endswith('.pdf'):pdf_file_path = os.path.join(root, file)pdf_files.append(pdf_file_path)return pdf_filesdef pyMuPDF_fitz(pdf, imagePath):startTime_pdf2img = datetime.datetime.now() # 开始时间print("imagePath=" + imagePath)pdfDoc = fitz.open(pdf)for pg in range(pdfDoc.page_count):page = pdfDoc[pg]rotate = int(0)# 每个尺寸的缩放系数为1.3，这将为我们生成分辨率提高2.6的图像。# 此处若是不做设置，默认图片大小为：792X612, dpi=96zoom_x = 1.33333333 # (1.33333333-->1056x816) (2-->1584x1224)zoom_y = 1.33333333mat = fitz.Matrix(zoom_x, zoom_y).prerotate(rotate)pix = page.get_pixmap(matrix=mat, alpha=False)if not os.path.exists(imagePath): # 判断存放图片的文件夹是否存在os.makedirs(imagePath) # 若图片文件夹不存在就创建# 提取不带扩展名的文件名filename = os.path.basename(pdf)file_name, file_extension = os.path.splitext(filename)image_path = f"{imagePath}\{file_name}{pg}.jpg"pix._writeIMG(image_path,format_="jpg",jpg_quality=100) # 将图片写入指定的文件夹内endTime_pdf2img = datetime.datetime.now() # 结束时间print('pdf2img时间=', (endTime_pdf2img - startTime_pdf2img).seconds)if __name__ == "__main__":path=r"xx"flist=find_pdf_files(path)# 1、PDF地址for pdf in flist:# 2、需要储存图片 的目录imagePath = r"xx"pyMuPDF_fitz(pdf, imagePath)
二、OCR图片转文字
本文使用的是百度开源的paddleocr库
先pip3.10 install paddlepaddle再pip install paddleocr，注意这两个库暂时不支持python3.10以上的版本，主要是paddleocr依赖的PyMuPDF不支持python3.10以上版本。
代码为
from paddleocr import PaddleOCR
import os
import re#输出结果转字符串
def text_noposition(data, left, right, bottom, top):text_res = ""# data[0]包含位置和文本信息for i in data[0]:# i[0][0][0]是横向，i[0][0][1]是位置的纵向x, y = i[0][0][0], i[0][0][1]if left < x < right and bottom < y < top:# i[1][0]是文字text_res = text_res + i[1][0]return text_res
def convert_png_to_txt(dir_path,output_path):# 初始化PaddleOCRocr = PaddleOCR(use_angle_cls=True, lang="ch")output_text = ""# 遍历指定目录下的所有.png文件for filename in os.listdir(dir_path):if filename.endswith('.jpg'):file_path = os.path.join(dir_path, filename)# 使用PaddleOCR提取图片中的文本result = ocr.ocr(file_path, cls=True)print(result)# 使用text_noposition函数处理提取的文本processed_text = text_noposition(result, left=0, right=10000, bottom=500, top=2000)# 将处理后的文本追加到输出文本中output_text += processed_text + "\n"# 将输出文本写入.txt文件并关闭该文件with open(output_path, "a") as file: # 可以根据需要更改文件名和路径file.write(output_text)file.close()# 指定要处理的图片的目录
dir_path = r'D:\data\2024\PDF\xx'
# 文件输出路径
output_path = r'D:\data\2024\PDF\xx'
convert_png_to_txt(dir_path,output_path)
三、读取高频词
读取结果、使用结巴分词，并统计词频。
视文件编码不同，如果报错gbk编码问题，打开文件部分需要改为：
f = open(file_path, encoding=‘utf-8’)
from collections import Counter
import jieba
import pandas as pddef cut_with_filter(sentence, stopwords):# 使用结巴分词的精确模式进行分词seg_list = jieba.cut(sentence, cut_all=False)# 去除停用词filtered_seg_list = [word for word in seg_list if word not in stopwords]return filtered_seg_listif __name__ == '__main__':file_path = r"D:\data\2023\pdf\pdf\结果.txt"# 要分词的文本f = open(file_path)text = f.read()#text = read_doc_file(file_path)# 停用词列表，你可以根据需要自行添加或修改stopwords = ["的", "了", "在", "是", "我", "有", "和", "就", "不", "人", "都", "一", "一个", "上", "也", "很", "到"]word_list=cut_with_filter(text,stopwords)chinese_list = [word for word in word_list if isinstance(word, str) and word.isalpha()]# 统计每个词的词频counter = Counter(chinese_list)word_freq = dict(counter)keys = pd.Series(list(word_freq.keys()))values = pd.Series(list(word_freq.values()))# 将分词结果和词频保存到DataFramedf = pd.DataFrame({'词': keys, '词频': values})print(df)# 将DataFrame保存到Excel文件df.to_excel('分词结果1.xlsx', index=False)
四、提取文字型PDF的文字
使用PyMuPDF库可以快速提取文字型PDF的文字。本文做了封装。
1、转化单个文件，使用pdf2txt函数，输入路径是PDF文件的路径
2、转化一个文件夹下，使用 pdf2txt_multi函数，输入路径是PDF所在的文件夹
import fitz
import os
#转化单个文件
def pdf2txt(input_file,output_file):with fitz.open(input_file) as doc:text = ""for page in doc.pages():text += page.get_text() # 注意这里使用了 get_text() 方法with open(output_file, "w", encoding="utf-8") as f:f.write(text)return textdef pdf2txt_multi(input_folder, output_file):# 遍历输入文件夹中的所有文件for file_name in os.listdir(input_folder):if file_name.endswith(".pdf"):print(file_name)# 构建输入文件路径input_file = os.path.join(input_folder, file_name)# 打开PDF文件,并写入txt文件with fitz.open(input_file) as doc:text = ""for page in doc.pages():text += page.get_text() # 注意这里使用了 get_text() 方法with open(output_file, "w", encoding="utf-8") as f:f.write(text)return textif __name__ == "__main__":# 输入和输出文件路径，当要转化一个文件夹时是文件夹路径。input_file =r"xx"output_file = "output.txt"pdf2txt_multi(input_file,output_file)
