python提取html正文为txt,python 提取html文本的方法

假设我们需要从各种网页中提取全文，并且要剥离所有HTML标记。通常，默认解决方案是使用BeautifulSoup软件包中的get_text方法，该方法内部使用lxml。这是一个经过充分测试的解决方案，但是在处理成千上万个HTML文档时可能会非常慢。

通过用selectolax替换BeautifulSoup，您几乎可以免费获得5-30倍的加速！

这是一个简单的基准测试，可分析commoncrawl(`处理NLP问题时，有时您需要获得大量的文本集。互联网是文本的最大来源，但是不幸的是，从任意HTML页面提取文本是一项艰巨而痛苦的任务。

通过用selectolax替换BeautifulSoup，您几乎可以免费获得5-30倍的加速！这是一个简单的基准测试，可分析commoncrawl(https://commoncrawl.org/)的10,000个HTML页面：

# coding: utf-8

from time import time

import warc

from bs4 import BeautifulSoup

from selectolax.parser import HTMLParser

def get_text_bs(html):

tree = BeautifulSoup(html, 'lxml')

body = tree.body

if body is None:

return None

for tag in body.select('script'):

tag.decompose()

for tag in body.select('style'):

tag.decompose()

text = body.get_text(separator='\n')

return text

def get_text_selectolax(html):

tree = HTMLParser(html)

if tree.body is None:

return None

for tag in tree.css('script'):

tag.decompose()

for tag in tree.css('style'):

tag.decompose()

text = tree.body.text(separator='\n')

return text

def read_doc(record, parser=get_text_selectolax):

url = record.url

text = None

if url:

payload = record.payload.read()

header, html = payload.split(b'\r\n\r\n', maxsplit=1)

html = html.strip()

if len(html) > 0:

text = parser(html)

return url, text

def process_warc(file_name, parser, limit=10000):

warc_file = warc.open(file_name, 'rb')

t0 = time()

n_documents = 0

for i, record in enumerate(warc_file):

url, doc = read_doc(record, parser)

if not doc or not url:

continue

n_documents += 1

if i > limit:

break

warc_file.close()

print('Parser: %s' % parser.__name__)

print('Parsing took %s seconds and produced %s documents\n' % (time() - t0, n_documents))

>>> ! wget https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2018-05/segments/1516084886237.6/warc/CC-MAIN-20180116070444-20180116090444-00000.warc.gz

>>> file_name = "CC-MAIN-20180116070444-20180116090444-00000.warc.gz"

>>> process_warc(file_name, get_text_selectolax, 10000)

Parser: get_text_selectolax

Parsing took 16.170367002487183 seconds and produced 3317 documents

>>> process_warc(file_name, get_text_bs, 10000)

Parser: get_text_bs

Parsing took 432.6902508735657 seconds and produced 3283 documents

显然，这并不是对某些事物进行基准测试的最佳方法，但是它提供了一个想法，即selectolax有时比lxml快30倍。

selectolax最适合将HTML剥离为纯文本。如果我有10,000多个HTML片段，需要将它们作为纯文本索引到Elasticsearch中。(Elasticsearch有一个html_strip文本过滤器，但这不是我想要/不需要在此上下文中使用的过滤器)。事实证明，以这种规模将HTML剥离为纯文本实际上是非常低效的。那么，最有效的方法是什么？

PyQuery

from pyquery import PyQuery as pq

text = pq(html).text()

selectolax

from selectolax.parser import HTMLParser

text = HTMLParser(html).text()

正则表达式

import re

regex = re.compile(r'<.>')

text = clean_regex.sub('', html)

结果

我编写了一个脚本来计算时间，该脚本遍历包含HTML片段的10,000个文件。注意！这些片段不是完整的文档(带有