python BeautifulSoup 爬虫运行出现 exited with code -1073741571

首先,exited with code -1073741571意思是栈溢出。具体可以看https://blog.csdn.net/vblittleboy/article/details/6613815

它的前一个错误是程序递归深度过深。

但我没有在函数里用递归?

python认为你进入一个函数就进入更深一层的递归。

import sys#出现递归深度太深的问题?
sys.setrecursionlimit(100000000)#把递归深度设深点。

可以解决,

但又出现栈溢出。在隔行输出调试法下我发现是<class 'bs4.element.Tag'>类型强制转换str处退出的程序。也就是说,它导致了栈溢出。

soup = BeautifulSoup(html, 'html.parser')
pbiaoqian = soup.find('p')
print(str(pbiaoqian))#有问题?

在这个错误之前,有一个问题,就是一个htm页面有很多<p>标签,但BeautifulSoup只要找一个就全在里面了。

之前用

for pbiaoqian in soup.find_all('p'):#prind(pbiaoqian.get_text())#调用方法#print(str(pbiaoqian))#或者直接转换打印print(pbiaoqian)#这样也能显示

它输出的结果是find到的第一个<p>标签,从头输出到尾。第二个输出,find到的第二个<p>标签开始,到尾。......最后一个<p>标签。

言归正传。

我推测,栈溢出是因为调用强制类型转换程序次数过多导致的,或者pbiaoqian里内容过多类型转换处理不了。

那么,解决方法就是:

1.报什么错从哪里解决。

  但windows修改栈空间大小要在编译器里修改,因为它是由编译器自动管理的。但F:\PyCharm Community Edition 2018.2.4\bin\pycharm.exe.vmoptions里尽是看不懂的参数,前2个好像还是系统给编译器分配的内存设置。

  File->settings瞎点了半天,也没有找到Stack有关的单词。

2.让str的强制类型转换能一次转更多。

  如果能像设置递归深度一样设置栈空间大小就好了,

threading.stack_size(200000000)

  不过用起来好像没什么效果,还是老样子。

3.或者让BeautifulSoup一次不find那么多,或者把find到的拆分成许多块。

  str拆分还能百度到方法,BeautifulSoup文档里给它4个变量的介绍少得可怜,也没有百度到。

思考一天未果。

也许你有同样困扰,也许你能给我答案,可以在下面评论。

转载于:https://www.cnblogs.com/Zf451452043/p/10129943.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/463922.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ORACLE HANDBOOK系列之十一:分区(Partition)

Partitioning enables you to decompose very large tables and indexes into smaller and more manageable pieces called partitions. Each partition is an independent object with its own name and optionally its own storage characteristics. Oracle允许用户将大表以及…

不要错过路边的的风景

人生就像一次旅行。人们总是忙于奔赴目的地&#xff0c;却往往忽略了路边的风景。 随着年龄的增长&#xff0c;人们越来越没有时间去寻求生命中的惊奇和美丽了&#xff0c;他们只在乎地位&#xff0c;财富和权力。大多数人为了不落人后&#xff0c;已经花去了自己大部分时间和精…

复制表、复制表结构、复制数据

完全复制表&#xff08;含表结构表数据&#xff09; create table 新表名 as select * from 需要复制的表名; 复制表部分字段和数据 CREATE TABLE 新表名&#xff08;列1&#xff0c;列2&#xff09; AS SELECT 列1&#xff0c;列2 FROM OLD_TABLE;复制表结构不…

劝你不要转行

在知乎收到一个咨询&#xff0c;问题如下您好&#xff0c;想向您请教一些问题。想转行做嵌入式工程师个人基本信息29岁&#xff0c;电子与通信工程专业硕士&#xff0c;毕业后就职于某车企&#xff0c;主要从事类似项目管理一职。去年考入某事业单位&#xff0c;业余时间相对较…

STL中的map集合扩展字段比较方便

扩展字段map<string, string>真是个好东西&#xff0c; 在定各种协议时很常用&#xff0c;便于扩展 #include <iostream> #include <map> #include <string> using namespace std; void fun(const map<string, string> &mp) { } …

linux下DHCP的安装配置

今天在整理以前的资料的时候&#xff0c;看到了这篇过去积攒的资料&#xff0c;过程详细所以拿来给大家一块分享&#xff0c;同时我也在做&#xff0c;提高一下熟练度。 【实验名称】Linux下DHCP服务的配置与安装【实验拓扑】【实验目标】了解DHCP服务的工作原理&#xff0c;掌…

在GZIDG弄服务器的这一整夜,快乐

公母服务器: 去到IDG那里,2 台Dell ,一台五舟服务器: 初步给的网站架构,一台Dell服务器作为Web服务器,4cpu,4G内存,相信目前的架构能够满足初期的需要 整个架构做web服务器接公网,五舟服务器也接公网作为文件服务器,数据库做为内网与web服务器接一个端口 一个接…

175. Combine Two Tables

select FirstName, LastName,City, State from Personleft join Address on Person.PersonId Address.PersonId; 转载于:https://www.cnblogs.com/yuesi/p/10134925.html

STL中map的使用要点

我们都知道&#xff0c; 当map不存在某key时&#xff0c; 如果用下标操作&#xff0c; 便会产生新key。 因此&#xff0c; 要特别注意 #include <iostream> #include <map> #include <string> using namespace std; int main() { map<string, s…

浅谈一下嵌入式中的强符号和弱符号

__attribute__ 是一个编译器指令&#xff0c;其实是 GNU C 的一种机制&#xff0c;本质是一个编译器的指令&#xff0c;在声明的时候可以提供一些属性&#xff0c;在编译阶段起作用&#xff0c;来做多样化的错误检查和高级优化。用于在 C、C、Objective-C 中修饰变量、函数、参…

web前端开发之div+css教程精华收集二

11个让你代码整洁的原则http://www.xinran001.com/bbs/thread-73231-1-1.html HTML 实体字符http://www.xinran001.com/bbs/thread-256-1-1.html你真的了解HTML吗http://www.xinran001.com/bbs/thread-7258-1-1.html当inline-block和text-indent遇到IE6,IE7http://www.xinran00…

POJ_1862 Stripies 【贪心】

一、题面 POJ1862 二、分析 反省一下&#xff0c;自己英语水平着实不行&#xff0c;该题其实就是问若给出若干个这种生物&#xff0c;根据这种体重变换方式&#xff0c;最终合并成一个后&#xff0c;体重最少是多少。根据公式 $m 2\sqrt{m_{1}m_{2}}$ 我们可以发现&#xff0c…

C++ string assign()赋值常用方法

C string assign()赋值常用方法 函数assign()常用在给string类变量赋值. 常用方法有: 1,直接用另一个字符串赋值. 如str2.assign(str1);即用str1给str2赋值. 2,用另一个字符串的一个子串赋值 如str3.assign(str1, 2, 3); 3,用一个字符串的前一段子串赋值; 如str4.assign("…

SEO技巧:好的域名是网站成功的开始

很多人都知道做网站可以赚钱&#xff0c;所以很多懂一些网络技术的就开始制作自己的站点了。制作网站的开端&#xff0c;如果不是为了自己的兴趣&#xff0c;而是纯粹为了赚钱&#xff0c;那么如何把握和选择网站内容的主体和方向&#xff0c;往往就会成为令人头疼的一件事情。…

想成为硬件工程师,难不?

有很多朋友经常会问&#xff0c;成为高级嵌入式系统硬件工程师&#xff0c;需要做到哪些呢?那么&#xff0c;我们就先从嵌入式硬件工程师是个什么概念入手。一、如何理解“嵌入式”的概念呢?1、从硬件上&#xff0c;将基于CPU的处围器件&#xff0c;整合到CPU芯片内部&#x…

.Net/C#中Cache的用法

Cache 即高速缓存&#xff0c;使用合理可以提高网站访问速度&#xff0c;减少服务器压力 什么是缓存&#xff1f;Web 应用程序通常都是被多个用户访问。一个Web站点可能存在一个“重量级”的加载&#xff0c;它能够使得站点在访问的时候&#xff0c;拖慢整个服务器。当站点被大…

Maven继承

继承为了消除重复&#xff0c;可以把pom 中很多相同的配置提取出来&#xff1b;如&#xff1a;grouptId&#xff0c; version 等。 在使用的时候子工程直接继承父工程的依赖版本号&#xff0c;子工程中不再需要指定具体版本号&#xff0c;方便统一管控项目的依赖版本问题。 创建…

STL中vectortype的复制

STL vector的复制 #include <iostream> #include <vector> using namespace std; int main() { vector<unsigned int> v1, v2; v1.push_back(11); v1.push_back(44); v2 v1; cout << v2[1] <<…

FLEXAIR 界面展示。

http://www.scalenine.com/showcase.php 希望自己做的AIR程序更漂亮&#xff0c;有更好的体验么&#xff1f;请参考。 转载于:https://www.cnblogs.com/xxcainiao/archive/2008/04/27/1173520.html

C++中关于cons和字符串t的一些注意事项

1&#xff0c;关于const的一些基本概念 const char * p1;//p1指向的内容不可变 char const * p2;//p2指向的内容不可变 char * const p3;//p3不可变&#xff0c;但其指向的内容可变 2&#xff0c;字符串的函数返回值不能再函数体里面声明创建&#xff0c;最好是函数传参进去&am…