我有一个网络爬行

python脚本在终端上运行了几个小时,它不断填充我的数据库.它有几个嵌套的for循环.出于某些原因,我需要重新启动计算机并从我离开的地方继续我的脚本.是否可以保留指针状态并恢复以前在终端中运行的脚本？

我正在寻找一个可以在不改变python脚本的情况下工作的解决方案.修改代码的优先级较低,因为这意味着重新启动程序并重新投入时间.

更新：

感谢VM的建议.我会接受的.为了完成,应该对脚本进行哪些通用修改以使其暂停和恢复？

UPDATE2：

在VM上移植工作正常.我还修改了脚本,使其能够对网络故障进行故障保护.代码如下.

最佳答案 您可以尝试挂起计算机或在虚拟机中运行,然后可以暂停.但是,由于您的脚本正在使用网络连接,因此一旦启动系统,您的脚本将无法从您离开的位置开始工作.暂停计算机并将其恢复或保存虚拟M / C并恢复它意味着您需要重新建立网络连接.对于系统外部的任何元素都是如此,网络就是其中之一.并且很有可能如果您使用动态网络,下次启动时您将获得一个新的IP,并且您之前工作的网络状态将无效.

如果您打算修改脚本,那么您需要记住的一些事情.

>添加序列化和反序列化功能. Python有pickle和更快的cPickle方法.

>添加重启点.执行此操作的最佳方法是定期保存状态,并在重新启动脚本时,在建立所有瞬态元素(如网络)后从上次保存的状态重新启动.

这不是一件容易的事,所以考虑投入大量的时间:-)

注意***

再想一想.更改脚本有一种替代方法.您可以尝试使用Amazon EC2等云虚拟化解决方案.