python脚本根据cookies自动登录网站_python实现带验证码网站的自动登陆实现代码...

早听说用python做网络爬虫非常方便,正好这几天单位也有这样的需求,需要登陆XX网站下载部分文档,于是自己亲身试验了一番,效果还不错。

本例所登录的某网站需要提供用户名,密码和验证码,在此使用了python的urllib2直接登录网站并处理网站的Cookie。

Cookie的工作原理:

Cookie由服务端生成,然后发送给浏览器,浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时,会发送该Cookie给服务器,这样服务器就知道该用户是否合法以及是否需要重新登录。

Python提供了基本的cookielib库,在首次访问某页面时,cookie便会自动保存下来,之后访问其它页面便都会带有正常登录的Cookie了。

原理:

(1)激活cookie功能

(2)反“反盗链”,伪装成浏览器访问

(3)访问验证码链接,并将验证码图片下载到本地

(4)验证码的识别方案网上较多,python也有自己的图像处理库,此例调用了火车头采集器的OCR识别接口。

(5)表单的处理,可用fiddler等抓包工具获取需要提交的参数

(6)生成需要提交的数据,生成http请求并发送

(7)根据返回的js页面判断是否登陆成功

(8)登陆成功后下载其它页面

此例中使用多个账号轮询登陆,每个账号下载3个页面。

下载网址因为某些问题,就不透露了。

以下是部分代码:

#!usr/bin/env python

#-*- coding: utf-8 -*-

import os

import urllib2

import urllib

import cookielib

import xml.etree.ElementTree as ET

#-----------------------------------------------------------------------------

# Login in www.***.com.cn

def ChinaBiddingLogin(url, username, password):

# Enable cookie support for urllib2

cookiejar=cookielib.CookieJar()

urlopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))

urllib2.install_opener(urlopener)

urlopener.addheaders.append(('Referer', 'http://www.chinabidding.com.cn/zbw/login/login.jsp'))

urlopener.addheaders.append(('Accept-Language', 'zh-CN'))

urlopener.addheaders.append(('Host', 'www.chinabidding.com.cn'))

urlopener.addheaders.append(('User-Agent', 'Mozilla/5.0 (compatible; MISE 9.0; Windows NT 6.1); Trident/5.0'))

urlopener.addheaders.append(('Connection', 'Keep-Alive'))

print 'XXX Login......'

imgurl=r'http://www.*****.com.cn/zbw/login/image.jsp'

DownloadFile(imgurl, urlopener)

authcode=raw_input('Please enter the authcode:')

#authcode=VerifyingCodeRecognization(r"http://192.168.0.106/images/code.jpg")

# Send login/password to the site and get the session cookie

values={'login_id':username, 'opl':'op_login', 'login_passwd':password, 'login_check':authcode}

urlcontent=urlopener.open(urllib2.Request(url, urllib.urlencode(values)))

page=urlcontent.read(500000)

# Make sure we are logged in, check the returned page content

if page.find('login.jsp')!=-1:

print 'Login failed with username=%s, password=%s and authcode=%s' \

% (username, password, authcode)

return False

else:

print 'Login succeeded!'

return True

#-----------------------------------------------------------------------------

# Download from fileUrl then save to fileToSave

# Note: the fileUrl must be a valid file

def DownloadFile(fileUrl, urlopener):

isDownOk=False

try:

if fileUrl:

outfile=open(r'/var/www/images/code.jpg', 'w')

outfile.write(urlopener.open(urllib2.Request(fileUrl)).read())

outfile.close()

isDownOK=True

else:

print 'ERROR: fileUrl is NULL!'

except:

isDownOK=False

return isDownOK

#------------------------------------------------------------------------------

# Verifying code recoginization

def VerifyingCodeRecognization(imgurl):

url=r'http://192.168.0.119:800/api?'

user='admin'

pwd='admin'

model='ocr'

ocrfile='cbi'

values={'user':user, 'pwd':pwd, 'model':model, 'ocrfile':ocrfile, 'imgurl':imgurl}

data=urllib.urlencode(values)

try:

url+=data

urlcontent=urllib2.urlopen(url)

except IOError:

print '***ERROR: invalid URL (%s)' % url

page=urlcontent.read(500000)

# Parse the xml data and get the verifying code

root=ET.fromstring(page)

node_find=root.find('AddField')

authcode=node_find.attrib['data']

return authcode

#------------------------------------------------------------------------------

# Read users from configure file

def ReadUsersFromFile(filename):

users={}

for eachLine in open(filename, 'r'):

info=[w for w in eachLine.strip().split()]

if len(info)==2:

users[info[0]]=info[1]

return users

#------------------------------------------------------------------------------

def main():

login_page=r'http://www.***.com.cnlogin/login.jsp'

download_page=r'http://www.***.com.cn***/***?record_id='

start_id=8593330

end_id=8595000

now_id=start_id

Users=ReadUsersFromFile('users.conf')

while True:

for key in Users:

if ChinaBiddingLogin(login_page, key, Users[key]):

for i in range(3):

pageUrl=download_page+'%d' % now_id

urlcontent=urllib2.urlopen(pageUrl)

filepath='./download/%s.html' % now_id

f=open(filepath, 'w')

f.write(urlcontent.read(500000))

f.close()

now_id+=1

else:

continue

#------------------------------------------------------------------------------

if __name__=='__main__':

main()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/506314.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

鸟叔linux私房菜基础篇简体,鸟叔的Linux私房菜基础篇-学习笔记(一)

鸟叔的Linux私房菜基础篇-学习笔记(一)开机进入命令行模式:ctrlalt[F1-F6]的任意键进入命令行编辑界面ctrlaltF7进入图形界面模式开始下达指令[dmtsaistudy ~]$ command [-options] parameter1 parameter2 …一行指令中第一个输入的部分绝对是“指令(command)”或“可可执行文件…

net framework 3.5 安装错误_PageAdmin CMS建站系统报http403错误的解决方案

pageadmin CMS目前已经是国内用户最多的网站内容管理系统,但是很多新手第一次安装时候最常见的错误就是http403错误。针对这个错误,小编我整理出了常见的原因及解决方法原因1、后台站点绑定的域名和当前打开的域名不一致。解决办法:重装PageA…

linux怎么配置svn形式访问,linux服务器svn访问地址

弹性云服务器 ECS弹性云服务器(Elastic Cloud Server)是一种可随时自助获取、可弹性伸缩的云服务器,帮助用户打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率三年低至5折,多种配置可选了解详情什么是弹性…

java进程内存一直没释放_五分钟彻底搞懂你一直没明白的Linux内存管理

现在的服务器大部分都是运行在Linux上面的,所以,作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道:地址映射内存管理的方式缺页异常先来看一些基本的知识,在进程看来,内存分为内核态和用户态…

c语言basic解释器,要理解解释器,做一个小解释器----小话c语言(20)

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼}list->tail->next obj;list->tail obj;return obj;}void cc_arg_list_free(cc_arg_list *list){cc_arg_obj *head list->head;while(head){cc_arg_obj *next head->next;cc_arg_obj_free(head);head next;}}v…

ehcache使用_Mybatis整合(Redis、Ehcache)实现二级缓存,恕我直言,你不会

目的:Mybatis整合Ehcache实现二级缓存Mybatis整合Redis实现二级缓存Mybatis整合ehcache实现二级缓存ssm中整合ehcache在POM中导入相关依赖org.springframework spring-context-support ${spring.version}org.mybatis.caches mybatis-ehcache 1.1.0net.s…

c语言利用栈将字符串逆序输出,【C语言】利用栈将数组中字符串逆序

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼#include"stdio.h"#include"stdlib.h"#define STACK_INIT_SIZE 100#define STACKINCREMENT 10typedef struct{char *base;char *top;int stacksize;}SqStack;main(){SqStack S;char a[4];int i;InitStack(&…

取证 c语言实现日志导出_日志与日志不一样:五种不能忽略的日志源

给日志源分出主次大有利于开展有效事件响应。就像分诊护士一样,安全人员也必须给数据分出个优先主次,以帮助他们更好地识别问题,使公司企业及其数据和设备能够避免入侵者和网络攻击的伤害。但是,记录和监视IT环境中的所有相关事件…

c语言 多文件 学生系统,编的学生成绩管理系统 从文件中读取保存数据总会多读入一组乱码数据...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼getch();return L;}}void SearchData(Stu L){Stu p;int num;pL->next;printf("Input the ID of the student you want to search:");scanf("%d",&num);while(p!NULL){if(p->numnum) { printf("…

codesoft指定打印机打印_巧用win32print来控制windows系统打印机并推送打印任务

小爬最近接到的一个需求是:将windows系统下的打印任务批量有序传输给网络打印机,实现批量有序打印。用户先从公司的OA(B/S模式)系统下 打印指定内容的表单以及表单中的附件内容。这个问题可以这样分解:1、抓包,得到OA对应的任务接…

c语言磁盘文件只有写没读,C语言的磁盘文件问题

匿名用户1级2010-04-06 回答C语言文件操作函数1,两种文件存取方式(输入,输出方式)顺序存取直接存取2,数据的两种存放形式文本文件二进制文件13.2文件指针定义文件类型指针变量的一般形式:FILE *指针变量名;例如:FILE *fp1,*fp2;13.3打开文件在使用文件之前,需打开文件.在C里使用…

crmeb pc端模板下载_PC端人人影视下载速度如何提高

首先下载最新版本的人人影视我的是这个,右下角版本号1022然后在下载设置那里把连接数调高一点大致就这样我的就是调了一下然后下载速度高了许多,刚开始只有1M左右的速度,现在4,5M每秒

android 编辑自定义可编辑表格,smart 框架 列表 可编辑表格

可编辑表格常用属性colModel: [{label: "主键ID", name: "hellop1",hidden:true},{label: "列明", name: "hellop2",align: "center", editable: true, edittype: text, editrules: { required: true } }editable&#xff1…

dos虚拟机如何全屏显示_实用工具 | 虚拟机软件VirtualBox详细使用介绍

前言:搞自动化控制的工程师,要擅于利用工具和软件,其中,虚拟机就是很好的工具,安装操作系统以后,就相当于多了一台电脑,可以用来测试网络,测试软件,或者直接用来调试设备…

python中type用法_Python中type的用法

(TOC)描述python类型的函数有两个用法,当只有一个参数,它将返回对象的类型。当有三个参数,返回一个类对象。语法类型(对象)类型(名称、基地、dict)使用一个参数类型(对象)返回一个对象的类型,如:[1],[2] 10:类型(A) [2]: int的三个参数打字(名称、基地、dict)父类类名基地名称t…

android style边界显示兼容问题,android – IDE“无法解析@ style/Theme.Appcompat”时使用v7兼容性支持主题...

这不是一个真正的问题,因为我的项目仍然构建和运行正确(使用gradle),但我有麻烦让Android Studio来识别在API 18 SDK中发布的应用程序兼容性主题(允许操作栏支持android 2.1以上)。我有支持库加载成功,因为代码完成是可能的ActionBar类在java…

axure原型案例_Axure RP9原型案例:制作一个可以滑动的菜单

摘要:在PC端的产品中我们会常常见到滑动式菜单,当鼠标移入菜单上方,向下或向右自动滑动弹出子菜单,当页面信息层级较多或功能较多时,在产品设计时经常会用到这种滑动式菜单。今天就和大家分享如下制作滑动式菜单的交互…

android edittext 正则限制,Android EditText 使用正则表达式进行输入过滤

近期在一个项目中用到修改密码这个功能,不过对于密码的输入,我们不希望用户输入汉字或者特殊字符,所以我们需要对用户进行输入的输入框进行过滤,下面是一个对EditText进行过滤的小代码片段:1.首先给Edittext 添加一个T…

一会404一会500_没网络就是404?这锅可不能乱背!

在那个房价未突破天际,一台计算机还可以占着几间房的年代。数据库被存放在一个神秘的房间中。如果无法找到请求者所需要的文件,用户将会得到file not found的信息。而这件房间的门牌就是404。404https://www.zhihu.com/video/1168484640850579456当然以上…

android8 呼吸灯,红米note8pro呼吸灯颜色如何设置?

红米note8pro支持呼吸灯功能,当有未读通知的时候,指示灯就会闪烁提醒。此外,我们还可以根据自己的喜好设置呼吸灯的颜色,下面为大家带来详细的设置教程。红米note8pro怎么设置呼吸灯颜色1、首先,进入手机桌面&#xff…