使用python爬取东方财富网机构调研数据

　　最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研

　　网页如下所示:

　　

　　可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了javascript网络访问,然后将服务器返回的数据插入网页,无法通过网址直接获取对应页的的页面数据.

　　通过chrome的开发者工具,我们可以看到点击下一页按钮背后发起的网页访问:

　　在点击下一页时,浏览器向地址发起了访问.我们分析一下这个地址的结构:

　　　　http://data.eastmoney.com/DataCenter_V3/jgdy/xx.ashx?pagesize=50&page=2&js=var%20ZUPcjFOK&param=&sortRule=-1&sortType=0&rt=48759234

　　上述地址中的&page=  之后指定的是需要获取第几个页面的数据.所以我们可以通过修改&page=后面的数字来访问不同页面对应的数据.

　　现在看一下这个数据的结构:

　　可见这个数据是一个字符串,根据第一个出现的等于号对该字符串进行切分,切分得到的后半段是一个json字符串,里面存储了我们想要获取的数据. json数据中的字段pages的值就是页面的总数.根据这一特性我们可以写出下述函数获取页面的总数:

# 获取页数
def get_pages_count():url = '''http://data.eastmoney.com/DataCenter_V3/jgdy/xx.ashx?pagesize=50&page=%d''' % 1url += "&js=var%20ngDoXCbV&param=&sortRule=-1&sortType=0&rt=48753724"wp = urllib.urlopen(url)data = wp.read().decode("gbk")start_pos = data.index('=')json_data = data[start_pos + 1:]dict = json.loads(json_data)pages =dict['pages']return pages

　　在给定页数范围的情况下可以获取数据地址列表,如下所示:

# 获取链接列表
def get_url_list(start,end):url_list=[]while(start<=end):url = '''http://data.eastmoney.com/DataCenter_V3/jgdy/xx.ashx?pagesize=50&page=%d''' %starturl += "&js=var%20ngDoXCbV&param=&sortRule=-1&sortType=0&rt=48753724"url_list.append(url)start+=1return url_list

　　为了保存这些数据,我使用sqlalchemy中的orm模型来表示数据模型,数据模型定义如下:

# 此处需要设置charset,否则中文会乱码
engine =create_engine('mysql+mysqldb://user:passwd@ip:port/db_name?charset=utf8')
Base =declarative_base()class jigoudiaoyan(Base):__tablename__ = "jigoudiaoyan"# 自增的主键id =Column(Integer,primary_key=True)# 调研日期StartDate = Column(Date,nullable=True)# 股票名称SName =Column(VARCHAR(255),nullable=True)# 结束日期 一般为空EndDate=Column(Date,nullable=True)# 接待方式Description =Column(VARCHAR(255),nullable=True)# 公司全称CompanyName =Column(VARCHAR(255),nullable=True)# 结构名称OrgName=Column(VARCHAR(255),nullable=True)# 公司代码CompanyCode=Column(VARCHAR(255),nullable=True)# 接待人员Licostaff=Column(VARCHAR(800),nullable=True)# 一般为空 意义不清OrgSum=Column(VARCHAR(255),nullable=True)# 涨跌幅ChangePercent=Column(Float,nullable=True)# 公告日期NoticeDate=Column(Date,nullable=True)# 接待地点Place=Column(VARCHAR(255),nullable=True)# 股票代码SCode=Column(VARCHAR(255),nullable=True)# 结构代码OrgCode=Column(VARCHAR(255),nullable=True)# 调研人员Personnel=Column(VARCHAR(255),nullable=True)# 最新价Close=Column(Float,nullable=True)#机构类型OrgtypeName=Column(VARCHAR(255),nullable=True)# 机构类型代码Orgtype=Column(VARCHAR(255),nullable=True)# 主要内容,一般为空 意义不清Maincontent=Column(VARCHAR(255),nullable=True)
Session =sessionmaker(bind=engine)
session =Session()
# 创建表
Base.metadata.create_all(engine)
# 获取链接列表

　　在上述基础上,我们就可以定义下属函数用于抓取链接的内容,并将其解析之后存入数据库,如下所示:

#记录并保存数据
def save_json_data(user_agent_list):pages =get_pages_count()
    len_user_agent=len(user_agent_list)url_list =get_url_list(1,pages)count=0for url in url_list:request = urllib2.Request(url)request.add_header('Referer','http://data.eastmoney.com/jgdy/')# 随机从user_agent池中取userpos =random.randint(0,len_user_agent-1)request.add_header('User-Agent', user_agent_list[pos])reader = urllib2.urlopen(request)data=reader.read()# 自动判断编码方式并进行解码encoding = chardet.detect(data)['encoding']# 忽略不能解码的字段data = data.decode(encoding,'ignore')start_pos = data.index('=')json_data = data[start_pos + 1:]dict = json.loads(json_data)list_data = dict['data']count+=1for item in list_data:one = jigoudiaoyan()StartDate =item['StartDate'].encode("utf8")if(StartDate ==""):StartDate = Noneelse:StartDate = datetime.datetime.strptime(StartDate,"%Y-%m-%d").date()SName=item['SName'].encode("utf8")if(SName ==""):SName =NoneEndDate = item["EndDate"].encode("utf8")if(EndDate==""):EndDate=Noneelse:EndDate=datetime.datetime.strptime(EndDate,"%Y-%m-%d").date()Description=item['Description'].encode("utf8")if(Description ==""):Description= NoneCompanyName=item['CompanyName'].encode("utf8")if(CompanyName==""):CompanyName=NoneOrgName=item['OrgName'].encode("utf8")if(OrgName ==""):OrgName=NoneCompanyCode=item['CompanyCode'].encode("utf8")if(CompanyCode==""):CompanyCode=NoneLicostaff=item['Licostaff'].encode("utf8")if(Licostaff ==""):Licostaff=NoneOrgSum = item['OrgSum'].encode("utf8")if(OrgSum ==""):OrgSum=NoneChangePercent=item['ChangePercent'].encode("utf8")if(ChangePercent ==""):ChangePercent=Noneelse:ChangePercent=float(ChangePercent)NoticeDate=item['NoticeDate'].encode("utf8")if(NoticeDate==""):NoticeDate=Noneelse:NoticeDate=datetime.datetime.strptime(NoticeDate,"%Y-%m-%d").date()Place=item['Place'].encode("utf8")if(Place==""):Place=NoneSCode=item["SCode"].encode("utf8")if(SCode==""):SCode=NoneOrgCode=item['OrgCode'].encode("utf8")if(OrgCode==""):OrgCode=NonePersonnel=item['Personnel'].encode('utf8')if(Personnel==""):Personnel=NoneClose=item['Close'].encode("utf8")if(Close==""):Close=Noneelse:Close =float(Close)OrgtypeName =item['OrgtypeName'].encode("utf8")if(OrgtypeName==""):OrgtypeName=NoneOrgtype=item['Orgtype'].encode("utf8")if(Orgtype==""):Orgtype=NoneMaincontent=item['Maincontent'].encode("utf8")if(Maincontent==""):Maincontent=Noneone.StartDate=StartDateone.SName=SNameone.EndDate=EndDateone.Description=Descriptionone.CompanyName=CompanyNameone.OrgName=OrgNameone.CompanyCode=CompanyCodeone.Licostaff=Licostaffone.OrgSum=OrgSumone.ChangePercent=ChangePercentone.NoticeDate=NoticeDateone.Place=Placeone.SCode=SCodeone.OrgCode=OrgCodeone.Personnel=Personnelone.Close=Closeone.OrgtypeName=OrgtypeNameone.Orgtype=Orgtypeone.Maincontent=Maincontentsession.add(one)session.commit()print 'percent:' ,count*1.0/pages,"complete!,now ",count# delay 1stime.sleep(1)

　　为了加快抓取速度,我设置了user_agent池,每次访问设置user_agent时随机从池中取一条作为这次访问的user_agent.对应列表user_agent_list ,定义如下:

# user_agent 池
user_agent_list=[]
user_agent_list.append("Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 ")
user_agent_list.append("Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50")
user_agent_list.append("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1")
user_agent_list.append("Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11")
user_agent_list.append("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 ")
user_agent_list.append("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36")

　　请注意,为了自动识别网页编码并解码,我使用了chardet模块识别网页的编码.为了应对极端情况下解码失败的问题,我在解码时设置跳过那些不能正确解码的字符串.相关代码截取如下:

 encoding = chardet.detect(data)['encoding']# 忽略不能解码的字段data = data.decode(encoding,'ignore')

补充:

　　网址中最后一个字段代码时间戳,用于确定获取哪一个时刻的最新价(maybe for ban crawler?),在查看网页源代码之后,我确定时间戳的生成代码如下,给有需要的人(我发现东方财富网的这个字段都是这么生成的):

# 获取当前的时间戳
def get_timstamp():timestamp =int(int(time.time())/30)return str(timestamp)

 

转载于:https://www.cnblogs.com/zhoudayang/p/5474053.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/423627.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

spark on yarn webUI logs不能查看

spark on yarn webUI logs不能查看

执行spark on yarn 执行&#xff1a;./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 3 ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 10 命令执行成功后在yarn 资源管理界面查看不了logs 参考博…
阅读更多...
java面试题30：牛客 下列哪项不属于jdk1.6垃圾收集器？

java面试题30：牛客 下列哪项不属于jdk1.6垃圾收集器？

java面试题30&#xff1a;牛客 下列哪项不属于jdk1.6垃圾收集器&#xff1f; A:Serial收集器 B&#xff1a;parNew收集器 C:CMS收集器 D:G1收集器 1.Serial收集器 单线程收集器&#xff0c;收集时会暂停所有工作线程&#xff08;我们将这件事情称之为Stop The World&…
阅读更多...
Silverlight专题（15） - 你自己的视频播放器之自定义MoveToPointSlider

Silverlight专题（15） - 你自己的视频播放器之自定义MoveToPointSlider

前言&#xff1a; 这几天在网络上看到不少人在问如何创建一个Video Player&#xff08;Silverlight版本&#xff09; 而我在微软和这方面打了不少交道 所以计划用两篇文章解答下大家的问题 本篇文章先介绍下如何创建一个自定义的滚动条 下篇文章创建完整的一个Video Player 问题…
阅读更多...
hive 多用户访问模注意问题

hive 多用户访问模注意问题

首先是安装mysql 安装mysql数据库及客户端 yum install mysql-server yum install mysql servicemysqld start步骤一&#xff1a; yum -y install mysql-server步骤二&#xff1a;service mysqld start步骤三&#xff1a;mysql -u root -p　　Enter password: &#xff08;默认…
阅读更多...
10行代码实现小程序支付功能！丨实战

10行代码实现小程序支付功能！丨实战

前面给大家讲过一个借助小程序云开发实现微信支付的&#xff0c;但是那个操作稍微有点繁琐&#xff0c;并且还会经常出现问题&#xff0c;今天就给大家讲一个简单的&#xff0c;并且借助官方支付api实现小程序支付功能。 传送门&#xff1a;借助小程序云开发实现小程序支付功能…
阅读更多...
ASP.NET站点导航(五)

ASP.NET站点导航(五)

理解并扩展 ASP.NET 2.0 中的站点导航系统 http://msdn.microsoft.com/zh-cn/library/aa479338.aspx 发布日期 : 2006-3-15 | 更新日期 : 2006-3-15David Gristwood Developer & Platform Group, Microsoft 适用于&#xff1a; Microsoft ASP.NET 2.0 (Beta 2) 摘要&#…
阅读更多...
java面试题32：Java网络程序设计中,下列正确的描述是（）

java面试题32：Java网络程序设计中,下列正确的描述是（）

java面试题32&#xff1a;Java网络程序设计中,下列正确的描述是&#xff08;&#xff09; A&#xff1a;Java网络编程API建立在Socket基础之上 B:Java网络接口只支持tcP以及其上层协议 C&#xff1a;Java网络接口只支持UDP以及其上层协议 D:Java网络接口支持IP以上的所有高…
阅读更多...
【收藏】C# WinForm开发系列 - DataGridView 使用方法集锦 - 宁波.Net技术讨论区

【收藏】C# WinForm开发系列 - DataGridView 使用方法集锦 - 宁波.Net技术讨论区

1.DataGridView实现课程表 testcontrol.rar 2.DataGridView二维表头及单元格合并 DataGridView单元格合并和二维表头.rar myMultiColHeaderDgv.rar 3.DataGridView单元格显示GIF图片 gifanimationindatagrid.rar 4.自定义显示DataGridView列(行头显示行号与图标,同一单元格显示…
阅读更多...
Java中Map, List, Set和Queue的区别和使用场景

Java中Map, List, Set和Queue的区别和使用场景

转&#xff1a;https://blog.csdn.net/kingcat666/article/details/75579632 1. Java集合类基本概念 在编程中&#xff0c;常常需要集中存放多个数据。从传统意义上讲&#xff0c;数组是我们的一个很好的选择&#xff0c;前提是我们事先已经明确知道我们将要保存的对象的数量…
阅读更多...
Proxy server 緩存 jsp html

Proxy server 緩存 jsp html

如果服務器端使用Proxy server,jsp頁面會出現頁面混亂的問題.(不同用戶登陸,出現的是同一個用戶的資料),為了避免這種情況存在,可以有兩種方法解決. eg: menu 所在頁面為toppanel.jsp,鏈接就為:http://localhost:8080/q/toppanel.jsp. 這樣user登陸可能會出現manager的menu,man…
阅读更多...
shiro学习(6)：shiro连接数据库

shiro学习(6)：shiro连接数据库

首先我们先看一下数据库 再看看数据库的测试数据 在我们创建好的maven项目中看一下目录结构 在pom.xml引入 <dependency><groupId>com.mchange</groupId><artifactId>c3p0</artifactId><version>0.9.5.2</version></dependency&g…
阅读更多...
【js监听报错】页面监听js报错问题

【js监听报错】页面监听js报错问题

<html> <head> <script type"text/javascript">// 页面监听js报错问题 οnerrοrhandleErrvar txt"" function handleErr(msg,url,l) { txt"本页中存在错误如下&#xff1a;\n\n" txt"错误&#xff1a;" msg &quo…
阅读更多...
链表逆序(JAVA实现)

链表逆序(JAVA实现)

题目&#xff1a;将一个有链表头的单向单链表逆序 分析&#xff1a; 链表为空或只有一个元素直接返回&#xff1b;设置两个前后相邻的指针p,q&#xff0c;使得p指向的节点为q指向的节点的后继&#xff1b;重复步骤2&#xff0c;直到q为空&#xff1b;调整链表头和链表尾&…
阅读更多...
【微信网页直接下载app】微信跳转-微信浏览器中直接唤起本地浏览器和App

【微信网页直接下载app】微信跳转-微信浏览器中直接唤起本地浏览器和App

文档传送门&#xff1a;https://github.com/EthanOrange/wechat-redirectdemo&#xff1a; http://wxredirect.jslab.fun/call-app 转载于:https://www.cnblogs.com/xiaohuizhang/p/11377553.html
阅读更多...
单例模式的八种写法比较

单例模式的八种写法比较

转:https://www.cnblogs.com/zhaoyan001/p/6365064.html 单例模式是最常用到的设计模式之一&#xff0c;熟悉设计模式的朋友对单例模式都不会陌生。一般介绍单例模式的书籍都会提到 饿汉式 和 懒汉式 这两种实现方式。但是除了这两种方式&#xff0c;本文还会介绍其他几种实现…
阅读更多...
java面试题37 关于对象成员占用内存的说法哪个正确？（ ）

java面试题37 关于对象成员占用内存的说法哪个正确？（ ）

java面试题37 关于对象成员占用内存的说法哪个正确&#xff1f;&#xff08; &#xff09; A 同一个类的对象共用同一段内存 B 同一个类的对象使用不同的内存段&#xff0c;但静态成员共享相同的内存空间 C 对象的方法不占用内存 D 以上都不对 蒙蔽树上蒙蔽果&#xff0c;…
阅读更多...
.NET Framework学习笔记（十）

.NET Framework学习笔记（十）

17.委托 .NET框架使用委托delegate来提供回调函数机制。 classSet{ private Object[] items; public Set(int numItems) { items new Object[numItems]; for (int i 0; i < numItems; i) { items[i] i; } }publicdel…
阅读更多...
GridView强制不换行

GridView强制不换行

前提是不能设置GridView的列宽(可以设置表头的宽度代替列宽) 把下面代码加到Me.objGv.DataBind()下面 GridView表头强制不换行objGv.HeaderRow.Style.Add("word-break", "keep-all")GridView内容强制不换行Fori AsInteger0ToobjGv.Rows.Count -1Forj AsInt…
阅读更多...
Java集合——HashMap、HashTable以及ConCurrentHashMap异同比较

Java集合——HashMap、HashTable以及ConCurrentHashMap异同比较

转发:https://www.cnblogs.com/zx-bob-123/archive/2017/12/26/8118074.html 0. 前言 HashMap和HashTable的区别一种比较简单的回答是&#xff1a; &#xff08;1&#xff09;HashMap是非线程安全的&#xff0c;HashTable是线程安全的。 &#xff08;2&#xff09;HashMap的…
阅读更多...
不用AJAX框架实现AJAX效果

不用AJAX框架实现AJAX效果

AJAX( Asynchronous JavaScript and XML),即&#xff1a;javascript和XML; 是一种进行页面局部异步处理数据的技术&#xff0c;用AJAX向服务器发送请求和获取服务器返回的数据并且更新到界面中&#xff0c;不是整个页面的刷新&#xff0c;而是HTML页面中使用JAVASCRIPT创建XMLH…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023