java股票数据_java抓取东方财富股票数据(附源码)

背景

前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错。

这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定。

本来我是一个德艺双磬且与世无争的佛系程序员,小小的激将法怎么会激到我,但在京隔离期间实在太闲,就看了下东方财富的网站。真是不看不知道,一看吓一跳,这网站做的我口吐芬芳。

抓取思路

我们先看下这个网站的资金流向排行榜,里面有各大股市的股票资金数据

98dcd6035fed4bbc554e9f994228f0a4.png

炒股(韭菜)的都知道,如果一个股票的净流入大单很多,那说明股票涨,流入越大,涨的越多。所以关注一只股票的资金流向很重要,而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键,根据页面源码和抓包分析,进入这个网站时,会分配一个token。而表格中的数据是异步加载的,获取数据的请求中会带着这个token,所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页,每页50个,所以在抓取时需要根据分页循环抓取数据,直至尾页。

总结步骤:

获取token

分页抓取

清洗数据

数据入库

数据入库

给大家看看我最近爬下来的数据:

ceaae5faede0571763f041d66e4cd8a6.png

抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java,大家可以直接复制到任何springboot工程中,直接运行就行,太长了,这里就不展示了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/503333.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JDK文档是Java程序开发不可缺少的编程词典

Java 构建商业应用程序或者某种物联网设备,构建了Android 操作系统,它为智能手机行业做出了杰出的贡献。借助 Android 操作系统,手机厂商才得以在早期与黑莓抗衡,之后又能够打破苹果的主导地位。 JDK文档包含有关Java API、Java命…

java string 转 inputstream_String和inputstream互转【转文】

URLConnection urlConn url.openConnection(); // 打开网站链接sBufferedReader reader new BufferedReader(new InputStreamReader(urlConn.getInputStream(), "UTF-8")); // 实例化输入流,并获取网页代码String s; // 依次循环,至到读的值…

如何准备Java初级和高级技术的面试呢?

IT行业的崛起带动了一大批的新兴职业,Java数据开发就是其中之一,作为IT行业的刚需职位,企业对合格的Java开发人员求贤若渴, 在各大主流招聘平台上, Java相关职位数量一直名列前茅,那么我们如何准备Java初级和高级技术的面试呢&…

新手学完Java可以面试哪些岗位?

在这个个时代是互联网时代,也是JavaEE人才稀缺的时代。由于中国人才缺口比较大,JavaEE也迅速成为行业和市场的热点,更多的企业无论是对人才的招聘还是在培训都成了市场刚需,这也促使JavaEE人才的薪资在同岗位中是最高的&#xff0…

java adminlte 使用_AdminLTE2管理后台自定义

项目中需要用到 AdminLTE 管理后台模板,所以,这里对后台进行一个简单的布局修改,然后结合后端语言进行快速开发一个管理后台。一、示例后台布局这个示例后台带了许多开箱即用的脚手架,我们项目中只需要简单的东东,所以…

php rpoplpush,RPOPLPUSH命令_视频讲解_用法示例-redis编程词典-php中文网

pop英 [pɒp] 美 [pɑ:p]vi.(意外地、突然地)出现;突然出现;发出爆裂声;(突然地)行动vt.(突然地)伸出;(突然地)提出问题;(把准备好的东西)突然拿出来;敲击n.流行音乐;汽水;(尤用作称呼)爸;(迅速打上的)记号adj.流行音乐的;通俗风格的;通俗的;现代的adv.爆炸;砰地a…

php论坛系统教程,国内php原创论坛

国内php原创论坛发布时间:2016-06-17 来源: 点击:次国内php原创论坛 ofstar ctb wdb discuz fastboard之比较-----个人总结由于旅行的fastboard加密了就不做比较了--当然是款不错的程序下面的比较单从技术角度出发,不考虑个人专好,毕竟个人专好,因人而异…

学习Java编程面向对象的五大基本原则

Java 是面向对象的高级编程语言,类和对象是 Java 程序的构成核心。围绕着 Java 类和 Java 对象,有三大基本特性:封装是 Java 类的编写规范、继承是类与类之间联系的一种形式、而多态为系统组件或模块之间解耦提供了解决方案。 单一职责原则&…

php实现多条件查找分页,Yii2.0框架实现带分页的多条件搜索功能示例

本文实例讲述了Yii2.0框架实现带分页的多条件搜索功能。分享给大家供大家参考,具体如下:方法一在控制器中public function actionShow(){$where[title]Yii::$app->request->get(title);$where[content]Yii::$app->request->get(content);$qu…

小白学习Java技术知识点总结,其实学习Java没那么难

边学习边记录是程序员快速进步的途径,只有你不断累积知识,才能有质的飞跃,不断的coding,累积经验。 第一讲,主要是Java环境变量的配置。 搭建好环境才能干活。要理解什么是编译、什么是运行。编译是Javac.exe程序在负…

php二维数组 xml,xml 怎样通过php解析到二维数组里面

localhost1root123<?php $doc new DOMDocument(1.0,utf-8); $doc->load("config.xml"); $roots$doc->documentElement;//获取根节点也就是config(仅有一个) $childs$roots->childNodes;//获取根节点下所有子节点也就是 db smarty for($i0;$ilength;$i)…

为什么说Java 程序员必须掌握 Spring Boot?

大部分人选择学习Java&#xff0c;自然是因为看上了Java的薪资待遇,java的地位可谓在编程界属于大佬&#xff0c;最近Spring Boot 2.0 的推出来后&#xff0c;又激起了一阵学习 Spring Boot 的热潮&#xff0c;那么&#xff0c; 使用 Spring Boot 会带来什么样的变革?一起来了…

matlab实现图片区水印,怎么在含有水印的图像中提取出水印

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼%水印嵌入代码M 256;%原始图像长度N 32; %水印图像长度K 8;I zeros(M, M);J zeros(N, N);BLOCK zeros(K, K);%显示原始图像subplot(221);I imread(C:\Users\Rocky\Documents\MATLAB\cameraman.bmp);imshow(I);title(原始图像…

你想成为Java架构师吗?掌握这六项就够了!

Java架构师&#xff0c;应该算是一些Java程序员们的一个职业目标了吧。很多码农码了五六年的代码也没能成为架构师。 我在这里分享6个专题来提高大家的编程能力 开源框架解析-架构师筑基-高性能架构-微服务架构-团队协作开发-B2C商城实战 一、开源框架解析&#xff1a; 程序…

主机不支持php5.4,GoDaddy Linux主机不再支持PHP5.3版本 | Godaddy美国主机中文指南

近日小编发现GoDaddy的Linux虚拟主机已经不再支持PHP5.3版本了&#xff0c;默认的都是5.4以上。也许是考虑到PHP5.4及以上版本性能更优&#xff0c;所以GoDaddy官方去掉了5.3的版本。GoDaddy的Linux虚拟主机支持PHPMySQL等程序环境&#xff0c;而PHP是目前网站程序中非常流行的…

Java并发编程以及并发须知的几个概念:什么是线程安全?

众所周知&#xff0c;在Java的知识体系中&#xff0c;并发编程是非常重要的一环&#xff0c;也是面试的必问题&#xff0c;一个好的Java程序员是必须对并发编程这块有所了解的。为了追求成为一个好的Java程序员&#xff0c;我决定从今天开始死磕Java的并发编程&#xff0c;尽量…

jsonschema php 例子,[宜配屋]听图阁

本文实例讲述了php使用json-schema模块实现json校验。分享给大家供大家参考&#xff0c;具体如下&#xff1a;客户端和服务端的http信息传递&#xff0c;采用json几乎成了标配。json格式简单&#xff0c;易于处理&#xff0c;不过由于没有格式规定&#xff0c;无法校验。好在ph…

Java的主要特性有哪些?

Java语言是简单的&#xff1a; Java语言的语法与C语言和C语言很接近&#xff0c;使得大多数程序员很容易学习和使用。另一方面&#xff0c;Java丢弃了C中很少使用的、很难理解的、令人迷惑的那些特性&#xff0c;如操作符重载、多继承、自动的强制类型转换。特别地&#xff0c…

车载异构网络接入matlab,车载移动异构无线网络架构及关键技术

计算机技术、通信技术和微电子技术的迅速发展&#xff0c;以及三者之间的相互渗透和融合奠定了通信网络技术的应用&#xff0c;推动了社会信息化的发展。近年来&#xff0c;车辆的爆发式增长和无处不在的信息需求也日益将通信网络和车辆紧密结合起来。人们在车辆移动过程中的通…

Java的面试汇总,有这些还担心不通过?

面试官提问的内容通常会由易到难&#xff0c;如果前面容易的内容都答不上来&#xff0c;往往就被刷了&#xff0c;如果是前面提问的都答上来了&#xff0c;他会问一些有深度的问题&#xff0c;这时候就算你回答不上来也不要慌张&#xff0c;他只是看看你的薪资水平而已 接下来…