搭建自己的金融数据源和量化分析平台（二）：读取上交所股票列表

我在上交所没发现上交所有像深交所一样的一键下载股票xls文档的按钮，因此上交所的股票列表读取就会比较麻烦。总体思路是查出来所有股票的代码之后根据股票代码逐一发起HTTP请求读取公司英文名、总股本、流通股本等详细信息，这就导致上交所爬虫的网络交互次数远超深交所。
这里放出上交所爬虫模块的代码：

# -*- coding: utf-8 -*-
# 上海交易所爬虫
import json
import random
import timeimport requestsLIST = "L"  # 上市状态:上市
DELISTED = "D"  # 上市状态:退市
PAUSED = "P"  # 上市状态:暂停上市
SSE = "SSE"  # 交易所:上交所
market_ZB = "主板"  # 市场类型：主板
market_KCB = "科创板"  # 市场类型：科创板def get_stock_list(industry_list):s = requests.session()s.keep_alive = False# 读取沪市主板股票代码ZB_url = "https://query.sse.com.cn/sseQuery/commonQuery.do?jsonCallBack=jsonpCallback"+str(random.randint(10000, 999999))+"&STOCK_TYPE=1&REG_PROVINCE=&CSRC_CODE=&STOCK_CODE=&sqlId=COMMON_SSE_CP_GPJCTPZ_GPLB_GP_L&COMPANY_STATUS=2%2C4%2C5%2C7%2C8&type=inParams&isPagination=true&pageHelp.cacheSize=1&pageHelp.beginPage=1&pageHelp.pageSize=4000&pageHelp.pageNo=1&pageHelp.endPage=1"# 读取沪市科创板股票代码KCB_url = "https://query.sse.com.cn/sseQuery/commonQuery.do?jsonCallBack=jsonpCallback"+str(random.randint(10000, 999999))+"&STOCK_TYPE=8&REG_PROVINCE=&CSRC_CODE=&STOCK_CODE=&sqlId=COMMON_SSE_CP_GPJCTPZ_GPLB_GP_L&COMPANY_STATUS=2%2C4%2C5%2C7%2C8&type=inParams&isPagination=true&pageHelp.cacheSize=1&pageHelp.beginPage=1&pageHelp.pageSize=4000&pageHelp.pageNo=1&pageHelp.endPage=1"# 根据股票代码查询公司基本情况stock_detail_url = "https://query.sse.com.cn/commonQuery.do?jsonCallBack=jsonpCallback"+str(random.randint(100000, 999999999))+"&isPagination=false&sqlId=COMMON_SSE_CP_GPJCTPZ_GPLB_GPGK_GSGK_C&COMPANY_CODE="# 根据股票代码查询公司总股本和流通股本stock_select_totalshare_url = "https://query.sse.com.cn/commonQuery.do?jsonCallBack=jsonpCallback"+str(random.randint(100000, 999999999))+"&isPagination=false&sqlId=COMMON_SSE_CP_GPJCTPZ_GPLB_GPGK_GBJG_C&COMPANY_CODE="headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3','Referer': 'https://www.sse.com.cn/','Connection': 'close'}# 读取主板股票数据ZB_response = requests.get(url=ZB_url, headers=headers)ZB_data = json.loads(ZB_response.text.split('"data":')[1].split(',"endDate"')[0])stocks = []for stock in ZB_data:stock['market'] = market_ZBstocks.append(stock)# 读取科创板股票数据KCB_response = requests.get(url=KCB_url, headers=headers)KCB_data = json.loads(KCB_response.text.split('"data":')[1].split(',"endDate"')[0])for stock in KCB_data:stock['market'] = market_KCBstocks.append(stock)result = []for stock in stocks:time.sleep(2)_url = stock_detail_url+stock["A_STOCK_CODE"]# 根据股票代码查询详细信息stock_detail_info_json = requests.get(url=_url, headers=headers, timeout=4000)detail_info = json.loads(stock_detail_info_json.text.split('"queryDate":"","result":')[1].split(',"securityCode":"","sqlId"')[0])[0]# 解析股票代码stock_code = stock["A_STOCK_CODE"]# 解析股票名称stock_name = stock["COMPANY_ABBR"]# 解析上市公司所属省份province = detail_info['AREA_NAME'].replace("省","").replace("市","").replace("自治区","").replace("维吾尔","").replace("壮族","").replace("回族","")# 解析上市公司所属一级、二级行业industry_chinese = detail_info["CSRC_CODE_DESC"]industry_2_chinese = detail_info["CSRC_GREAT_CODE_DESC"]# 行业搜索成功标记industry_flag_1 = Falseindustry_flag_2 = Falseindustry = ''industry_2 = ''for industry_info in industry_list:if industry_info[1] == industry_chinese:industry = industry_info[0]  # 一级行业industry_flag_1 = Trueif industry_info[1]== industry_2_chinese:industry_2 = industry_info[0]  # 二级行业industry_flag_2 = Trueif industry_flag_1 is True and industry_flag_2 is True:break# 不存在该一级行业，直接返回报错信息if industry_flag_1 is False:return 'industry_info_error'# 不存在该二级行业，将二级行业置空else:if industry_flag_2 is False:industry_2 = None#解析上市公司英文全称enname = detail_info['FULL_NAME_EN']#解析上市公司所属市场类型market = stock['market']#生成上市公司所属交易所代码为SSEexchange = SSE#生成股票的上市状态list_status = LIST#生成股票的上市日期list_date_str = detail_info['A_LIST_DATE']list_date = list_date_str[0:4]+"-"+list_date_str[4:6]+"-"+list_date_str[6:8]#生成股票退市日期delist_date = None#查询股票总股本和流通股本totalshare_url = stock_select_totalshare_url+stock["A_STOCK_CODE"]stock_totalshare_info_json = requests.get(url=totalshare_url, headers=headers, timeout=4000)share_info = json.loads(stock_totalshare_info_json.text.split('"queryDate":"","result":')[1].split(',"securityCode":"","sqlId"')[0])[0]# 统一沪深交易所股本数据结构total_share = str(float(share_info["TOTAL_DOMESTIC_VOL"])*10000)float_share = str(float(share_info["TOTAL_UNLIMIT_VOL"])*10000)# 组合股票数据result.append((stock_code, stock_name, province, industry, industry_2, enname, market, exchange,list_status, list_date, delist_date, total_share, float_share))print((stock_code, stock_name, province, industry, industry_2, enname, market, exchange,list_status, list_date, delist_date, total_share, float_share))return result

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/51109.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

堆的实现-适用于算法竞赛

堆的实现-适用于算法竞赛

首先讲一下能够实现的操作。 插入一个数查找最小值删除最小值删除任意一个元素修改任意一个元素 什么是堆？ 堆其实是一棵完全二叉树。 即处理叶子节点和倒数第一层节点，其他节点都有两个子节点，而且顺序是从上到下，从左到右。 …
阅读更多...
使用VMware安装Linux虚拟机

使用VMware安装Linux虚拟机

一、下载 通过百度网盘分享的文件：CentOS系统安装包 链接：https://pan.baidu.com/s/1_eqYl8HcNt2GcGDjgOElgg 提取码：cu07 二、安装 （1）双击打开软件 （2） 创建新的虚拟机 （3&…
阅读更多...
PyQt ERROR:ModuleNotFoundError: No module named ‘matplotlib‘

PyQt ERROR:ModuleNotFoundError: No module named ‘matplotlib‘

Solution:打开cmd输入指令下载malplotlib pip install matplotlib
阅读更多...
Kubernetes：优势、场景与特点

Kubernetes：优势、场景与特点

Kubernetes：优势、场景与特点 1、优势2、适应场景3、特点💖The Begin💖点点关注，收藏不迷路💖 1、优势 容器编排：自动化管理容器生命周期，简化运维。轻量级开源：降低部署成本，易于集成到现有系统。弹性伸缩：根据业务负载自动调整资源，确保应用性能。负载均衡：高…
阅读更多...
微软第四季度财报预览：增长动力追踪

微软第四季度财报预览：增长动力追踪

微软公司即将在2024年7月30日（周二）美国市场收盘后发布第四季度财务结果。 微软的收益 - 预期如何 美股券商开户通道 市场预计，微软即将到来的2024年第四季度的收入将年增长14.5%，达到644亿美元，高于2023年第四季度…
阅读更多...
linux添加普通用户后无法使用K8S的kubectl命令怎么办/Linux普通用户管理K8S/Linux下普通用户无法使用K8S命令

linux添加普通用户后无法使用K8S的kubectl命令怎么办/Linux普通用户管理K8S/Linux下普通用户无法使用K8S命令

1.给Linux添加普通用户 sudo useradd mqq #添加mqq账号 sudo passwd mqq #给mqq账号设置密码，需要输入2次，我输入密码是Admin1232.利用mqq用户输入K8S命令报错 3.给mqq用户提权 suduers文件位于路径/etc/sudoers #编辑文件/etc/sudoers vim /etc/su…
阅读更多...
Matlab编程资源库（10）离散傅立叶变换

Matlab编程资源库（10）离散傅立叶变换

一、离散傅立叶变换算法简要 给定一个N点的离散信号序列x(n)，其中n表示时刻，n 0, 1, 2, ..., N-1。 定义离散傅立叶变换的频域序列X(k)，其中k表示频率，k 0, 1, 2, ..., N-1。 通过以下公式计算每个频率对应的复数值&#xff…
阅读更多...
Python实战：实现B-树

Python实战：实现B-树

B-树是一种自平衡的树数据结构，广泛用于数据库和文件系统中，因为它能够维护排序数据并支持高效的插入、删除和查找操作。在本篇博客中，我们将探讨B-树的概念，并通过Python实现来加深理解。 什么是B-树？ B-树是一种平…
阅读更多...
03。正式拿捏ArkTS语言第一天

03。正式拿捏ArkTS语言第一天

1, 打印日志命令 ： console.log() 2, 三种基本数据类型： number 数字类型 （数字） string 字符串类型（例如：“我是字符串”） boolean 布尔类型 (true 或者 false) ***…
阅读更多...
【C语言报错已解决】Use of Uninitialized Variable

【C语言报错已解决】Use of Uninitialized Variable

🎬 鸽芷咕：个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想，就是为了理想的生活! 引言： 在编程中，未初始化的变量是一个常见的问题，它可能导致程序的行为变得不可预测。未初…
阅读更多...
Matlab更换主题颜色附代码

Matlab更换主题颜色附代码

解压后参考记录本教程 GitHub - scottclowe/matlab-schemer: Apply and save color schemes in MATLAB with ease. 本博客绑定了资源
阅读更多...
【前端 08】简单学习js字符串

【前端 08】简单学习js字符串

JavaScript中的String对象详解 在JavaScript中，字符串（String）是一种非常基础且常用的数据类型，用于表示文本数据。虽然JavaScript中的字符串是原始数据类型，但它们的行为类似于对象，因为JavaScript为字符…
阅读更多...
windows 安装 Linux 子系统 Ubuntu，并编译安装nginx

windows 安装 Linux 子系统 Ubuntu，并编译安装nginx

1. 安装Ubuntu 首先可以在 Microsoft Store 自行搜索安装 Ubuntu，个人建议安装 22 版本的即可。Ubuntu安装完成后，以管理员身份打开CMD，运行如下命令： wsl --install 此时打开Ubuntu已经可以正常使用了。 2. 安装C/C编译器 对于…
阅读更多...
java算法day25

java算法day25

java算法day25 广度优先搜索岛屿数量深搜岛屿数量广搜 广度优先搜索 核心：从起点出发，以起始点为中心一圈一圈进行搜索，一旦遇到终点，记录之前走过的节点就是一条最短路。搜索的方式是上下左右 一张图说明白模拟过程&#xff1…
阅读更多...
【C语言】深入探讨数组传参

【C语言】深入探讨数组传参

一、数组传参简介 在C语言中，数组传参是一个常见的操作，尤其是在处理大量数据或需要多次访问相同数据集时。理解如何传递数组以及这些方法之间的差异是编写高效和安全代码的关键。在这篇博客中，我们将详细讨论C语言中数组传参的几种常见方法&…
阅读更多...
docker 构建 qemu

docker 构建 qemu

docker 编译 安装 qemu 安装依赖软件 apt-get install -y zlib1g-dev pkg-config libglib2.0-dev libmount-dev libpixman-1-dev apt-get install -y zlib1g-dev pkg-config libglib2.0-dev libmount-dev libpixman-1-devsudo apt-get install ptyhon3.7 sudo apt-get insta…
阅读更多...
rhce THE homework of first

rhce THE homework of first

ssh远程免密登录成功 下载httpd和nginx 关闭防火墙 查看selinux的状态 为服务器配置ip 填充网站的内容 添加服务器配置
阅读更多...
Python爬虫入门01：在Chrome浏览器轻松抓包

Python爬虫入门01：在Chrome浏览器轻松抓包

文章目录 爬虫基本概念爬虫定义爬虫工作原理爬虫流程爬虫类型爬虫面临的挑战 使用Chrome浏览器抓包查看网页HTML代码查看HTTP请求请求头（Request Header）服务器响应抓包的意义 爬虫基本概念 爬虫定义 爬虫（Web Crawler 或 Spider&#xff0…
阅读更多...
MongoDB教程（二十三）：关于MongoDB自增机制

MongoDB教程（二十三）：关于MongoDB自增机制

💝💝💝首先，欢迎各位来到我的博客，很高兴能够在这里和您见面！希望您在这里不仅可以有所收获，同时也能感受到一份轻松欢乐的氛围，祝你生活愉快！ 文章目录 引言一、MongoD…
阅读更多...
数字孪生在奥运会上的应用

数字孪生在奥运会上的应用

数字孪生是一种精确的虚拟空间表示，能够实时模拟场馆内的各种变化或场景。国际奥委会正在确定高价值的应用案例和技术要求，将应用案例分为六个主要领域：场馆规划、利益相关者支持与参与、操作准备、粉丝体验、遗产和运营效率。每个案例将基于…
阅读更多...
最新文章

Copyright @ 2022~2023