【机器学习】股票数据爬取与展示分析

数据爬取

一、爬取原理
二、代码实践
- 2.1 股票列表获取
- 2.1.1 确定待爬取网页
- 2.1.2 向网页发送请求获取页面响应
- 2.1.3 文本转换成JSON
- 2.1.4 将数据保存到csv文件中
- 2.2 股票数据获取
三、结果分析

一、爬取原理

request库的原理
本文中主要使用的就是Python的request库，这个库基于HTTP请求实现，使用步骤为如下四个：

发起请求：通过HTTP库向目标站点发起请求，等待目标站点服务器响应。
获取响应：若服务器正常响应，会返回一个Response，该Response即为获取得页面内容，Response可以是HTML、JSON字符串、二进制数据等数据类型。
解析内容：利用正则表达式、网页解析库对HTML进行解析；将json数据转为JSON对象进行解析；保存我们需要得二进制数据（图片、视频）。
保存数据：可将爬取并解析后的内容保存为文本，或存至数据库等。

二、代码实践

我们以最有趣的股票数据爬取来进行代码实践，说不定未来AI算法在股票分析领域大放异彩可以用来赚钱呢哈哈😊：

2.1 股票列表获取

2.1.1 确定待爬取网页

这里以东方财富为例，其他的都殊途同归😁
在这里插入图片描述
可能我们仅仅想要创业板块的数据，单独选择这个面板，然后右键鼠标选择检查页面。

在点击检查以后就会出现以下的内容，这里面的代码就是用于请求的时候要请求的内容：

这里红色框框出来的部分就是等下爬虫的时候要用到的地址api😎

2.1.2 向网页发送请求获取页面响应

## 要请求的网页：http://quote.eastmoney.com/center/gridlist.htmldef get_html(url):"""args:url: 请求的网页地址return:html: 请求到的网页内容"""# 请求网页, 随机生成一个User-Agentr = requests.get(url, headers = {'User-Agent': UserAgent().random}) # 自动获取网页的编码方式r.encoding = r.apparent_encoding # 返回网页内容return r.text # 设置请求记录数量
num = 10 
# 设置请求的网页地址
stock_url = 'http://20.push2.eastmoney.com/api/qt/clist/get?cb=jQuery1124015648513440542944_1729931309203&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:80&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1729931309454:formatted'.format(num)
# 请求网页
stock_html_text = get_html(stock_url)
# 打印请求到的网页内容
print(stock_html_text)

这里需要注意在直接复制过来的url后面需要加上一个format(num)用来限制爬取的数据数量。

2.1.3 文本转换成JSON

# 将原始的文本按照括号进行分割
json_text = stock_html_text.split('(')[1].split(')')[0]
# 将json文本转换为字典
stock_dict = json.loads(json_text)
# 打印字典
print(stock_dict)
# 提取股票信息，data是一个字典，diff是一个列表
stock_list = stock_dict['data']['diff']
# 数据解析
data_list = []
# 遍历股票列表
for data in stock_list:row = [data["f12"], data["f14"]]data_list.append(row)
# 打印数据
print(data_list)

2.1.4 将数据保存到csv文件中

f = open('dataset/stock.csv', 'w', encoding='utf-8', newline='')
writer = csv.writer(f)
writer.writerow(['股票代码', '股票名称'])
for data in data_list:writer.writerow(data)
f.close()

在这里插入图片描述

2.2 股票数据获取

首先需要选定一个股票数据网站：

https://money.finance.sina.com.cn/quotes_service/api/json_v2.php/CN_MarketData.getKLineData?symbol=sz301613&scale=5&ma=5&datalen=1023
以这个网站为例，只需要修改301613股票代码就可以了。

import csv
import urllib.request as r
import threading#读取之前获取的个股csv丢入到一个列表中
def getStockList():stockList = []f = open('dataset/stock.csv','r',encoding='utf-8')f.seek(0)reader = csv.reader(f)for item in reader:stockList.append(item)f.close()return stockListdef downloadFile(url,filepath):# print(filepath)try:r.urlretrieve(url,filepath)except Exception as e:print(e)print(filepath,"is downloaded")pass#设置信号量，控制线程并发数
sem = threading.Semaphore(1)
def downloadFileSem(url,filepath):with sem:downloadFile(url,filepath)urlStart = 'http://money.finance.sina.com.cn/quotes_service/api/json_v2.php/CN_MarketData.getKLineData?symbol=sz'
urlEnd = '&scale=5&ma=5&datalen=1023'if __name__ == '__main__':stockList = getStockList()stockList.pop(0)print(stockList)for s in stockList:scode = str(s[0].split("\t")[0])#0：沪市；1：深市url = urlStart + scode + urlEndprint(url)filepath = "dataset/" + (str(s[1].split("\t")[0]) + "_" + scode) + ".json"threading.Thread(target=downloadFileSem,args=(url,filepath)).start()

在这里插入图片描述

三、结果分析

import pandas as pd
import matplotlib.pyplot as plt# 从JSON文件加载数据
file_path = 'dataset/中科电气_300035.json'
df = pd.read_json(file_path)# 将'day'列转换为datetime类型
df['day'] = pd.to_datetime(df['day'])# 设置'day'列为索引
df.set_index('day', inplace=True)# 将数值列转换为浮点型
df[['open', 'high', 'low', 'close', 'volume']] = df[['open', 'high', 'low', 'close', 'volume']].astype(float)# 绘制收盘价随时间变化的图像
plt.figure(figsize=(12, 6))
plt.plot(df.index, df['close'], label='Close Price')
plt.xlabel('Date')
plt.ylabel('Price')
plt.title('Stock Close Price Over Time')
plt.legend()
plt.grid(True)
plt.show()