【python数据分析】北京房租数据分析

北京租房数据分析
下图展示的北京链家租房的数据，请针对以下数据进行数据清洗及展开数据分析，具体要求：

运用数据清洗等常规方法对数据进行预处理；
针对出租屋不同的户型、房屋面积、房屋所属区域分别进行租金分析，并用可视化的图表进行展示；
针对出租屋的地理位置进行地图的可视化展示（在地图上展示出房屋的数量和价格）；
建议运用预测算法模型对租房价格进行预测，可以选取其中一部分作为测试数据，以检验算法模型的效果。

import pandas as pd
import matplotlib.pyplot as plt
# 设置字体为SimHei以支持汉字
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False# 加载数据
df = pd.read_csv('链家北京租房数据.csv',encoding='gbk')
print(type(df))
dfdf.describe()print(df.loc[:,'面积(㎡)'])
print(type(df.loc[:,'面积(㎡)']))# 转换面积列为数值类型
df.loc[:,'面积(㎡)'] = df.loc[:,'面积(㎡)'].str.replace('平米','').astype(float)
df.loc[:,'面积(㎡)']#把户型表达方式统一
df.loc[:,'户型'] = df.loc[:,'户型'].str.replace('房间','室')df.loc[:,'价格(元/月)']#数据预处理完进行去重操作
df = df.drop_duplicates()
dfdf.describe()#按照户型进行分类并取得每个户型的平均房价
df_hx = df.groupby('户型')['价格(元/月)'].mean()
df_hx#设置图像大小
plt.figure(figsize=(16,9)) 
#将x轴文本竖向展示
plt.xticks(rotation=90)
#绘制折线图
plt.plot(df_hx.index,df_hx)
#设置标题
plt.title('不同户型的平均租金')
plt.xlabel('户型')
plt.ylabel('平均租金 (元/月)')
plt.show()# 2. 房屋面积与租金的关系
plt.figure(figsize=(10, 6))
plt.scatter(df.loc[:,'面积(㎡)'], df.loc[:,'价格(元/月)'])
plt.title('房屋面积与租金的关系')
plt.xlabel('面积 (㎡)')
plt.ylabel('租金 (元/月)')
plt.show()df_qy = df.groupby('区域')['价格(元/月)'].mean()
df_qy#设置图像大小
plt.figure(figsize=(16,9)) 
#将x轴文本竖向展示
plt.xticks(rotation=90)
#绘制折线图
plt.bar(df_qy.index,df_qy)
#设置标题
plt.title('不同区域的平均租金')
plt.xlabel('区域')
plt.ylabel('平均租金 (元/月)')
plt.show()df.loc[:,'区域'].drop_duplicates()print(df.groupby('区域')['区域'].count())import folium
from folium.plugins import MarkerCluster# 北京各区域的中心点坐标
coords = {'东城': [39.917, 116.416],'丰台': [39.8585, 116.2868],'亦庄开发':[39.795,116.505],'大兴':[39.73,116.33],'房山':[39.75,116.13],'昌平':[40.22072,116.2312],'朝阳': [39.9219, 116.4435],'海淀': [39.9561, 116.3103],'石景山': [39.9067, 116.2220],'西城': [39.912, 116.366],'通州': [39.9092, 116.6572],'门头沟': [39.9405, 116.1020],'顺义': [40.1301, 116.6546]
}# 创建地图对象，设置北京市为中心点
map = folium.Map(location=[39.9168, 116.4543], zoom_start=10)# 使用MarkerCluster插件创建一个聚类对象，并将其添加到地图上
marker_cluster = MarkerCluster().add_to(map)# 在地图上添加标记
# 1 逐行遍历#iterrows(): 将DataFrame迭代为(insex, Series)对。
for index, row in df.iterrows():
# 2 判断区域位置if row['区域'] in coords:s = f'小区名称:{row["小区名称"]}\n户型:{row["户型"]}\n租金: {row["价格(元/月)"]}元/月\n面积: {row["面积(㎡)"]}平米'folium.Marker(location=coords[row['区域']], #用于确定标记部件的经纬位置popup=folium.Popup(s,max_width=160) #添加标记提示信息，设置宽度).add_to(marker_cluster) # 将标记添加到聚类对象中# 显示地图
map.save('北京租房地图2.html')from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer# 特征选择
features = ['区域', '面积(㎡)', '户型']# 划分特征和目标变量
X = df[features]
y = df.loc[:,'价格(元/月)']# 对分类特征进行独热编码
# 这些特征值并不是连续的，而是离散的，无序的。需要对其进行特征数字化。
ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), ['区域', '户型'])],remainder='passthrough' #将未被处理的列保持原样,默认是删除未被处理的列
)#对独热编码的数据进行转换
X_encoded = ct.fit_transform(X) from sklearn.model_selection import train_test_split
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
from sklearn.metrics import r2_score# 划分训练集和测试集
# X_train 和 y_train 是训练集的特征和目标变量，X_test 和 y_test 是测试集的特征和目标变量。
X_train, X_test, y_train, y_test = train_test_split(X_encoded, y, test_size=0.2, random_state=42)linear_reg1 = LinearRegression()
linear_reg1.fit(X_train,y_train)y_pred1 = linear_reg1.predict(X_test)#评估性能模型
print(f'R2系数：{r2_score(y_test, y_pred1)}')# 训练集的散点图
plt.scatter(y_train, linear_reg1.predict(X_train), color='blue', label='训练集')# 测试集的散点图
plt.scatter(y_test, y_pred1, color='red', label='测试集')
plt.plot(y_test, y_test, linestyle='-.', color='black', linewidth=2)
plt.title('实际租金vs预测租金')
plt.xlabel('实际租金(元/月)')
plt.ylabel('预测租金(元/月)')
plt.legend()
plt.show()# 划分训练集和测试集
# X_train 和 y_train 是训练集的特征和目标变量，X_test 和 y_test 是测试集的特征和目标变量。
X_train, X_test, y_train, y_test = train_test_split(X_encoded, y, test_size=0.2, random_state=42)# 创建包含多项式特征的模型增加模型对数据的拟合能力
poly_features  = PolynomialFeatures(degree=2)
# 转换特征
X_train_poly = poly_features.fit_transform(X_train) #对训练集特征转换
X_test_poly = poly_features.transform(X_test) #对测试集进行相同的转换#线性拟合
linear_reg2 = LinearRegression()
linear_reg2.fit(X_train_poly, y_train)y_pred2 = linear_reg2.predict(X_test_poly)#评估性能模型
print(f'R2系数：{r2_score(y_test, y_pred2)}')# 训练集的散点图
plt.scatter(y_train, linear_reg2.predict(X_train_poly), color='blue', label='训练集')# 测试集的散点图
plt.scatter(y_test, y_pred2, color='red', label='测试集')
plt.plot(y_test, y_test, linestyle='--', color='black', linewidth=2)
plt.title('实际租金vs预测租金')
plt.xlabel('实际租金(元/月)')
plt.ylabel('预测租金(元/月)')
plt.legend()
plt.show()from sklearn.metrics import r2_score
#评估性能模型
print(f'R2系数：{r2_score(y_test, y_pred2)}')from sklearn.ensemble import RandomForestRegressor# 使用随机森林回归模型
rf_reg = RandomForestRegressor(n_estimators=100, random_state=42)
rf_reg.fit(X_train_poly, y_train)# 在测试集上进行预测
y_pred_rf = rf_reg.predict(X_test_poly)# 评估性能模型
r2_score_rf = r2_score(y_test, y_pred_rf)
print(f'R2系数(随机森林回归):{r2_score_rf}')