基于大数据的汽车信息可视化分析预测与推荐系统

温馨提示：文末有 CSDN 平台官方提供的学长 QQ 名片 :)

1. 项目简介

本项目通过集成网络爬虫技术，实时获取海量汽车数据；运用先进的ARIMA时序建模算法对数据进行深度挖掘和分析；结合flask web系统和echarts可视化工具，为用户提供直观、易用的操作界面。系统主要包含汽车销量分析、汽车品牌车系分析、汽车评分分析、汽车指导价分析、汽车价格预测和汽车个性化推荐等功能模块，旨在为汽车行业从业者、消费者及研究人员提供全面、准确的数据支持和服务。

B站详情及代码资料下载：基于大数据的汽车信息可视化分析预测与推荐系统_哔哩哔哩_bilibili

基于大数据的汽车信息可视化分析预测与推荐系统

2. 汽车信息采集

利用 requests、beautifulsoup等工具包，模拟采集并解析各品牌汽车的品牌、车系、评分、级别、车身结构、发动机、变速箱、指导价、销量等多维数据，经过数据清洗和格式化，并进行数据的存储：

response = requests.get(url, headers=headers)
response.encoding = 'gbk'
soup = BeautifulSoup(response.text, 'lxml')
cars = soup.select('div.list-cont')brand_cars = []
for car in cars:try:car_info = {'品牌': brand}name = car.select('a.font-bold')[0].textscore = car.select('span.score-number')if len(score) == 0:score = '暂无'else:score = score[0].textcar_info['车系'] = namecar_info['评分'] = scoreul = car.select('ul.lever-ul')[0]for li in ul.select('li'):data = li.text.replace('\xa0', '').replace('&nbsp;', '').replace(' ', '').strip().split('：')if '颜色' in data[0]: continueif len(data) < 2: continuecar_info[data[0]] = data[1]price = car.select('span.font-arial')[0].textprice = price.split('-')if len(price) == 1:car_info['最低指导价'] = price[0]car_info['最高指导价'] = price[0]else:car_info['最低指导价'] = price[0] + '万'car_info['最高指导价'] = price[1]car_info['链接'] = urlbrand_cars.append(car_info)except:print('error...')continue

汽车销量数据采集：

def factory_car_sell_count_spider():"""中国汽车分厂商每月销售量https://XXXXXXX/factory.html"""base_url = 'https://XXXXXXX/factory-{}-{}-{}.html'year_month = '201506'factory_month_sell_counts = []now_date = datetime.now().strftime("%Y%m")while year_month < now_date:for page_i in range(1, 5):try:url = base_url.format(year_month, year_month, page_i)print(url)resp = requests.get(url, headers=headers)resp.encoding = 'utf8'soup = BeautifulSoup(resp.text, 'lxml')table = soup.select('table.xl-table-def')trs = table[0].find_all('tr')for tr in trs:tds = tr.find_all('td')if len(tds) < 4: continue# 厂商logo......factory_month_sell_counts.append((year_month, factory_logo, factory, sell_count, ratio))time.sleep(1)except:print('error...')continue# 下个月份......

3. 基于大数据的汽车信息可视化分析预测与推荐系统

3.1 系统首页与注册登录

3.2 汽车销量分析

该功能模块使用Python中的Pandas库对汽车销量数据进行分析和可视化。首先，通过读取汽车销量数据，将数据加载到Pandas的DataFrame对象中。然后，利用Pandas提供的数据处理和分析功能，对销量数据进行统计分析，最后，利用echarts库生成柱状图和饼状图，直观地展示汽车销量的分布情况和占比情况。

3.3 汽车品牌车系分析

分析不同汽车品牌的车系数量、与汽车类型的分布情况：

3.4 汽车评分分析

分析不同品牌汽车、不同车系、车型级别的评分分布情况：

3.5 汽车指导价分析

分析不同汽车不同车系、续航里程等因素下的指导价分布情况：

3.6 基于决策树算法的汽车价格预测

利用 Xgboost 构建决策树回归算法，实现对汽车指导价的预测建模：

df_columns = dataset.columns.values
print('---> cv train to choose best_num_boost_round')
all_y = np.log1p(all_y)dtrain = xgb.DMatrix(all_x, label=all_y, feature_names=df_columns)xgb_params = {'learning_rate': 0.01,'max_depth': 4,'eval_metric': 'rmse','objective': 'reg:linear','nthread': -1,'silent': 1,'booster': 'gbtree'
}cv_result = xgb.cv(dict(xgb_params),dtrain,num_boost_round=4000,early_stopping_rounds=100,verbose_eval=100,show_stdv=False,)
best_num_boost_rounds = len(cv_result)
mean_train_logloss = cv_result.loc[best_num_boost_rounds -11: best_num_boost_rounds - 1, 'train-rmse-mean'].mean()
mean_test_logloss = cv_result.loc[best_num_boost_rounds -11: best_num_boost_rounds - 1, 'test-rmse-mean'].mean()
print('best_num_boost_rounds = {}'.format(best_num_boost_rounds))print('mean_train_rmse = {:.7f} , mean_valid_rmse = {:.7f}\n'.format(mean_train_logloss, mean_test_logloss))
print('---> training on total dataset to predict test and submit')
model = xgb.train(dict(xgb_params),dtrain,num_boost_round=best_num_boost_rounds)
# 特征重要程度
feature_importance = model.get_fscore()
feature_importance = sorted(feature_importance.items(), key=lambda d: d[1], reverse=True)

3.7 汽车个性化推荐

3.7.1 基于内容的汽车品牌车型推荐

基于内容的汽车推荐，基于用户选择的汽车品牌、车型级别、和价格区间，进行符合筛选条件的汽车车型推荐：

3.7.2 基于用户行为的汽车车型推荐

针对用户选择喜欢的车型数据，构建用户画像特征向量、汽车特征向量，通过计算向量余弦相似度，进行汽车车型的推荐：

def cos_sim(x, y):"""余弦相似性input:  x(mat):以行向量的形式存储，可以是用户或者商品y(mat):以行向量的形式存储，可以是用户或者商品output: x和y之间的余弦相似度"""x = x.reshape(1, -1)y = y.reshape(1, -1)numerator = x * y.T  # x和y之间的内积denominator = np.sqrt(x * x.T) * np.sqrt(y * y.T)return (numerator / (denominator + 0.000001))[0, 0]def similarity(data):"""计算矩阵中任意两行之间的相似度input:  data(mat):任意矩阵output: w(mat):任意两行之间的相似度"""m = np.shape(data)[0]  # 用户的数量# 初始化相似度矩阵w = np.mat(np.zeros((m, m)))for i in range(m):for j in range(i, m):if j != i:# 计算任意两行之间的相似度w[i, j] = cos_sim(data[i,], data[j,])w[j, i] = w[i, j]else:w[i, j] = 0return wdef top_k(predict, k):"""为用户推荐前k个商品input:  predict(list):排好序的商品列表k(int):推荐的商品个数output: top_recom(list):top_k个商品"""top_recom = []len_result = len(predict)if k >= len_result:top_recom = predictelse:for i in range(k):top_recom.append(predict[i])

4. 总结

欢迎大家点赞、收藏、关注、评论啦，由于篇幅有限，只展示了部分核心代码。技术交流、源码获取认准下方 CSDN 官方提供的学长 QQ 名片 :)

精彩专栏推荐订阅：

1. Python数据挖掘精品实战案例

2. 计算机视觉 CV 精品实战案例

3. 自然语言处理 NLP 精品实战案例