目标概述

1. 选择目标电商网站：这里选择爬取两个不同电商网站（比如京东、淘宝）上的商品数据，包括商品名称、价格、销量和评价信息。
2. 编写爬虫：通过爬虫获取商品信息并保存数据。
3. 数据清洗与对齐：将两个电商网站抓取到的数据进行统一清洗和对齐。
4. 数据分析：进行销量分析、好评与差评分析等。

1. 安装依赖

首先，确保你安装了所需的库：

pip install requests beautifulsoup4 pandas matplotlib seaborn

2. 爬取京东和淘宝商品信息

我们分别编写爬虫来抓取京东和淘宝的商品信息。为了演示，我们抓取商品名称、价格、销量和评价。

2.1 京东爬虫

京东商品页面一般由静态HTML和JavaScript生成，我们可以通过requests和BeautifulSoup来抓取一些基本的商品信息。

import requests
from bs4 import BeautifulSoup
import pandas as pd# 设置User-Agent防止请求被拒绝
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}# 京东商品页面URL（这里只是一个示例，实际应用时需要替换为目标商品页面URL）
url = "https://search.jd.com/Search?keyword=python&enc=utf-8"response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')# 解析商品名称和价格信息
products = []
prices = []
sales = []
reviews = []# 查找所有商品容器
product_containers = soup.find_all('div', class_='gl-i-wrap')for container in product_containers:# 获取商品名称product_name = container.find('div', class_='p-name').get_text(strip=True) if container.find('div', class_='p-name') else '无名称'# 获取商品价格price = container.find('div', class_='p-price').find('strong').get_text(strip=True) if container.find('div', class_='p-price') else '无价格'# 获取销量（假设销量信息位于class为"p-commit"的标签中）sale = container.find('div', class_='p-commit').get_text(strip=True) if container.find('div', class_='p-commit') else '无销量'# 获取评价信息review = container.find('div', class_='p-icons').get_text(strip=True) if container.find('div', class_='p-icons') else '无评价'products.append(product_name)prices.append(price)sales.append(sale)reviews.append(review)# 将数据存储到Pandas DataFrame
jd_data = pd.DataFrame({'商品名称': products,'价格': prices,'销量': sales,'评价': reviews
})jd_data.to_csv('jd_products.csv', index=False, encoding='utf-8')
print(jd_data.head())

2.2 淘宝爬虫

淘宝的商品页面使用了更多的JavaScript，因此我们可以使用Selenium来模拟浏览器加载页面并抓取数据。

pip install selenium

from selenium import webdriver
from bs4 import BeautifulSoup
import time
import pandas as pd# 设置Selenium WebDriver（使用Chrome）
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无界面模式
driver = webdriver.Chrome(options=options)# 淘宝商品搜索页面URL
url = 'https://s.taobao.com/search?q=python'driver.get(url)
time.sleep(3)  # 等待页面加载# 获取页面源码
page_source = driver.page_source
soup = BeautifulSoup(page_source, 'html.parser')# 解析商品信息
products = []
prices = []
sales = []
reviews = []# 查找所有商品容器
product_containers = soup.find_all('div', class_='item J_MouserOnverReq')for container in product_containers:# 获取商品名称product_name = container.find('a', class_='J_ItemPic').get('title') if container.find('a', class_='J_ItemPic') else '无名称'# 获取商品价格price = container.find('strong').get_text(strip=True) if container.find('strong') else '无价格'# 获取销量（假设销量信息在一个包含“已售”字样的标签中）sale = container.find('div', class_='deal-cnt').get_text(strip=True) if container.find('div', class_='deal-cnt') else '无销量'# 获取评价信息review = container.find('div', class_='feedback').get_text(strip=True) if container.find('div', class_='feedback') else '无评价'products.append(product_name)prices.append(price)sales.append(sale)reviews.append(review)# 将数据存储到Pandas DataFrame
tb_data = pd.DataFrame({'商品名称': products,'价格': prices,'销量': sales,'评价': reviews
})tb_data.to_csv('tb_products.csv', index=False, encoding='utf-8')
driver.quit()
print(tb_data.head())

3. 数据清洗与对齐

由于京东和淘宝的商品数据结构不同，抓取的数据可能需要清洗和对齐。在这一步，我们可以统一格式，确保两个电商平台的数据可以对比。

# 数据清洗
# 删除空值
jd_data = jd_data.dropna()
tb_data = tb_data.dropna()# 将销量和价格转换为数字类型，去除不必要的字符
jd_data['价格'] = jd_data['价格'].str.replace('¥', '').astype(float)
tb_data['价格'] = tb_data['价格'].str.replace('¥', '').astype(float)# 将销量中的中文字符移除
jd_data['销量'] = jd_data['销量'].str.replace('人付款', '').astype(int)
tb_data['销量'] = tb_data['销量'].str.replace('已售', '').astype(int)# 去除评价中的非数字字符
jd_data['评价'] = jd_data['评价'].str.extract('(\d+)').astype(int)
tb_data['评价'] = tb_data['评价'].str.extract('(\d+)').astype(int)# 对齐两个数据集：合并并统一列名
jd_data['电商平台'] = '京东'
tb_data['电商平台'] = '淘宝'all_data = pd.concat([jd_data, tb_data], ignore_index=True)

4. 数据分析

现在我们已经将两个电商平台的数据对齐，可以进行一些基础的数据分析：

import seaborn as sns
import matplotlib.pyplot as plt# 基本统计分析
print(all_data.describe())# 1. 销量分析：哪个平台的销量更高？
plt.figure(figsize=(10, 6))
sns.boxplot(x='电商平台', y='销量', data=all_data)
plt.title('销量分析：京东与淘宝')
plt.show()# 2. 价格分析：京东与淘宝的价格分布对比
plt.figure(figsize=(10, 6))
sns.boxplot(x='电商平台', y='价格', data=all_data)
plt.title('价格分析：京东与淘宝')
plt.show()# 3. 好评分析：根据评价数量分析
plt.figure(figsize=(10, 6))
sns.histplot(all_data['评价'], bins=20, kde=True)
plt.title('评价数量分布')
plt.show()# 4. 销量与评价的关系分析：销量与评价是否相关
plt.figure(figsize=(10, 6))
sns.scatterplot(x='销量', y='评价', hue='电商平台', data=all_data)
plt.title('销量与评价数量的关系')
plt.show()

5. 注意事项

• 电商网站的反爬虫机制非常严格。为了避免被封禁，建议在实际操作中：

• 设置合理的请求间隔，避免发送过多请求。

• 使用代理IP池。

• 遵守目标网站的robots.txt规定。

• 如果数据量较大，可以考虑分批抓取数据，并存储在数据库中进行更高级的分析。

6. 免责声明

1. 内容准确性：本博客中的所有信息和内容仅供参考之用。尽管作者尽力确保所提供的信息准确无误，但不对其准确性、完整性或适用性作出任何明示或暗示的保证。作者不对因依赖或使用本博客内容而导致的任何直接或间接损失或损害负责。
2. 版权声明：本博客中的所有内容，包括文字、图片和代码，均为作者原创或引用自公开的资源。若涉及到版权问题或引用的内容不符合版权规定，请及时联系作者以做出相应的处理。未经授权，禁止以任何形式复制、转载或商业使用本博客内容。
3. 个人观点： 本博客中的观点和见解仅代表作者个人的观点，并不代表 CSDN或其他机构的观点。作者在博客中分享的技术知识和经验基于个人的学习和实践，读者在应用这些信息时需自行判断和承担风险。
4. 法律责任：作者不对因使用本博客中的信息而产生的任何法律责任或纠纷承担责任。读者在依赖本博客内容时应自行进行充分的验证，并遵守相关的法律法规。
5. 网站链接：本博客可能包含指向其他网站的链接，这些链接仅为方便读者而提供。作者不对这些网站的内容、准确性或可靠性负责。访问这些链接时，读者需自行承担风险。
6. 技术变更： 由于技术和信息更新的速度，本博客中的技术信息和建议可能会有所变化。作者不对因技术变更或信息更新造成的任何问题或损失负责。
7. 联系信息： 如果您对本博客内容有任何疑问或建议，欢迎通过作者提供的联系方式与作者沟通。作者会尽力解答您的问题并做出适当的修正。

---

推荐阅读：《Python 爬虫入门级教程之爬取小说》