当当图书网数据采集分析：10万条数据的深入洞察

基于搜索结果，我将为您提供一个关于当当图书网数据采集的文章框架，假设我们已经有了10万条数据的采集结果。请注意，由于没有具体的数据文件，以下内容将是一个示例性的框架，您可以根据实际采集到的数据进行填充和调整。

当当图书网数据采集分析：10万条数据的深入洞察

引言

在数字化时代，数据成为了理解和预测市场趋势的关键。本文将展示如何通过数据采集技术从当当图书网获取10万条图书数据，并对其进行分析，以揭示图书市场的一些有趣现象和趋势。

数据采集

采集工具与方法

使用Python语言结合requests和lxml库进行网络爬虫开发。
通过XPath表达式精确提取图书信息，包括书名、作者、单价、出版日期、出版社和书籍简介。

数据采集过程

确定采集目标和关键字。
发送HTTP请求获取网页内容。
解析网页，提取所需数据。
遍历多页以获取更多信息。
异常处理和数据存储。

数据处理

数据清洗

使用pandas库进行数据清洗，移除不完整或错误的记录。
转换数据类型，确保数据的一致性和准确性。

数据存储

将清洗后的数据存储至Excel文件和数据库中，以便进一步分析。

数据分析

书籍价格分布

分析不同价格区间的图书数量，揭示市场的价格偏好。

出版社影响力

统计各出版社的图书数量，评估市场影响力。

作者贡献度

计算每位作者的图书数量，识别市场上的热门作者。

评论分析

分析图书评论的分布情况，了解读者的反馈和偏好。

数据可视化

价格分布图

柱状图展示不同价格区间的图书数量。

出版社排名图

折线图展示出版社的图书数量排名。

作者出书数量图

条形图展示作者的出书数量。

评论热力图

热力图展示图书评论的分布情况。

结论

通过对10万条当当图书网数据的采集和分析，我们能够深入理解当前图书市场的动态，为出版社、作者和读者提供有价值的市场洞察。

在这里插入图片描述

完整代码

def get_page_tree(url):from requests.adapters import HTTPAdapterpage = requests.session()page.mount('http://',HTTPAdapter(max_retries=80))page.mount('https://',HTTPAdapter(max_retries=80))page = page.request("GET",url=url,timeout=120)print('page ' , page ,page.text)tree = etree.HTML(page.text)return tree# xpath语法 获取li对象 因为li标签不只一个 所以用lis
def get_lis(tree):lis = tree.xpath('//*[@id="search_nature_rg"]/ul/li')return lisdef deal_save(url , pressN,page_index):global sumglobal rowtree = get_page_tree(url)# 获取到lis对象lis = get_lis(tree)# time.sleep(random.randint(1,3))print("正在爬取...", url)# 遍历lis 返回index下标和itemtry:for c, i in enumerate(lis):# 根据xpath规则提取图书标题name = i.xpath('a/@title')name = str(name[0])name = name.strip()# 根据xpath规则提取图书描述desc = i.xpath('p[2]/text()')# 根据xpath规则提取图书价格和该书电子书的价格price_normal = i.xpath('p[3]/span[1]/text()')  # 纸质书的价格price_normal = price_normal[0]price_net = i.xpath('p[3]/a/i/text()')  # 电子书的价格# 根据xpath规则提取图书的作者author = i.xpath('p[@class="search_book_author"]/span[1]/a/text()')  # 作者if len(author) == 0:author = '没有作者'else:author = author[0]# 根据xpath规则提取图书出版时间press_time = i.xpath('p[@class="search_book_author"]/span[2]/text()')if len(press_time) == 0:press_time = '出版时间为空'else:press_time = press_time[0][2:]# 根据xpath规则提取图书出版社press = i.xpath('p[@class="search_book_author"]/span[3]/a/text()')if len(press) == 0:press = '出版社为空'else:press = press[0]if len(desc) != 0:desc = desc[0]else:desc = "null"if len(price_net) != 0:price_net = price_net[0]else:price_net = "暂无电子书"sum += 1# 输出信息print('第{}页--第{}条数据--累计爬取{}条:'.format(page_index, c, sum))print('书名:《{}》'.format(name))print('图书价格:{}'.format(price_normal))print('电子书价格:{}'.format(price_net))print('作者:{}'.format(author))print('出版社:{}'.format(press))print('出版时间:{}'.format(press_time))print('*' * 25)time.sleep(0.1)# 保存信息sheet.write(row, 0, name)sheet.write(row, 1, desc)sheet.write(row, 2 , price_normal)sheet.write(row, 3 , price_net)sheet.write(row, 4 , author)sheet.write(row, 5 , press_time)sheet.write(row, 6 , press)row = row + 1except Exception as e:print(e)# 主要爬虫程序  遍历给定出版社 所有的图书
def start (url , pressN):# 获取page的etreenew_url = url.format(press_name, 1)tree = get_page_tree(new_url)# 获取该出版社展示图书总页数total = tree.xpath('//*[@id="12810"]/div[5]/div[2]/div/ul/li[9]/a/text()')[0]print('{}一共{}页'.format(pressN,total))# 全局变量的sum 总数global sum# time.sleep(2)# 线程保存的数组threads = [ ]# 遍历所有页面 从1到totalfor page_index in range(1, int(total) + 1):time.sleep(0.2)temp_url = url.format(pressN,page_index)temp_t = Thread(target=deal_save , args = ( temp_url,press_name,page_index, ))threads.append(temp_t)temp_t.start()for index, t in enumerate(threads):t.join()if __name__ == '__main__':# 通过file读取所有出版社 保存为list数组s = time.time()press = []with open('Press.txt' , 'r' , encoding='utf-8') as f :a = f.read()f.close()# 拆封数据press = a.split('\n')url = 'http://search.dangdang.com/?key={}&page_index={}'# 遍历所有出版社for press_name in press:start(url , press_name)print('正在采集{}'.format(press_name))end = time.time()book.save('当当网图书汇总.xlsx')print(  '共花费：' ,str((end-s) ) , 's ,共计爬取:{}条'.format(sum))