R语言-Kindle特价书爬榜示例 输出HTML小技巧

20170209更新:

根据回复提示,rvest包更新,原用函数html作废,需改用read_html

并后续amazon网页改版等

因此此文章代码失效!各位可看评论内容了解详情

等以后有空再重写一遍代码,抱歉。果然代码还是放在github上好啊。。。。

----------------------------------

博客总目录:http://www.cnblogs.com/weibaar/p/4507801.html

----

自从买了kindle以后,总是想要定期刷有没有便宜的书,amazon经常有些1元/2元的书打特价,但是每次都去刷那些榜单太麻烦了,而且榜单又不能按照价格排名,捞书有点累

所以自己用R语言的rvest包简单写了一个小程序,让它自动按照不同价格区间把特价书给分出来。

主要看的是kindle新品排行榜和最快畅销榜。

销售爬升最快榜: http://www.amazon.cn/gp/movers-and-shakers/digital-text/

新品榜: http://www.amazon.cn/gp/new-releases/digital-text/

 

不在博客园上阅读时才会看到的,这篇博文归http://www.cnblogs.com/weibaar 所有

仅保证在博客园博客上的排版干净利索还有代码块与图片正确显示,他站请保留作者信息尊重版权啊

需要预先安装data.table / dplyr / rvest包。

代码如下

install.packages("rvest")
install.packages("data.table")
install.packages("dplyr")

 

主要分享点是:

1、Rvest的简单应用实例
2、如何把数据框(data.frame or table) 输出为html文件,即添加html脚本的方法

 

 1 library(rvest)
 2 library(data.table)
 3 library(dplyr)
 4 #这里是导入网址。研究一下amazon的顺序,直接导入就好
 5 id<-1:5
 6 url_increase_fast<-paste0(
 7         "http://www.amazon.cn/gp/movers-and-shakers/digital-text/ref=zg_bsms_digital-text_pg_",
 8         id,
 9         "?ie=UTF8&pg=",
10         id)
11 url_newest<-paste0(
12         "http://www.amazon.cn/gp/new-releases/digital-text/ref=zg_bsnr_digital-text_pg_",
13         id,
14         "?ie=UTF8&pg=",
15         id)
16 url<-c(url_increase_fast,url_newest)
17 #这里编写readdata函数,读取网页内容。里面有些不常用的字段,为了最后导出效果好看,我没全部都导。
18 #有额外需要的可以自己改编,譬如分类啊,好评率啊等等。对我来说,知道价格、书名就够了
19 readdata<-function(i){
20         web<-html(url[i],encoding="UTF-8")
21         title<-web %>% html_nodes("div.zg_title") %>% html_text()
22         title_short<-substr(title,1,20)
23         price<-as.numeric(gsub("","",web %>% html_nodes("div.zg_itemPriceBlock_normal strong.price") %>% html_text()))
24         ranking_movement<-web %>% html_nodes("span.zg_salesMovement") %>% html_text()
25         rank_number<-as.numeric(gsub("\\.","",web %>% html_nodes("span.zg_rankNumber") %>% html_text()))
26         #新书榜里没有销售变动记录,所以记为NA
27         if (length(ranking_movement)==0) {ranking_movement=rep(NA,20)
28                                           rank_number=rep(NA,20)}
29         link<-gsub("\\\n","",web %>% html_nodes("div.zg_title a") %>% html_attr("href"))
30         ASIN<-sapply(strsplit(link,split = "/dp/"),function(e)e[2])
31         img<-web %>% html_nodes("div.zg_itemImage_normal img")  %>% html_attr("src")
32         #这里加上html代码
33         img_link<-paste0("<img src='",img,"'>")
34         title_link<-paste0("<a href='",link,"'>",title_short,"</a>")
35         #合并数据
36         combine<-data.table(img_link,title_link,price,ranking_movement)
37         setnames(combine,c("图像","书名","价格","销售变动"))
38         #以防被封IP,设为5秒跑一次数据。
39         Sys.sleep(5)
40         combine
41 }
42 
43 #做一个循坏开始跑数
44 final<-data.table()
45 for (i in 1:10){
46         final<-rbind(final,readdata(i))
47         print(i)
48 }
49 
50 #这里编写一个函数,把data.table转化为html_table#要点请查看w3school,table页,以<table>开始,表头是<th>,行与行之间是<tr>#主要就是sapply, apply,paste的应用啦……就是把数据框先加<td>,再加<tr>,最后外面套一层<table>
51 transfer_html_table<-function(rawdata){
52         title<-paste0("<th>",names(rawdata),"</th>")
53         content<-sapply(rawdata,function(e)paste0("<td>",e,"</td>"))
54         content<-apply(content,1,function(e) paste0(e,collapse = ""))
55         content<-paste0("<tr>",content,"</tr>")
56         bbb<-c("<table border=1><tr>",title,"</tr>",content,"</table>")
57         bbb
58 }
59 #这里应用transfer_html_table函数,把榜单输出为html表格
60 final_less1<-transfer_html_table(rawdata=final %>% filter(价格<=1))
61 write(final_less1,"~//Kindle-低于1元特价书.html")
62 
63 
64 final_1_2<-transfer_html_table(rawdata=final %>% filter(价格>1 & 价格<=2))
65 write(final_1_2,"~//Kindle_1-2元特价书.html")
66 
67 final_2_5<-transfer_html_table(rawdata=final %>% filter(价格>2 & 价格<=5))
68 write(final_2_5,"~//Kindle_2-5元特价书.html")

 

 

 

最后在我的文档("~//"表示定位到我的文档那里)会找到三个HTML文件,打开来,大概长下面这个样子,于是就可以很愉悦得选书了。Kindle时不时会把一些好书1元贱卖的~~所以有了kindle经常手贱,有这个小脚本之后我觉得我会更加手贱买书了。。。

 

如果大家有兴趣,还可以去搜一下R语言批处理、自动运行等文章来看,把这个代码设为定期跑一下,然后让结果能够累计保存。那么以后就知道kindle商城在什么时候调价最多了。 amazon还是比较容易爬虫的,它html页面内代码很规范整洁,除了在产品详情页里,产品描述(product description)总是被脚本保护起来,比较难爬。

不在博客园上阅读时才会看到的,这篇博文归http://www.cnblogs.com/weibaar 所有

仅保证在博客园博客上的排版干净利索还有代码块与图片正确显示,他站请保留作者信息尊重版权啊

 

以及最近开始学python了!

大牛分享了一个很好用的python IDE,叫做ANACONDA,里面那个spyder的IDE真的做的很棒~~跟rstudio有的一拼~ 而且ANACONDA集成了python 2.7,都不用单独下python了~~

然后github上有两个教程写的还蛮不错的

1、 python入门

https://github.com/qiwsir/StarterLearningPython

2、python爬虫101个示例(基于python 3)

https://github.com/compjour/search-script-scrape

转载于:https://www.cnblogs.com/weibaar/p/4824578.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/405032.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

工业RS485接口电路设计

1、电路芯片 485芯片有很多种&#xff0c;项目中用的比较多的是高速SP3485。满足RS-485和RS-422串行协议的要求&#xff0c;兼容工业标准规范&#xff0c;数据传输速率可高达10Mbps&#xff08;带负载&#xff09;。 2、工业设计 485需要做防雷考虑、瞬态过电压抑制、阻抗匹配…

MyBatis学习笔记(一)——MyBatis快速入门

转自孤傲苍狼的博客&#xff1a;http://www.cnblogs.com/xdp-gacl/p/4261895.html 一、Mybatis介绍 MyBatis是一个支持普通SQL查询&#xff0c;存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及对结果集的检索封装。MyBatis可以使用简…

一个USB HUB电路分享

1、USB HUB 当USB接口不够用的时候&#xff0c;可以采用USB HUB电路进行扩展&#xff0c;将一个USB接口扩展为多个&#xff0c;并可以使这些接口同时使用的装置。USB HUB根据所属USB协议可分为USB2.0 HUB、USB3.0 HUB与USB3.1 HUB。 选用的USB HUB芯片为 USB2514B. 参考文档&…

RIP、 OSPF、 EIGRP的区别

我们前面已经简单介绍了三种类型的动态路由协议算法分别是距离矢量算法&#xff0c;链路状态算法以及平衡混合算法&#xff0c;那么咱们今天就来看看这几种算法的类型代表&#xff1a;RIP、OSPF、EIGRP。而且它们都是内部网关协议&#xff08;IGP&#xff09;&#xff0c;也就是…

GDI+ 设置不同的分辨率来显示不同大小的图片

通过改变内存图像的分辨率来改变图像在屏幕的大小。 原理是&#xff1a;屏幕的大小/图像&#xff08;内存的图像&#xff09;的大小 屏幕的分辨率/图像&#xff08;内存的图像&#xff09;的分辨率。 注意&#xff1a;当图像的分辨率率变大时&#xff0c;图像本身的像素点的大小…

关于UILabel

一&#xff1a;创建一个label UILabel *label [[UILabel alloc]initWithFrame:CGRectMake(15, 100, 345, 100)]; 二&#xff1a;UILabel的一些属性 (1) 设置文字&#xff1a;label.text "这是我的一个Label"; (2) 设置文字颜色&#xff1a;label.textColor [UIC…

CM3计算板安装硬件时钟DS3231

1、硬件连接 DS3231是高速&#xff08;400kHz&#xff09;I2C接口的实时时钟芯片&#xff0c;0C至40C范围内精度为2ppm&#xff0c;-40C至85C范围内精度为3.5ppm&#xff0c;工作电压3.3V&#xff0c;提供电池备份&#xff0c;具有输入低功耗&#xff0c;实时时钟产生秒、分、…

初识JavaScript———JavaScript注意事项(1)

javascript能实现高级编程语言所不能实现的效果。javascript区分大小写。 JS能单独写在一个文件上&#xff0c;文件后缀为JS。JS文件不能直接运行&#xff0c;需嵌入到HTML文件中执行&#xff0c;我们需在HTML中添加如下代码&#xff0c;就可将JS文件嵌入HTML文件中。 <scri…

Source Insight(vs2012,ultraedit) 中Tab键设置为4个空格代替

From: http://blog.csdn.net/wfdtxz/article/details/8520629 Source insight中显示TAB符用4个空格代替 Options->Document Options 将 Visible tabs 打勾 - Source insight中将输入的TAB符转换为空格: 1. Options->Document Options 将 Expand Tabs 打勾2. TAB符宽度…

虚拟机性能测试:八 性能分析—Windows体验指数

先上总分&#xff0c;由于Windows VitualPC不支持Windows体验指数评分&#xff0c;所以它的分数为0。 通过对比发现除了vmware对图形处理的较好外&#xff0c;其它的虚拟机图形的处理都不怎么样。这也是影响体验指数的主要原因。其他的还是差别不大的。转载于:https://blog.51c…

java servlet+oracle 新手可看

最近公司领导告诉接下去接的一个产品&#xff0c;可能会涉及到oracle数据库&#xff0c;以前用得最多的是mssql,前些时间学了下mysql也算少许用过。oracle没接触过。应为我之前做过.net开发&#xff0c;所以数据访问接口这块&#xff0c;涉及到的ashx wcf webserver这些&#x…

Forms身份验证基本原理

要采用Forms身份验证&#xff0c;先要在应用程序根目录中的Web.config中做相应的设置: <authentication mode"forms"> <forms name".ASPXAUTH " loginUrl"/login.aspx" timeout"30" path "/"> </form…

我的SourceInsight配置(附图)

SourceInsight是个不错的工具&#xff0c;在开发过程中查看代码还是非常方便的&#xff0c;但是经常会出现这样一个问题&#xff1a;在sourceInsight中缩进整齐的代码&#xff0c;通过其他编辑器打开就不再对齐了&#xff0c;这看上去非常不爽。 在经过反复搜索、总结后&#…

onvif概念及应用?

From: http://www.seeyoucctv.com/Security_camera/948.html 什么是ONVIF? 2008年5月&#xff0c;由安讯士(AXIS)联合博世(BOSCH)及索尼(SONY)公司三方宣布将携手共同成立一个国际开放型网络视频产品标准网络接口开发论坛&#xff0c;取名为ONVIF&#xff08;Open Network V…

ONVIF测试方法及工具

From: http://www.jiangyu.org/onvif-test-tool-and-method/ 设备是否支持ONVIF验证 1 ONVIF Test Tool安装 1.1PC安装环境要求&#xff1a;装有Microsoft .Net Framework 3.5或以上版本。 1.2安装源文件请见&#xff1a;ONVIF Conformance Test Tools.rar 2 ONVIF Conforma…

JavaScript窗体控制函数

2019独角兽企业重金招聘Python工程师标准>>> moveBy 从当前位置水平移动窗体x个像素&#xff0c;垂直移动窗体y个像素&#xff0c;x为负数&#xff0c;将向左移动窗体&#xff0c;y为负数&#xff0c;将向上移动窗体 moveTo 移动窗体左上角到相对于屏幕左上角的(x,y…

onvif规范 中文介绍

From: http://blog.csdn.net/ghostyu/article/details/8162193 什么是ONVIF ? ONVIF规范描述了网络视频的模型、接口、数据类型以及数据交互的模式。并复用了一些现有的标准&#xff0c;如WS系列标准等。 ONVIF规范的目标是实现一个网络视频框架协议&#xff0c;使不同厂商所…

16、常用shell命令方法

1、shell基本 2、父shell在执行shell命令时&#xff0c;通常是创建子shell&#xff0c;继承父shell环境&#xff0c;执行命令&#xff0c;退出&#xff0c;相关环境销毁&#xff1b;父shell得到子shell的退出状态。 通过命令.或source来使其有当前环境中执行&#xff0c;而不创…

CM3计算板RTC闹钟唤醒系统

1、前言 一个周期性控制系统的核心为CM3计算板&#xff0c;在电池供电情况下要求尽可能提高使用时长。由于系统空闲时长较多&#xff0c;因此在考虑低功耗的情况下将系统关机以进一步降低功耗。需要注意的是&#xff0c;系统关机后需要在指定时间唤醒&#xff0c;继续执行相关…

[相关总结性文章] 写给即将入行的程序员的一封信

本文来自&#xff1a;安卓航班网 首先&#xff0c;欢迎来到程序员的世界。在这个世界上&#xff0c;不是有很多人想创造软件并解决问题。你是一名hacker&#xff0c;属于那些愿意做一些有挑战性的事情的人。  “当你不创造东西时&#xff0c;你只会根据自己的感觉而不是能力去…