java微博爬虫

微博爬取要做到每日百万级的数据量,需要解决很多问题。


 

1.springboot自带@Scheduled注解是一个轻量级的quartz,可以完成定时任务。只需要在运行方法上加一个@Scheduled注解即可。

该注解有许多属性值

initiaDelay 从程序开始延长一定时间后首次执行。

fixedRate  首次后,该方法固定执行间隔。

cron 定时表达式。

等等

如果想要并发编程,在要执行定时任务的类上加注解@EnableAsync,在方法上加@Async。

接下来要设置线程池的大小。

package com.cnxunao.weibospider.configuration;import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.SchedulingConfigurer;
import org.springframework.scheduling.config.ScheduledTaskRegistrar;import java.util.concurrent.Executor;
import java.util.concurrent.Executors;@Configuration
@EnableScheduling
public class ScheduleConfig implements SchedulingConfigurer {@Overridepublic void configureTasks(ScheduledTaskRegistrar taskRegistrar) {taskRegistrar.setScheduler(taskExecutor());}/** 并行执行*/@Bean(name = "TaskPool")public Executor taskExecutor() {return Executors.newScheduledThreadPool(5);}}

最后在启动类上加一个注解

 


 

2.微博的反爬机制还是蛮严格的,亲自试验让代理服务器每6秒爬取一次是很稳定的,不会被封。

也可以建立一个user_agent池用于反爬。(都是亲测可用的)

//user_Agent池private static String[] userAgents = {"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50","Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB7.0)","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)","Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12","Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.33 Safari/534.3 SE 2.X MetaSr 1.0","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1 QQBrowser/6.9.11079.201","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)"};
//随机获取总数为14useragent池中的一个
private String userAgent = userAgents[random.nextInt(14)];

注:随机获取1-13的整数 random.nextInt(13)+1 。13位容量,1位初始值。

还可以采用购买大量微博账号(很便宜)模拟登陆后,获取cookie,然后构建cookie池的方法。


 

3.购买代理ip的话,需要调用商家的API来获取代理,具体方法商家官网都有开发者文档,代码有些简单这里就不发出来了。

 如果使用springboot的话,自定义配置可以使用@Value来进行赋值。

 application.properties

  java文件

 自动填充效果


 

4.java程序运行时间长后会变慢,可以利用一些设计模式来解决性能的问题,合理使用虚拟机内存空间,即使删除不用的对象。我也是边学边做,现在还没有完全解决,之后会更新。


5.并发程序有时会造成读写数据的错乱问题,需要了解一些并发编程的规范。还有一种办法,把需要共享的数据放在redis里,来解决这类问题。


6.如果你觉得微博关键字的爬取只能爬取首页太少,可以在模拟登录后保存cookie进行爬取,可以爬到所有的相关页面。


7.编程中日志是很重要的,是反应情况,分析问题,解决问题的关键,一定要在适当的程序位置加一些日志信息。下图是我写日志的一种方法。

 

转载于:https://www.cnblogs.com/Post-90sDachenchen/p/11104291.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/483040.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++学习——set与map

1.set的使用 set的各成员函数列表如下:1. begin()--返回指向第一个元素的迭代器2. clear()--清除所有元素3. count()--返回某个值元素的个数4. empty()--如果集合为空,返回true5. end()--返回指向最后一个元素的迭代器6. equal_range()--返回集合中与给定值相等的上…

2100年彻底颠覆世界的“十大未来科技”

来源:于硅谷智库 科学家们对2100年前的人类生活进行了十大预测,如果这些预测能够变成现实的话,将会让世界发生翻天覆地的变化。1能上网的隐形眼镜出现时间:2030年前预测者:来自华盛顿大学西雅图分校的巴巴克A帕尔维兹教…

spring学习笔记04-IOC常用注解(一)

文章目录2.3常用注解2.3.1 用于创建对象的2.3.1.1 Component2.3.1.2 Controller Service Repository2.3.2 用于注入数据的2.3.2.1 Autowired2.3.2.2 Qualifier2.3.2.3 Resource2.3.2.4 Value2.3.3 用于改变作用范围的:2.3.3.1 Scope2.3.4 和生命周期相关的&#xff…

TCP三次握手和四次挥手通俗理解

一、TCP报文格式 在了解三次握手和四次挥手之前,先知道TCP报文内部包含了哪些东西。 1 TCP报头中的源端口号和目的端口号同IP数据报中的源IP与目的IP唯一确定一条TCP连接。TCP在发送数据前必须在彼此间建立连接,这里连接意思是:双方需要内保…

智能如何产生,这仍然是个问题

来源:孙学军科学网博客链接地址:https://blog.sciencenet.cn/blog-41174-1316772.html本文的智能只是生物系统工作原理层面,而不是意识层面的,无论是工作原理,还是大脑意识层面,今天的科学仍然没有给出理想…

spring学习笔记05-IOC常用注解(二)

文章目录2.3 关于 Spring 注解和 XML 的选择问题2.4spring 管理对象细节2.5spring 的纯注解配置2.5.1 待改造的问题2.5.2 新注解说明2.5.2.1 Configuration2.5.2.2 ComponentScan2.5.2.3 Bean2.5.2.4 PropertySource2.5.2.5 Import2.5.2.6 通过注解获取容器:2.3 关于…

数据结构与算法——排序

文章目录1.冒泡排序2.选择排序3.插入排序4.快速排序5.堆排序6.归并排序7.希尔排序1.冒泡排序 将一个数组从小到大排序,一次循环(从头开始遍历,将相邻的两个数值比较,如果前面一个大于后面的数字,交换这两个数字&#x…

Luogu P4168 [Violet]蒲公英 分块

这道题算是好好写了。写了三种方法。 有一个好像是$qwq$$N\sqrt(N)$的方法,,但是恳请大佬们帮我看看为什么这么慢$qwq$(后面的第三种) 注:$pos[i]$表示$i$属于第$pos[i]$块。 第一种是统计所有可能的块组成的区间中(第…

一文掌握明年物联网传感器市场!2022中国AIoT产业全景图谱报告新鲜出炉

来源:传感器专家网物联网产业是传感器应用最广泛的领域之一,研发新型传感器,做传感器市场,都不能不考虑物联网产业的需求。2021年随着COVID-19 病毒的存在已常态化,防疫抗疫进入了拉锯阶段;波及全球的“芯片…

spring学习笔记06-spring整合junit(出现的问题,解决的思路)

spring学习笔记06-spring整合junit(出现的问题,解决的思路) 文章目录spring学习笔记06-spring整合junit(出现的问题,解决的思路)3.1测试类中的问题和解决思路3.1.1 问题3.2.1 第一步:pom.xml文件…

phpstorm 不能自动打开上次的历史文件

问题产生的原因:可能是电脑非正常关机,导致phpstrom 无法正常关闭。 一开始我以为是配置上那里出现了问题,所以直接就把配置删除了,然后生成了默认配置。发现还是无法解决问题。然后一个个配置查阅过去。因为我的ide是英文&#x…

EUV光刻机内部揭秘!

转载自: ittbank来源:半导体行业观察PatrickWhelan正在透过他的洁净室服面板凝视着事情的进展。在他面前是一块闪闪发光的玻璃,大约有一个烤箱那么大,上面刻有许多挖出的部分以减轻重量,看起来像一个外星图腾。Whelan 的团队正在将…

数据结构与算法——搜索

文章目录1.内容概述2.岛屿数量2.1 题目描述2.2 DFS深度搜索算法思路2.3 BFS宽度搜索算法思路2.4 C代码实现3.单词接龙3.1 题目描述3.2 算法思路3.3 C代码实现4.单词接龙 II4.1 题目描述4.2 算法思路5.火柴拼正方形5.1 题目描述5.2 算法思路5.3 代码实现5.4 算法思路25.5 代码实…

mybatis学习笔记-01什么是mybatis

该视频为狂神说java视频配套笔记(博主自己手打223,日后做个参考223),b站连接:Mybatis最新完整教程IDEA版【通俗易懂】-01-什么是mybatis 文章目录1.简介1.1是什么1.2持久层1.3持久层1.4为什么需要mybatis?1…

小程序基础能力~网络

(1)网络-使用说明 网络 在小程序/小游戏中使用网络相关的 API 时,需要注意下列问题,请开发者提前了解。 1. 服务器域名配置 每个微信小程序需要事先设置通讯域名,小程序只可以跟指定的域名与进行网络通信。包括普通 HT…

mybatis学习笔记-02-第一个mybatis程序

该视频为狂神说java视频配套笔记(博主自己手打223,日后做个参考223),b站连接:Mybatis最新完整教程IDEA版【通俗易懂】-02-第一个mybatis程序) 文章目录2.第一个mybatis程序2.1搭建环境2.2 创建一个模块2.3编写代码2.4测…

徐波所长专访 | 人工智能:从“作坊式”走向“工业化”新时代

来源:人民网人工智能创新不断 “一体两翼”快速发展人民网:当前,人工智能技术创新不断,应用层出不穷。它究竟走到了哪一步?能否谈谈您是如何看待我国人工智能技术发展现状的?徐波:人工智能是一个…

linux——线程(1)

文章目录1.线程概念1.1 什么是线程1.2 线程和进程区别1.3 线程实现原理1.4 三级映射1.5 线程共享资源1.6 线程非共享资源1.7 线程优、缺点2.线程控制原语2.1 pthread_self 函数2.2 pthread_create 函数3.线程与共享3.1 线程共享全局变量4.线程退出4.1 pthread_exit 函数1.线程概…

mybatis学习笔记-03-CRUD操作

该视频为狂神说java视频配套笔记(博主自己手打223,日后做个参考223),b站连接:Mybatis最新完整教程IDEA版【通俗易懂】-03-CRUD操作) 3.CRUD 1.namespace ​ namespace中的包名要和 Dao/mapper 接口的包名一致 2.se…

Redis压缩列表原理与应用分析

摘要 Redis是一款著名的key-value内存数据库软件,同时也是一款卓越的数据结构服务软件。它支持字符串、列表、哈希表、集合、有序集合五种数据结构类型,同时每种数据结构类型针对不同的应用场景又支持不同的编码方式。这篇文章主要介绍压缩列表编码&…