SEO:搜索引擎蜘蛛名称UA(user-agent)

最近网站在做统计功能,想着统计下蜘蛛爬行记录,看看都有哪些搜索引擎蜘蛛经常关顾,故而好进行相应的对策改变。都知道搜索引擎对一个网站很重要,是很多网站重要的流量来源。熟悉各大搜索引擎的蜘蛛就显得必要。

做SEO优化的通常会说蜘蛛爬得越勤快,网页收录也快。通过分析网站访问日志:查看访问者的user-agent,我们就可以了解哪些搜索蜘蛛过来爬行过网站页面了,下面整理一下国内常用的一些搜索蜘蛛


1、 百度蜘蛛:Baiduspider Baiduspider-image baiduboxapp Baiduspider-render

百度搜索资源平台_共创共享鲜活搜索

2、 谷歌蜘蛛:Googlebot (很勤奋的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video

谷歌中文站长平台  >> 需要翻墙

3、 360蜘蛛:360Spider (比较懒的蜘蛛)

360站长平台-站长平台

4、 搜狗蜘蛛:SogouSpider, Sogou web spider

搜狗资源平台_公平开放的交流平台

5、 神马蜘蛛:YisouSpider (UC浏览器默认搜索sm.cn的蜘蛛)

神马站长平台

6、 必应蜘蛛:bingbot BingPreview

必应

7、 有道蜘蛛:YoudaoBot,YodaoBot(找不到)

8、 MSN蜘蛛:msnbot,msnbot-media

9、 雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!(找不到)

10、 Yandex蜘蛛:YandexBot (俄罗斯搜索引擎)

Oops, Captcha!  >> 需要翻墙

11、 DNSPOD监控蜘蛛:DNSPod-Monitor

12、 MJ12bot:MJ12bot (英国SEO分析页面蜘蛛)

13、 SEMrush:SemrushBot (美国SEO综合分析网站的蜘蛛)

Semrush - 在线营销简单方便

14、 头条蜘蛛:Bytespider (今日头条旗下:高频抓取 被很多站长封禁后 有所改善)

头条搜索站长平台

15、 华为蜘蛛:AspiegelBot ( 华为旗下Aspiegel公司 疯狂高频爬行无节制 )

对于国内中文用户为主的站长主要使用 百度、Sogou搜狗、Bing、360搜索、神马、头条

对于大陆中文网站站长主要是 百度、360搜索和头条搜索,其它的可有可无

若是网站客户来源,手机端特别多,建议神马的不要禁止,毕竟UC的用户也有不少。

特别推荐屏蔽,甚至是拉进黑名单的:Yandex  MJ12bot  SEMrush,至于AspiegelBot需要看日志在决定,搞完之后能省下来不少性能和流量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/13167.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

国网698.45报文解析工具

本文分享一个698.45协议的报文解析工具,此报文解析工具功能强大,可以解析多种国网数据协议。 下载链接: https://pan.baidu.com/s/1ngbBG-yL8ucRWLDflqzEnQ 提取码: y1de 主要界面如下: 本工具内置698.45数据协议, 即可调用word…

win编写bat脚本启动java服务

新建txt,编写,前台启动,出现cmd黑窗口 echo off start java -jar zhoao1.jar start java -jar zhoao2.jar pause完成后,重命名.bat 1、后台启动,不出现cmd黑窗口,app是窗口名称 echo off start "名…

美团小程序mtgsig1.2逆向

声明 本文章中所有内容仅供学习交流使用,不用于其他任何目的,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!wx a15018601872 本文章未…

VMware虚拟机没有网,无法设置网络为桥接状态

今天需要使用Ubuntu18但现有虚拟机是Ubuntu20,由于硬盘空间不够大,所以删除了原来的虚拟机并重新搭建Ubuntu18的环境,然后发现虚拟机没有网络,而我之前的虚拟机这一切都是正常的。 在网络设置里勾选的是桥接模式但无法联网&#x…

由读写arrow引发的对时间时区的思考

arrow是apache开发的一种高压缩的数据结构,发现用来存储K线还是很不错的选择。 测试用python读写很方便,关键是足够小,A股1支票1分钟的数据,1个月大约是140多K吧。 结果从数据库取出来存入arrow中,再用C进行读取&…

Cow Exhibition G的来龙去脉

[USACO03FALL] Cow Exhibition G - 洛谷 曲折经过 爆搜 一开始没什么好的想法&#xff0c;就针对每头奶牛去or不去进行了爆搜。 #include <cstdio> #include <algorithm> using namespace std;#define maxn 405 int iq[maxn], eq[maxn]; int ans; int n;void d…

留学资讯 | 2024英国学生签证申请需要满足哪些条件?

英国移民局于2020年9月10日发布了《移民规则变更声明: HC 707》&#xff0c;对学生签证制度进行了全面改革。该法案于2020年10月5日正式生效。根据此法案&#xff0c;新的学生签证——The Student and Child Student Routes学生和儿童学生路线&#xff0c;将替代原先的Tier 4学…

短视频赛道有哪些:成都鼎茂宏升文化传媒公司

短视频赛道有哪些&#xff1a;探索多元化的内容领域 随着科技的飞速发展和人们生活节奏的加快&#xff0c;短视频已成为现代人生活中不可或缺的一部分。它以其简短、直观、易于分享的特点&#xff0c;迅速占领了各个年龄层和社会群体的心智。然而&#xff0c;短视频的赛道并非…

层次式体系结构概述

1.软件体系结构 软件体系结构可定义为&#xff1a;软件体系结构为软件系统提供了结构、行为和属性的高级抽象&#xff0c;由构成系统的元素描述、这些元素的相互作用、指导元素集成的模式以及这些模式的约束组成。软件体系结构不仅指定了系统的组织结构和拓扑结构&#xff0c;并…

小程序框架是智能融媒体平台构建的最佳线路

过去5年&#xff0c;媒体行业一直都在进行着信息化建设向融媒体平台建设的转变。一些融媒体的建设演变总结如下&#xff1a; 新闻终端的端侧内容矩阵建设&#xff0c;如App新闻端&#xff0c;社交平台上的官方媒体等新闻本地生活双旗舰客户端&#xff0c;兼顾主流媒体核心宣传…

TopOn 正式聚合Kwai 旗下程序化广告平台——Kwai Network

**我们非常高兴的宣布&#xff0c;TopOn SDK 近日已正式聚合Kwai Network。**作为Kwai 旗下的程序化广告平台&#xff0c;Kwai Network 通过优质的变现能力及产品能力&#xff0c;为广大开发者提供高效及时的服务。 TopOn 聚合平台与Kwai Network 正式完成接入后&#xff0c;开…

实战+代码!Selenium + Phantom JS爬取天天基金数据

功能&#xff1a; 通过程序实现从基金列表页&#xff0c;获取指定页数内所有基金的近一周收益率以及每支基金的详情页链接。再进入每支基金的详情页获取其余的基金信息&#xff0c;将所有获取到的基金详细信息按近6月收益率倒序排列写入一个Excel表格。 思路&#xff1a; 1.…

vm 虚拟机 Debian12 开启 root、ssh 登录功能

前言&#xff0c;安装的时候语言就选中文就好了。选择中文&#xff0c;在安装的时候就可以选择国内 163 的源。 开启 ssh 功能 先提权&#xff0c;用 root 账户 su安装 ssh 安装 ssh-server apt install openssh-server启动 ssh systemctl start ssh查看 ssh 状态 systemctl st…

【Flutter 面试题】 如何让图片重复堆叠容器?

【Flutter 面试题】 如何让图片重复堆叠容器? 文章目录 写在前面口述回答补充说明写在前面 🙋 关于我 ,小雨青年 👉 CSDN博客专家,GitChat专栏作者,阿里云社区专家博主,51CTO专家博主。2023博客之星TOP153。 👏🏻 正在学 Flutter 的同学,你好! 😊 Flutter …

根据web访问日志,封禁请求量异常的IP,如IP在半小 时后恢复正常则解除封禁

在网络安全日益受到重视的今天&#xff0c;如何有效防范恶意流量和攻击成为了每个网站管理员必须面对的问题。恶意流量不仅会影响网站的正常运行&#xff0c;还可能导致服务器崩溃&#xff0c;给网站带来不可估量的损失。为了应对这一问题&#xff0c;我们特别推出了一款实用的…

u3d的ab文件注意事项

//----------------LoadAllAB.cs--------------------- using System.Collections;using UnityEngine;namespace System.IO{public class LoadAllAB : MonoBehaviour{ //读取本地string path "Assets/Actors/lznh/ab/animation/t_bl/";// Use this for initiali…

SQL注入之数据库基础

数据库基础 创建数据库 create 数据库名称;创建表 create table if not exists mobile(ID int(10) primary key auto_increment comment 手机编号 主键自增,Brand varchar(50) not null comment 手机品牌 非空约束,Model varchar(50) not null comment 手机型号 非空约束,Pr…

Keil手动安装编译器V5版本

V5编译器下载&#xff1a;免积分下载 新版的keil不会自动帮你安装V5版本的编译器&#xff0c;但是很多教程很多比赛所用单片机都是V5的编译器&#xff0c;所以用来开以前的或者开源的很多东西编译直接一大堆报错。 吐槽说完了接下来教你怎么解决 打开installer&#xff08;在…

vue使用postcss-pxtorem实现自适应

安装&#xff1a; npm install postcss-pxtorem -Dvue.config.js文件设置&#xff1a; css: {loaderOptions: {scss: {additionalData: import "~element-ui/packages/theme-chalk/src/common/var.scss";import"/styles/variables.scss";},postcss: {po…

OpenGL ES 面试高频知识点(二)

说说纹理常用的采样方式? 最邻近点采样(GL_NEAREST)和双线性采样(GL_LINEAR)。 GL_NEAREST 采样是 OpenGL 默认的纹理采样方式,OpenGL 会选择中心点最接近纹理坐标的那个像素,纹理放大的时候会有锯齿感或者颗粒感。 **GL_LINEAR 采样会基于纹理坐标附近的纹理像素,计…