从零开发短视频电商爬虫在爬取时注意 robots.txt 和 sitemap.xml

文章目录

- - 1. robots.txt：
  - 2. sitemap.xml：

当我们爬取一个网站时，通常首先查看网站根目录下的两个重要文件： robots.txt 和 sitemap.xml。这两个文件提供了关于网站爬取行为和结构的重要信息。

1. robots.txt：

robots.txt 是一个文本文件，位于网站的根目录下。它用来指导爬虫，告诉它们哪些页面可以抓取，哪些页面不应该被抓取。

示例 robots.txt 文件：

User-agent: *
Disallow: /private/
Disallow: /restricted/
Allow: /public/

User-agent: *：这行表示对所有爬虫都生效。
Disallow: /private/：表示禁止爬虫访问 /private/ 目录下的内容。
Disallow: /restricted/：表示禁止爬虫访问 /restricted/ 目录下的内容。
Allow: /public/：表示允许爬虫访问 /public/ 目录下的内容，覆盖了前面的禁止指令。

在 robots.txt 文件中，有时候会包含指向网站 sitemap.xml 文件的信息，以便搜索引擎更有效地发现网站的内容结构。

User-agent: *
Disallow: /private/
Disallow: /restricted/
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml

新增了一行 Sitemap，指定了网站的 sitemap.xml 文件的位置。这样的信息告诉搜索引擎该网站的 sitemap 文件的位置，方便搜索引擎爬取并索引网站的内容。

请注意，不是所有网站的 robots.txt 文件都会包含 Sitemap 指令，因此搜索引擎也会根据其他方法来发现和索引网站的 sitemap.xml 文件。

以CSDN-https://www.csdn.net/robots.txt站点为：

User-agent: * 
Disallow: /scripts 
Disallow: /public 
Disallow: /css/ 
Disallow: /images/ 
Disallow: /content/ 
Disallow: /ui/ 
Disallow: /js/ 
Disallow: /scripts/ 
Disallow: /article_preview.html* 
Disallow: /tag/
Disallow: /*?*
Disallow: /link/
Disallow: /tags/
Disallow: /news/
Disallow: /xuexi/

以小红书-https://www.xiaohongshu.com/robots.txt站点为：

User-agent:Googlebot
Disallow:/User-agent:Baiduspider
Disallow:/User-agent:bingbot
Disallow:/User-agent:Sogou web spider
Disallow:/User-agent:Sogou wap spider
Disallow:/User-agent:YisouSpider
Disallow:/User-agent:BaiduSpider-ads
Disallow:/User-agent:*
Disallow:/

以阿里云-https://www.aliyun.com/robots.txt为：

User-agent: * 
Disallow: /*?spm=* 
Disallow: /*?tracelog=* 
Disallow: /*?page=* 
Disallow: /template 
Disallow: /admin 
Disallow: /config 
Disallow: /classes 
Disallow: /log 
Disallow: /language 
Disallow: /script 
Disallow: /static 
Disallow: /alilog 
Allow: /s/*Sitemap: https://www.alibabacloud.com/sitemap.xml

2. sitemap.xml：

sitemap.xml 文件包含了网站的结构信息，通常是一个XML文件。它告诉搜索引擎哪些页面是最重要的、最常更新的，以及网站的整体结构。

示例 sitemap.xml 文件：

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><url><loc>https://www.example.com/page1</loc><lastmod>2023-01-01</lastmod><changefreq>daily</changefreq><priority>0.8</priority></url><url><loc>https://www.example.com/page2</loc><lastmod>2023-01-02</lastmod><changefreq>weekly</changefreq><priority>0.6</priority></url><!-- more URLs... -->
</urlset>

<loc>：表示页面的URL。
<lastmod>：表示页面的最后修改时间。
<changefreq>：表示页面内容的更新频率，例如 always, hourly, daily, weekly, monthly, yearly, never。
<priority>：表示页面的优先级，范围是 0.0 到 1.0。

可以通过读取 sitemap.xml 文件更有效地发现和了解网站的内容结构，从而提高爬取效率。

以下是一个多语言Sitemap XML文件的示例，采用了谷歌定义的扩展格式：

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"xmlns:xhtml="http://www.w3.org/1999/xhtml"><!-- 主要语言版本 - 中文 --><url><loc>https://www.example.com/zh-cn/page1</loc><xhtml:link rel="alternate" hreflang="en-us" href="https://www.example.com/en-us/page1"/><xhtml:link rel="alternate" hreflang="es-es" href="https://www.example.com/es-es/page1"/></url><!-- 主要语言版本 - 英语 --><url><loc>https://www.example.com/en-us/page2</loc><xhtml:link rel="alternate" hreflang="zh-cn" href="https://www.example.com/zh-cn/page2"/><xhtml:link rel="alternate" hreflang="es-es" href="https://www.example.com/es-es/page2"/></url><!-- 主要语言版本 - 西班牙语 --><url><loc>https://www.example.com/es-es/page3</loc><xhtml:link rel="alternate" hreflang="zh-cn" href="https://www.example.com/zh-cn/page3"/><xhtml:link rel="alternate" hreflang="en-us" href="https://www.example.com/en-us/page3"/></url><!-- 更多URL... -->
</urlset>

在这个示例中：

<loc>：表示主要语言版本的页面URL。
<xhtml:link>：表示与主要语言版本相关的其他语言版本。每个<xhtml:link>元素都包含以下属性：
- rel="alternate"：指定这是一个替代版本的链接。
- hreflang：指定替代版本的语言和地区。
- href：包含替代版本的URL。

这种格式的Sitemap XML可以更精确地告诉搜索引擎每个页面的不同语言版本，帮助搜索引擎更好地理解网站的多语言结构。

以阿里云-https://www.aliyun.com/sitemap.xml为：

<urlsetxmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><url><loc>https://www.alibabacloud.com</loc><lastmod>2023-12-28</lastmod><changefreq>daily</changefreq><priority>1.0</priority></url><url><loc>https://www.alibabacloud.com/affiliate</loc><lastmod>2023-12-24</lastmod><changefreq>weekly</changefreq><priority>0.5</priority></url><url><loc>https://www.alibabacloud.com/blog/a-brief-history-of-development-of-alibaba-cloud-polardb_594254</loc><lastmod>2023-12-24</lastmod><changefreq>weekly</changefreq><priority>0.5</priority></url><url><loc>https://www.alibabacloud.com/blog/bootstrapping-function-compute-for-web-using-nodejs-sdk-part-1_594257</loc><lastmod>2023-12-24</lastmod><changefreq>weekly</changefreq><priority>0.5</priority></url><url><loc>https://www.alibabacloud.com/blog/shoucheng-zhang-the-association-of-quantum-computing-artificial-intelligence-and-blockchain_594249</loc><lastmod>2023-12-24</lastmod><changefreq>weekly</changefreq><priority>0.5</priority>