谷歌表示：根域名不需要 Robots.txt

在最近 LinkedIn 上的一篇文章中，谷歌分析师 Gary Illyes 对长期以来关于 robots.txt 文件位置的看法提出了质疑。

多年来，传统观点一直认为，网站的 robots.txt 文件必须位于根域（例如，example.com/robots.txt）。

不过, Illyes 澄清说，这并非绝对要求，并透露了机器人排除协议（REP）中一个鲜为人知的方面。

Robots.txt 文件的灵活性

robots.txt 文件不必位于根域（example.com/robots.txt）。

根据 Illyes 的说法，在不同的域上托管两个独立的 robots.txt 文件是允许的--一个在主网站上，另一个在内容分发网络（CDN）上。

Illyes 解释说，网站可以将 robots.txt 文件集中到 CDN 上，同时控制主网站的抓取。

例如，一个网站可能有两个 robots.txt 文件：一个在 https://cdn.example.com/robots.txt，另一个在 https://www.example.com/robots.txt。

这种方法允许您在其 CDN 上维护一个单一、全面的 robots.txt 文件，并将其主域的请求重定向到这个集中的文件。

Illyes 指出，符合 RFC9309 标准的爬虫会跟踪重定向，并将目标文件用作原始域的 robotstxt 文件。

回顾 Robots.txt 的 30 年发展历程

今年是《机器人排除协议》诞生 30 周年, Illyes 的揭示凸显了网络标准是如何不断发展的。

他甚至猜测是否需要将该文件命名为"robots.txt"，暗示抓取指令的管理方式可能会发生变化。

如何帮助您

遵循 Illyes 的指导可以在以下方面为您提供帮助：

1. 集中管理：通过将 robots.txt 规则整合到一个位置，您可以维护和更新整个网站的抓取指令。

2. 提高一致性：robots.txt 规则的单一真实来源降低了主网站和 CDN 之间指令冲突的风险。

3. 灵活性：这种方法允许更灵活的配置，特别是对于具有复杂架构或使用多个子域和 CDN 的网站。

管理 robots.txt 文件的简化方法可以改善网站管理和搜索引擎优化工作。