如何为SEO优化WordPress Robots.txt

最近，我们的一位读者向我们询问了有关如何优化robots.txt文件以改善SEO的提示。Robots.txt文件告诉搜索引擎如何抓取您的网站，这使其成为功能强大的SEO工具。在本文中，我们将向您展示如何为SEO创建一个完美的robots.txt文件。

什么是robots.txt文件？

Robots.txt是网站所有者可以创建的文本文件，用于告诉搜索引擎机器人如何在其网站上抓取页面并将其编入索引。

它通常存储在根目录（也称为网站的主文件夹）中。robots.txt文件的基本格式如下所示：

User-agent: [user-agent name]Disallow: [URL string not to be crawled]
User-agent: [user-agent name]Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

您可以使用多行说明来允许或禁止使用特定的URL并添加多个站点地图。如果您不禁止使用URL，则搜索引擎漫游器会假定允许它们对其进行爬网。

这是robots.txt示例文件的外观：

User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

在上面的robots.txt示例中，我们允许搜索引擎对WordPress上载文件夹中的文件进行爬网和编制索引。

在那之后，我们不允许搜索bot搜寻和索引插件和WordPress admin文件夹。

最后，我们提供了XML网站地图的URL。

您是否需要WordPress网站的Robots.txt文件？

如果您没有robots.txt文件，那么搜索引擎仍会抓取您的网站并为其编制索引。但是，您将无法告诉搜索引擎它们不应该抓取哪些页面或文件夹。

当您第一次创建博客并且内容不多时，这不会产生太大影响。

但是，随着网站的发展和内容的丰富，您可能希望更好地控制网站的爬网和索引方式。

这就是为什么。

搜索机器人对每个网站都有一个抓取配额。

这意味着他们在爬网会话期间对一定数量的页面进行爬网。如果他们没有完成对您网站上所有页面的爬网，那么他们将返回并在下一个会话中继续爬网。

这可能会降低您的网站索引率。

您可以通过禁止搜索漫游器尝试爬网不必要的页面（例如WordPress管理页面，插件文件和主题文件夹）来解决此问题。

通过禁止不必要的页面，可以保存爬网配额。这有助于搜索引擎在您的网站上抓取更多页面并将它们尽快编入索引。

使用robots.txt文件的另一个很好的理由是，当您要停止搜索引擎将您网站上的帖子或页面编入索引时。

这不是向公众隐藏内容的最安全方法，但是它将帮助您阻止内容出现在搜索结果中。

理想的Robots.txt文件应该是什么样的？

许多流行的博客使用非常简单的robots.txt文件。它们的内容可能会有所不同，具体取决于特定站点的需求：

User-agent: *Disallow:  Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml

这个robots.txt文件允许所有漫游器为所有内容编制索引，并为它们提供网站XML站点地图的链接。

对于WordPress网站，我们建议在robots.txt文件中使用以下规则：

User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml

告诉搜索引擎将所有WordPress图像和文件编入索引。它不允许搜索引擎将WordPress插件文件，WordPress管理区域，WordPress自述文件和会员链接编入索引。

通过将站点地图添加到robots.txt文件，您可以使Google漫游器轻松找到您网站上的所有页面。

现在您已经知道理想的robots.txt文件是什么样子了，让我们来看看如何在WordPress中创建robots.txt文件。

如何在WordPress中创建Robots.txt文件？

有两种方法可以在WordPress中创建robots.txt文件。您可以选择最适合您的方法。

方法1：使用Yoast SEO编辑Robots.txt文件

如果您使用的是Yoast SEO插件，则它带有robots.txt文件生成器。

您可以使用它直接在WordPress管理区域中创建和编辑robots.txt文件。

只需转到WordPress管理员中的SEO»工具页面，然后单击文件编辑器链接。

在下一页，Yoast SEO页面将显示您现有的robots.txt文件。

如果您没有robots.txt文件，则Yoast SEO会为您生成robots.txt文件。

默认情况下，Yoast SEO的robots.txt文件生成器会将以下规则添加到您的robots.txt文件中：

User-agent: *Disallow: /

删除此文本很重要，因为它会阻止所有搜索引擎爬网您的网站。

删除默认文本后，您可以继续添加自己的robots.txt规则。我们建议使用上面共享的理想robots.txt格式。

完成后，请不要忘记单击“保存robots.txt文件”按钮来存储您的更改。

方法2.使用FTP手动编辑Robots.txt文件

对于这种方法，您将需要使用FTP客户端 来编辑robots.txt文件。

只需使用FTP客户端连接到您的WordPress托管帐户即可。

进入内部后，您将可以在网站的根文件夹中看到robots.txt文件。

如果看不到，则可能没有robots.txt文件。在这种情况下，您可以继续创建一个。

Robots.txt是纯文本文件，这意味着您可以将其下载到计算机上，并使用任何纯文本编辑器（如记事本或TextEdit）进行编辑。

保存更改后，您可以将其上传回网站的根文件夹。

如何测试您的Robots.txt文件？

创建robots.txt文件后，始终最好使用robots.txt测试工具对其进行测试。

那里有很多robots.txt测试工具，但是我们建议您使用Google Search Console中的一个。

只需登录到您的Google Search Console帐户，然后切换到旧的Google Search Console网站。

这将带您进入旧的Google Search Console界面。您需要从此处启动“抓取”菜单下的robots.txt测试工具。

该工具将自动获取您网站的robots.txt文件，并突出显示错误和警告（如果发现）。

最后的想法

优化robots.txt文件的目的是防止搜索引擎抓取不公开的页面。例如，wp-plugins文件夹中的页面或WordPress admin文件夹中的页面。

SEO专家之间的一个普遍神话是，阻止WordPress类别，标签和存档页面将提高爬网率，并导致更快的索引编制和更高的排名。

这不是真的。这也违反了Google网站站长指南。

我们建议您遵循上述robots.txt格式为您的网站创建robots.txt文件。