如何阻止搜索引擎爬行WordPress网站

最近，我们的一位用户问我们如何阻止搜索引擎对WordPress网站进行爬网和编制索引？在许多情况下，您希望停止搜索引擎搜寻您的网站或将其列出在搜索结果中。在本文中，我们将向您展示如何阻止搜索引擎抓取WordPress网站。

对于大多数网站而言，搜索引擎是最大的流量来源。您可能会问，为什么有人要阻止搜索引擎？

刚开始时，很多人都不知道如何创建本地开发环境或暂存站点。如果您使用公开的域名开发网站，那么您可能不希望Google为您的在建或维护模式页面编制索引。

也有很多人使用WordPress创建私人博客，并且他们不希望将它们编入搜索结果，因为它们是私人博客。

还有一些人使用WordPress进行项目管理或Intranet，并且您不希望内部文档可以公开访问。

在上述所有情况下，您可能不希望搜索引擎将您的网站编入索引。

一个常见的误解是，如果我没有指向我的域的链接，那么搜索引擎可能永远找不到我的网站。这不是完全正确的。

搜索引擎可以通过多种方式找到其他地方链接的网站。例如：

网络上发生了很多事情，其中大多数都不在您的控制之下。但是，您的网站仍在您的控制之下，并且您可以指示搜索引擎不要为您的网站建立索引或关注。

WordPress具有内置功能，可让您指示搜索引擎不要为您的网站编制索引。您所需要做的就是访问“设置»阅读”，然后选中“搜索引擎可见性”选项旁边的框。

选中此框后，WordPress将此行添加到您网站的标题中：

<meta name='robots' content='noindex,follow' />

WordPress还修改了您网站的robots.txt文件，并在其中添加了以下几行：

User-agent: *
Disallow: /

这些行要求漫游器（网络搜寻器）不要为您的页面编制索引。但是，完全由搜索引擎决定是否接受此请求。即使大多数搜索引擎都尊重这一点，您网站上的某些网页或随机图片也可能会被编入索引。

默认的WordPress可见性设置指示搜索引擎不要为您的网站建立索引。但是，搜索引擎仍可能最终会爬网和索引您网站上的页面，文件或图像。

确保搜索引擎根本不会索引或爬行您的网站的唯一方法是通过密码保护服务器级别的整个WordPress网站。

这意味着当任何人尝试访问您的网站时，甚至在他们到达WordPress之前，都要求他们提供用户名和密码。这也包括搜索引擎。登录失败后，将显示401错误，并且漫游器会关闭。这是密码保护整个WordPress网站的方法。

如果您的WordPress托管服务提供商提供cPanel访问权限来管理您的托管帐户，那么您可以使用cPanel保护整个网站。您要做的就是登录cPanel仪表板，然后单击“安全性”部分下的“密码保护目录”图标。

接下来，您将需要选择安装WordPress的文件夹。通常，它是public_html文件夹。

如果在public_html目录下安装了多个WordPress网站，则需要单击文件夹图标以浏览并选择要用密码保护的网站的文件夹。

在下一个屏幕上，您需要输入受保护目录的名称，然后单击“保存”按钮。

您的信息将被保存，cPanel将重新加载页面。之后，您需要通过输入用户名和密码来添加授权用户。

就是这样，您已经成功将密码保护添加到了WordPress网站。

现在，每当用户或搜索引擎访问您的网站时，都会提示他们输入您先前创建的用户名和密码来查看该网站。

如果您使用的是托管WordPress托管解决方案，有时您将无权访问cPanel。

在这种情况下，您可以选择使用其他WordPress插件来密码保护您的网站。以下是两个最受欢迎的解决方案：

SeedProd –这是即将推出的＃1和WordPress维护模式插件，已在80万多个网站上使用。它具有完整的访问控制和权限功能，可用于对所有人（包括搜索引擎）隐藏网站。我们为SeedProd提供了逐步指南。
密码保护 –这是一种非常简单的方法，只需一个密码即可保护您的WordPress网站（无需用户创建）。请参阅有关如何密码保护WordPress网站的分步指南。