如何阻止搜索引擎抓取 WordPress 网站

最近，我们的一位用户问我们如何阻止搜索引擎抓取和索引他们的 WordPress 网站。在几种情况下，您希望阻止搜索引擎抓取您的网站并将其列在搜索结果中。在本文中，我们将向您展示如何阻止搜索引擎抓取 WordPress 网站。

为什么要阻止搜索引擎抓取 WordPress 网站？

对于大多数WordPress网站来说，搜索引擎是最大的流量来源。你可能会问，为什么有人要劝阻搜索引擎？

以下是您不希望搜索引擎将您的网站编入索引的一些情况：

• 刚开始时，您可能不知道如何创建本地开发环境或暂存站点，而是在网站上线时开发网站。您不希望 Google 在您的网站正在建设中或处于维护模式时将其编入索引。

• 也有很多人使用WordPress创建私人博客。他们不希望它们被搜索引擎索引，因为它们是私有的。

• 您可以使用 WordPress 进行项目管理或内部网。在这些情况下，您不希望您的内部文档可公开访问。

一个常见的误解是，如果你没有指向你的域名的链接，那么搜索引擎可能永远不会找到你的网站。这并不完全正确。

例如，可能存在指向您网站的链接，因为该域名以前归其他人所有。此外，互联网上有数以千计的页面只是简单地列出了域名。您的网站可能会出现在其中之一上。

话虽如此，让我们来看看如何阻止搜索引擎抓取您的网站。我们将介绍四种方法：

1. 要求搜索引擎不要抓取你的WordPress网站

2. 要求搜索引擎不要抓取单个页面

3. 使用cPanel密码保护整个站点

4. 使用插件密码保护 WordPress

方法1：要求搜索引擎不要抓取您的WordPress网站

这是最简单的方法，但并不能完全保护您的网站不被抓取。

WordPress 带有一个内置功能，允许您指示搜索引擎不要索引您的网站。您需要做的就是访问“设置”»“阅读”，然后选中“搜索引擎可见性”旁边的框。

选中此框后，WordPress 会将以下行添加到您网站的标题中：

<meta name=``'robots'` `content=``'noindex,follow'` `/>

WordPress 还会修改您网站的robots.txt 文件，并向其添加禁止规则：

User-agent: *``Disallow: /

这些行要求机器人（网络爬虫或机器人）不要索引您的网页。但是，完全取决于搜索引擎是否接受或忽略此请求。尽管大多数搜索引擎都尊重该请求，但您网站上的某些页面或图像仍有可能被编入索引。

如果你想让搜索引擎无法索引或抓取你的网站，那么你需要使用方法3或4对你的WordPress网站进行密码保护。

方法2：要求搜索引擎不要抓取单个页面

您可能希望搜索引擎抓取您的网站并将其编入索引，但不要在搜索结果页面中包含特定帖子或特定页面。

最简单的方法是使用多合一 SEO （AIOSEO） 插件。它是 WordPress 最好的 SEO 工具，受到超过 3 万家企业的信任。

在本教程中，我们将使用 AIOSEO 免费版本，因为它包括 SEO 分析工具。还有一个高级版本的 AIOSEO，它提供了更多功能，如站点地图工具、重定向管理器、模式标记、robots .txt 编辑器等。

您需要做的第一件事是在您的网站上安装并激活 AIOSEO 插件。您可以按照我们关于如何为 WordPress 设置多合一 SEO 的分步指南来学习如何安装和配置插件。

设置插件后，您可以使用它来要求搜索引擎不要索引某些帖子和页面。同样，完全取决于搜索引擎是否接受或忽略它。

只需编辑您不想被编入索引的帖子或页面即可。您需要向下滚动到 WordPress 编辑器底部的 AIOSEO 设置，然后单击“高级”选项卡。

请注意，本文使用的是默认的机器人设置。

要更改此设置，您需要将“使用默认设置”开关切换到关闭位置。

现在，您可以单击“无索引”复选框。一旦帖子发布或更新，搜索引擎将被要求不要将其编入索引。

方法3：使用cPanel密码保护整个站点

如果您的 WordPress 托管服务提供商提供 cPanel 访问权限来管理您的托管帐户，那么您可以使用 cPanel 保护您的整个网站。

您所要做的就是登录到cPanel仪表板，然后单击“文件”部分中的“目录隐私”图标。

接下来，您需要找到安装 WordPress 的文件夹。通常，它是public_html文件夹。

之后，只需单击该文件夹旁边的“编辑”按钮。

注意：如果您在该目录下安装了多个 WordPress 站点，则需要单击链接以浏览这些站点，然后编辑要密码保护的网站的文件夹。public_html``public_html

这将带您进入一个屏幕，您可以在其中打开密码保护。

只需选中“密码保护此目录”框，然后单击“保存”按钮。如果您愿意，还可以自定义受保护目录的名称。

您将看到一条确认消息，指出该目录的访问权限已更改。

接下来，您必须单击“返回”按钮。

您将被带到一个屏幕，您可以在其中创建访问此目录时需要使用的用户名和密码。

您需要输入用户名和密码，然后确认密码。请务必在安全的地方记下您的用户名和密码，例如密码管理器应用程序。

单击“保存”按钮后，您已成功将密码保护添加到您的 WordPress 网站。

现在，每当用户或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码来查看该网站。

方法4：使用插件密码保护WordPress

如果您使用的是托管 WordPress 托管解决方案，那么您可能无法访问 cPanel。在这种情况下，您可以使用 WordPress 插件对您的网站进行密码保护。

以下是两种最流行的解决方案：

1. SeedProd 是 WordPress 的 #1 即将推出和维护模式插件，用于超过 800,000 个网站。它具有完整的访问控制和权限功能，您可以使用这些功能向所有人（包括搜索引擎）隐藏您的网站。我们为 SeedProd 提供了分步操作指南。

2. 密码保护是一种非常简单的方法，可以使用单个密码对WordPress网站进行密码保护（无需用户创建）。

我们希望本文能帮助您阻止搜索引擎抓取或索引您的 WordPress 网站。