如何禁止搜索引擎收录网站？

当我们创建一个网站之后，我们希望它被尽可能多的人访问。但是有时候，我们可能不希望搜索引擎抓取我们的网站内容，可能是因为我们正在开发网站并不想让未完成的内容被公开，或者因为我们需要保护一些私人信息。在这些情况下，我们需要禁止搜索引擎收录网站。本文将介绍几种禁止搜索引擎收录网站的方法，包括Robots.txt文件、Meta标签、X-Robots-Tag头、登录验证、nginx 禁止 http_user_agent 、nginx 禁止ip、nginx ngx_http_robotstxt_module等。

robots.txt文件

robots.txt文件是一种文本文件，它遵循Robot Exclusion Standard（机器人排除标准）。这个标准最初由A Standard for Robot Exclusion（机器人排除标准）提出，它是网站管理者可以使用的一种标准，用来告诉网络爬虫哪些页面可以访问，哪些页面不应该被访问。robots.txt文件应该放置在网站的根目录下，以便网络爬虫可以很容易地找到它。robots.txt文件的语法非常简单，它由两个主要部分组成：User-agent和Disallow。

User-agent是一个网络爬虫的名称，例如Googlebot、Bingbot等。如果我们希望禁止所有网络爬虫访问我们的网站，可以将User-agent设置为“*”。

Disallow指定了哪些页面不应该被网络爬虫访问。如果我们希望禁止搜索引擎访问整个网站，可以将Disallow设置为“/”。

除了User-agent和Disallow之外，robots.txt文件还可以包含其他指令，例如Allow、Sitemap、Crawl-delay等。例如，如果我们希望允许搜索引擎访问某些页面，但不希望这些页面被索引，可以使用以下指令：

User-agent: *
Disallow:
Noindex: /private/

这个例子告诉搜索引擎不要索引名为“private”的文件夹中的页面，但是允许搜索引擎访问这些页面。

User-agent: *
Disallow: /admin/
Disallow: /private/
Sitemap: http://www.example.com/sitemap.xml

在这个例子中，User-agent指令告诉所有的搜索引擎爬虫都应该遵循下面的指令。Disallow指令告诉搜索引擎爬虫不应该访问以/admin/和/private/开头的页面。Sitemap指令告诉搜索引擎爬虫网站地图的位置，以便更好地索引网站的内容。

禁止所有搜索引擎收录

User-agent: *
Disallow: /

需要注意的是，robots.txt文件只是一个建议，而不是强制性的规则。有些搜索引擎爬虫可能会忽略这些指令，或者以不同的方式解释它们。

Meta标签

Meta标签是HTML文档中的一种标记，它提供了关于文档的元数据信息。其中之一是“robots”标签，它可以告诉搜索引擎如何处理网页。在HTML文档的头部添加以下代码即可禁止搜索引擎索引这个页面：

<meta name="robots" content="noindex">

这个标签告诉搜索引擎不要索引这个页面。除了noindex之外，还有其他的值可以用来控制搜索引擎如何处理网页，例如nofollow、noarchive、nosnippet等。如果我们希望禁止搜索引擎索引整个网站，可以在网站的每个页面上都添加这个标签。

“robots”元标签用于控制网络机器人（如搜索引擎爬虫）在索引网页时的行为。它可以用于告诉机器人哪些页面要索引或不索引，哪些链接要跟踪或不跟踪等等。

以下是如何使用”robots”元标签的示例：

<meta name="robots" content="index,follow">

在这个例子中，”robots”元标签告诉网络机器人索引该页面，并跟踪页面上发现的任何链接。这是大多数网页的默认行为。

但是，您还可以使用”robots”元标签来限制机器人的行为。例如，您可以使用以下代码告诉机器人不要索引页面：

<meta name="robots" content="noindex">

在这个例子中，”noindex”值告诉网络机器人不要索引该页面。这对于包含重复内容的页面、正在开发中的页面或您不希望出现在搜索引擎结果中的页面非常有用。

您还可以使用”nofollow”值告诉机器人不要跟踪页面上的链接：

<meta name="robots" content="index,nofollow">

在这个例子中，”nofollow”值告诉网络机器人索引该页面，但不要跟踪页面上发现的任何链接。这对于包含指向低质量或垃圾网站的链接的页面非常有用。

总之，”robots”元标签是控制网络机器人与您的网页交互的强大工具。通过有效使用它，您可以帮助确保您的页面被正确索引，并以您希望的方式出现在搜索引擎结果中。

X-Robots-Tag头

X-Robots-Tag头是一种HTTP头，它可以让我们更细致地控制搜索引擎如何索引我们的网页。通过在服务器上配置X-Robots-Tag头，我们可以控制搜索引擎是否可以索引页面、是否可以显示缩略图、是否可以显示摘要等。

以下是一些常见的指令：

• noindex：告诉搜索引擎不要索引该页面。
• index：告诉搜索引擎可以索引该页面。
• nofollow：告诉搜索引擎不要跟踪页面上的链接。
• follow：告诉搜索引擎可以跟踪页面上的链接。
• noarchive：告诉搜索引擎不要在其缓存中存储页面的副本。
• unavailable_after：告诉搜索引擎在特定日期之后不再索引该页面。

以下是一个X-Robots-Tag例子：

X-Robots-Tag: noindex, nofollow

这个例子告诉搜索引擎不要索引这个页面，并且不要跟踪页面中的链接。我们可以在服务器上配置X-Robots-Tag头，让它自动应用于我们的网站。

需要注意，X-Robots-Tag只适用于单个页面的响应，而不是整个网站。因此，如果您希望控制整个网站的搜索引擎爬虫行为，最好使用robots.txt文件。另外，不是所有的搜索引擎都支持X-Robots-Tag，因此在使用时需要仔细考虑其影响，并了解搜索引擎的支持程度。

登录验证

登录验证是一种常用的方法，它可以确保只有经过验证的用户才能访问网站内容。如果我们希望只有经过验证的用户才能访问网站内容，我们可以使用一些登录验证方法，例如用户名和密码、OAuth、OpenID等。这些方法可以确保只有授权用户才能访问网站内容，因此搜索引擎无法访问这些内容。

nginx 禁止 http_user_agent

nginx是一种流行的Web服务器软件，它可以用来禁止特定的http_user_agent访问我们的网站。http_user_agent是一个HTTP头，它包含了访问网站的用户代理（通常是浏览器）的信息。通过在nginx的配置文件中添加以下代码，我们可以禁止某些http_user_agent访问我们的网站：

if ($http_user_agent ~* (BadBot|HackerBot)) {
    return 403;
}

这个例子禁止名为BadBot和HackerBot的http_user_agent访问我们的网站，返回HTTP 403 Forbidden错误。

禁止搜索引擎收录的例子：

    if ($http_user_agent ~* "qihoobot|BaiduSpider|Googlebot|Googlebot-mobile|Googlebot-image|Mediapartners-Google|Adsbot-Google|FeeDFetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YouDAOBot|Sosospider|Sogou spider|Sogou web spider|msnBot|ia_Archiver|Tomato Bot") { 
                return 403; 
        } 

return 404 和403有什么区别？

使用HTTP响应码404表示资源未找到，并不是一种明确的拒绝访问的响应，而是表示请求的资源不存在。因此，如果你使用HTTP响应码404来阻止搜索引擎访问你的网站，搜索引擎可能会将网站标记为“404未找到”，而不是“403禁止访问”，从而导致搜索引擎不再索引你的网站。

需要注意，即使你使用HTTP响应码404来阻止搜索引擎访问你的网站，搜索引擎仍然可以收录你的网站。这是因为搜索引擎会通过其他的方式来确定你的网站的内容和结构，例如通过外部链接、社交媒体等方式。因此，使用HTTP响应码404并不能完全阻止搜索引擎收录你的网站。

如果你确实需要阻止搜索引擎访问你的网站，你可以使用HTTP响应码403来明确地拒绝访问。但是，需要注意的是，即使使用HTTP响应码403，一些搜索引擎蜘蛛仍然可能会尝试绕过这种限制，因此需要采取其他的安全措施来确保你的网站的安全。

nginx 禁止ip

另一种禁止搜索引擎访问我们的网站的方法是禁止特定IP地址的访问。这个方法可以通过nginx的配置文件实现，例如：

deny 192.168.1.1;

这个例子禁止IP地址为192.168.1.1的访问我们的网站。我们可以在nginx的配置文件中添加多个deny指令，以禁止多个IP地址的访问。

nginx ngx_http_robotstxt_module

最后，nginx还提供了一个ngx_http_robotstxt_module模块，它可以用来生成robots.txt文件。这个模块可以自动生成robots.txt文件，或者从指定的文件中读取robots.txt内容。以下是一个例子：

location /robots.txt {
    alias /path/to/robots.txt;
}

这个例子告诉nginx从指定的文件中读取robots.txt内容，并将其作为网站的robots.txt文件。

结论

本文介绍了几种禁止搜索引擎收录网站的方法，包括robots.txt文件、Meta标签、X-Robots-Tag头、登录验证、nginx 禁止 http_user_agent 、nginx 禁止ip、nginx ngx_http_robotstxt_module等。每种方法都有其优缺点，我们应该根据自己的需要选择适合自己的方法。如果我们希望禁止搜索引擎收录整个网站，最好使用robots.txt文件或Meta标签；如果我们希望禁止某些特定的搜索引擎收录网站，最好使用X-Robots-Tag头；如果我们希望只允许授权用户访问网站内容，最好使用登录验证；如果我们希望禁止某些恶意的http_user_agent或IP地址访问网站，最好使用nginx的相关配置。