搜索引擎爬虫撞见 <meta name="robots" content="noindex nofollow"> 这行代码时，会干脆利落地转身走开。不收录这个页面，也不沿着页面上的链接继续爬。听起来像个挺霸道的指令，但它其实就是一句话的事——写在 HTML 的 <head> 里，或者通过 HTTP 响应头 X-Robots-Tag 发出去，爬虫就照做。
我第一次注意到这个标签，是因为一个做外贸的朋友。他有个产品页，流量一直上不去，Google Search Console 里显示“已发现，但未编入索引”。折腾了半天，最后发现是模板文件里硬编码了一行 noindex。他完全不知道这回事，建站外包的人可能为了省事，把所有非核心页面全加了这玩意。一个标签，让几十个产品页在搜索结果里彻底消失。这玩意儿不报错，不弹窗，安安静静地就把事办了。
noindex 和 nofollow 各管各的
noindex 管的是“别把我的内容放进你的搜索结果里”。页面照样能被访问，用户输入网址能打开，只是搜索引擎的索引库里没有它。适合什么场景？后台管理页面、用户个人设置页、测试环境、重复内容的打印版本。这些页面被搜出来反而添乱。
nofollow 管的是“别顺着我页面上的链接爬过去”。它不阻止当前页面被索引，只是告诉爬虫：这些链接我不背书，别把权重传过去，也别去爬目标页面。这招常用来对付评论区垃圾链接。早些年 SEO 圈有个说法叫“PageRank 雕塑”，就是利用 nofollow 把权重集中到特定链接上。后来 Google 在 2019 年把 nofollow 改成“提示”而非指令，这套玩法基本失效了。
两个标签合在一起用，就是 noindex, nofollow——别收录我，也别爬我里面的链接。双保险。
一个容易踩的坑
有人想阻止页面被收录，第一反应是在 robots.txt 里写 Disallow。问题是，如果爬虫被 robots.txt 挡住了，它根本读不到页面上的 noindex 标签。结果就是：页面可能仍然出现在搜索结果里，只是没有描述文字——因为爬虫从别处拿到了链接，知道这个 URL 存在，但进不去看内容。正确做法是：允许爬虫访问页面，让它读到 noindex，然后它自己决定不收录。顺序反了，效果就反了。
还有个细节：noindex 需要页面能被爬虫抓到才生效。如果页面设了登录墙，爬虫看不到标签，那这个指令等于没写。Google 官方文档里专门提过这一点，但很多人不看文档。
什么时候该用，什么时候不该用
我见过有人把 noindex nofollow 当成万能挡箭牌，往所有不想让人看到的页面上一贴就完事。但如果你希望页面在站内搜索或者某些特定场景下还能被找到，noindex 会让它彻底从搜索引擎消失。分清楚“不想被搜到”和“不想被看到”——前者用 noindex，后者得用密码保护或者 401 状态码。
另外，nofollow 现在对 Google 来说只是“别把权重传过去”的暗示，不代表目标页面一定不被爬。Bing 的态度也类似。所以别指望靠它来彻底封锁链接爬取。真要封锁，得配合 robots.txt 或者服务器层面的规则。
说白了，noindex nofollow 是个精确工具，不是大锤。用对了，省心；用错了，页面怎么死的都不知道。检查网站模板、CMS 的全局设置、SEO 插件的默认值——这些地方最容易埋雷。上线前花五分钟看一眼源代码，比事后在 Search Console 里猜谜强得多。