辛辛苦苦更新了半个月，网站百度搜索资源平台里抓取频次不低，不收可site指令一查，录原收录还是因线零。这种事我遇到过不下二十次，检测客户发来的网站截图里，蜘蛛日志明明有访问记录，不收但索引量纹丝不动。录原问题出在哪？因线大概率不是内容质量，而是检测技术细节卡住了。

先看最隐蔽的网站一个坑：robots.txt 写错一行，整站白干。不收有个做机械配件的录原外贸站，技术员在 robots.txt 里写了 Disallow: /*?因线*，本意是检测屏蔽筛选参数，结果把带问号的动态页面全挡了。产品详情页全是 product.php?id=123 这种结构，蜘蛛一只都进不来。更冤的是，这文件放在根目录，站长自己用浏览器访问一切正常，压根想不到去检查。

检测方法很简单。浏览器直接打开 你的域名/robots.txt，逐行看有没有误伤。重点盯 Disallow: / 这种全站屏蔽，以及带通配符的规则。百度搜索资源平台的 robots 检测工具能模拟蜘蛛抓取，比人眼靠谱。

接着查 meta robots 标签。有些 CMS 默认给所有页面加了 noindex,nofollow，尤其是从测试站迁移过来的。页面源代码里搜 noindex，有就删。还有个变种：HTTP 头里的 X-Robots-Tag，这个在页面源码里看不见，得用 curl 命令查。终端敲 curl -I 你的网址，返回头里如果有 X-Robots-Tag: noindex，服务器配置得改。

服务器状态码是另一个重灾区。百度蜘蛛对 5xx 错误容忍度极低。有个客户用廉价虚拟主机，蜘蛛一来就 503，日志里全是 Service Unavailable。换了独立服务器后，三天内收录从 0 跳到 400 多。检测时用 curl -I 看返回码，200 正常，301 要跟对目标地址，302 临时跳转尽量别用，403 和 404 直接放弃抓取。

网站结构太深也致命。首页到详情页超过四层，蜘蛛爬行预算耗光在半路上。有个做本地生活的站，频道页下面套了地区页、分类页、列表页、详情页，五层起步。百度蜘蛛每天只爬几百个链接，全浪费在中间层。后来把详情页 URL 改成 /item/123.html 直接挂首页推荐位，收录量一周翻倍。

内容重复不是指抄袭，站内大量相似页面照样被过滤。电商站不同颜色、尺寸的同一款产品，如果标题和描述只差一个词，百度只收一个版本。用 site:域名 查收录，发现全是列表页，详情页一个没有，基本就是这个问题。解决办法：要么合并页面，要么用 canonical 标签指定主版本。

外链质量比数量重要得多。新站买了几百条论坛签名外链，全是 nofollow 和垃圾站，百度直接判定作弊。有个做烘焙教程的博客，只在一个美食论坛的精华帖里留了链接，那个帖子被大量转载，三个月后域名权重上来，新文章当天收录。外链检测看引蜘蛛的域名是否被百度信任，用 site:外链域名 查对方收录情况，自己都不收录的站，别指望它给你传递权重。

最后说个反直觉的：服务器日志里蜘蛛抓取频繁，不代表页面被索引。抓取是爬虫来下载页面，索引是经过质量评估后存入数据库。抓取多但索引零，重点查内容质量、页面加载速度、移动端适配。百度移动端优先索引后，PC 端正常但移动端排版错乱的页面，收录率断崖下跌。用百度搜索资源平台的移动适配工具测一下，比猜来猜去强。

在线检测工具推荐组合使用：百度搜索资源平台的抓取诊断看实时返回码，site 指令看索引量，日志分析工具看蜘蛛行为路径。别只盯着一个指标，收录问题往往是三四个小毛病叠加的结果。改完一处等一周，没变化再查下一处，频繁改动反而让蜘蛛困惑。