百度蜘蛛

百度蜘蛛每次来我服务器，百度蜘蛛日志里都留下一串冷冰冰的百度蜘蛛IP。220.181.108.0/24，百度蜘蛛这个段我背得比自家门牌还熟。百度蜘蛛它不像Googlebot那样张扬，百度蜘蛛也不像Bingbot偶尔抽风，百度蜘蛛它安静、百度蜘蛛规律，百度蜘蛛像凌晨四点扫街的百度蜘蛛环卫工——你不注意它，但它天天来。百度蜘蛛

我第一次认真盯蜘蛛，百度蜘蛛是百度蜘蛛因为一个客户站点被K了。整站消失，百度蜘蛛连品牌词都搜不到。百度蜘蛛我翻了三天的百度蜘蛛日志，发现百度蜘蛛的抓取量从日均两千次掉到个位数。不是服务器封了它，也不是robots写错了，就是突然不来了。那种感觉像什么？你每天给邻居留门，突然有一天他不进来了，连个招呼都不打。

后来我养成了一个习惯：新站上线，先不急着提交sitemap，而是看蜘蛛什么时候自己摸过来。通常快的话几小时，慢的话三五天。它来的第一个请求往往是根目录的robots.txt，然后是首页，接着是栏目页。顺序很固定，像按图索骥。有一次我故意把首页链接藏在一个三层深的页面里，结果蜘蛛先抓了那个深层页，再顺着面包屑爬回首页。这说明什么？它不傻，它在判断权重流向。

百度蜘蛛对抓取速度的敏感度，比很多人想象的高。我做过对比：同一台服务器，A站响应时间200ms，B站800ms。蜘蛛在A站的抓取频次是B站的四倍。不是它偏心，是它算成本。你让一只蜘蛛等太久，它下次就不爱来了。这跟外卖骑手一个道理——你出餐慢，他就不接你的单。

还有个细节：百度蜘蛛的UA里带Baiduspider，但移动端和PC端是分开的。移动蜘蛛的UA里有Mobile字样，抓取策略也不同。PC蜘蛛喜欢抓正文，移动蜘蛛更关注适配标签和加载速度。我见过一个站，PC端排名很好，移动端死活上不去，查日志发现移动蜘蛛压根没抓几个页面。后来加了meta name="applicable-device" content="pc,mobile"，移动抓取量三天内翻了七倍。就这么简单，但你不看日志就永远不知道。

有人问，百度蜘蛛和站长平台里的“抓取诊断”是不是一回事？不是。工具是模拟，真蜘蛛是实战。模拟的可以告诉你返回码，但不会告诉你它下一次什么时候来、来多少、抓多深。我见过一个站，抓取诊断全绿，日志里蜘蛛却只抓首页。为什么？因为内链结构有问题，蜘蛛点进栏目页就进了死胡同。工具不报错，但蜘蛛用脚投票。

最近两年百度蜘蛛有个明显变化：对JS渲染的容忍度提高了。以前它基本不执行JS，现在会等一会儿，抓渲染后的DOM。但别高兴太早，它等的时间有限。我测试过一个纯JS输出的列表页，蜘蛛等了大概三秒，没等到内容就走了。三秒，这就是它的耐心阈值。所以该服务端渲染的还得服务端渲染，别跟蜘蛛玩心跳。

说到底，百度蜘蛛就是个老实巴交的爬虫。它不看你网站好不好看，不看你内容有没有深度，它只关心三件事：能不能进来、进来后顺不顺畅、下次还值不值得来。你把这三件事伺候好了，它自然天天来。伺候不好，它也不骂你，就是不来。不来，你就什么都没了。

我现在的习惯是每周导出一次蜘蛛日志，看三个数：总抓取量、抓取深度、返回码分布。这三个数比任何SEO工具都诚实。蜘蛛不说话，但日志里全是真话。