爬虫采集网站

去年帮朋友抓某二手平台的爬虫价格数据，目标很简单：监控十款热门相机镜头的采集成交价。写了个Python脚本，网站用requests加BeautifulSoup，爬虫跑了两天，采集拿到三千多条记录。网站第三天网站改版，爬虫class名全变了，采集脚本直接报废。网站这不是爬虫个例。爬虫这行，采集代码写完只是网站开始，维护才是爬虫真正的体力活。

很多人以为爬虫就是采集“下载网页、提取数据”，网站技术上确实如此。但实际跑起来，你会发现网站根本不欢迎你。最基础的拦截是User-Agent检测，默认的python-requests/2.x会被直接拒绝。加个浏览器UA头就能绕过，成本极低。再往上走，网站开始查请求频率。同一IP一秒钟发二十次请求，轻则返回429，重则封IP段。我试过用免费代理池，结果一半代理已经失效，另一半速度慢到不如手动复制粘贴。

真正让人头疼的是动态渲染。打开Chrome开发者工具，Network面板里XHR请求密密麻麻，商品价格藏在某个JSON接口里，接口参数还带加密签名。这时候BeautifulSoup完全没用，得上Selenium或者Playwright。但浏览器自动化开销大，开十个无头Chrome实例，内存直接吃满。后来改用逆向接口的方式，抓包分析出签名算法，用requests直接调API，速度提升了几十倍。代价是花了一整个周末读混淆过的JavaScript代码。

反爬策略里最隐蔽的是蜜罐陷阱。页面上有个隐藏的链接，正常用户看不见，爬虫顺着DOM树爬过去就会触发封禁。我中过一次招，IP被封了三天。后来学乖了，用lxml解析时先过滤掉display:none的元素。还有验证码，从简单的四位数字到极验的滑动拼图，破解成本越来越高。打码平台按次收费，复杂验证码一次两毛钱，量大了也是笔开销。

法律边界得说清楚。爬公开数据、不涉及个人隐私、不影响网站正常运行，通常没事。但绕过robots.txt、抓取用户手机号、高频请求导致服务器瘫痪，这些都可能踩线。去年有家公司爬某招聘网站简历数据，被判了不正当竞争，赔了上百万。技术本身中立，用在哪里、怎么用，决定了性质。

说回我那个相机镜头项目。网站改版后，我换了个思路：不再解析HTML，而是监听页面加载时的API调用。用Playwright拦截网络请求，直接拿JSON响应。代码量少了，稳定性反而高了。现在脚本每周跑一次，数据存进SQLite，价格波动超过5%就发邮件提醒。半年下来，帮我省了两千多块——在价格低点入手了两支镜头。

爬虫不是万能钥匙。有些网站用Canvas指纹、WebGL检测、行为分析来识别机器人，对抗成本远超数据价值。遇到这种，我会直接放弃，转而找公开数据集或者联系官方API。写爬虫之前先问自己：这个数据非抓不可吗？有没有更省事的替代方案？想清楚再动手，比闷头写代码重要得多。