去年帮朋友抓一个二手书网站的爬虫库存数据，他想要的网站是“所有计算机类目下，价格低于30块、数据有货、爬虫且卖家信用分高于4.5的网站书名和链接”。听起来简单，数据但那个网站用了无限滚动加载，爬虫翻到第20页就给你弹验证码。网站我蹲了一下午，数据最后发现它其实有个隐藏的爬虫JSON接口，改一下请求头里的网站Referer就能直接拿到分页数据。这件事让我再次确认：爬虫的数据核心从来不是写代码，而是爬虫搞清楚数据到底藏在哪。

很多人一上来就打开Chrome，网站右键检查元素，数据看到HTML里有一堆<div class="book-item">就兴奋地开始写CSS选择器。然后跑起来发现抓到的全是空值。为什么？因为页面是前端渲染的。你看到的DOM是浏览器执行完JavaScript之后的结果，而requests库拿到的只是原始HTML骨架。这时候要么上Selenium/Playwright模拟浏览器，要么直接找XHR请求。后者快得多，也干净得多。打开开发者工具的Network面板，筛选Fetch/XHR，刷新页面，盯着那些返回JSON的请求看——通常数据就在里面，字段名还特别直白，比如price、stock、seller_score。

找到接口只是第一步。你得考虑频率。我试过用time.sleep(1)老老实实等一秒，结果抓了300条就被封IP。后来改成随机间隔0.5到2秒，再挂个免费的代理池，才勉强跑完两千条。别信那些“爬虫要快”的鬼话，对小型网站来说，慢就是稳。还有User-Agent，别老用默认的python-requests/2.28，改成常见的浏览器UA字符串，能省掉一半的403错误。

数据抓下来之后，清洗比抓取更烦人。比如价格字段，有的写“￥25.00”，有的写“25元”，还有的写“25.00元包邮”。你得写正则去匹配数字部分。库存状态更坑，有的显示“仅剩3件”，有的显示“有货”，有的干脆是空字符串——但空字符串到底代表没货还是没填？我当时的做法是，把所有空值标记为“未知”，然后人工抽查了50条，发现其中80%其实是没货。这种脏活累活，爬虫教程里很少提，但实际项目中占掉70%的时间。

法律边界也得心里有数。那个二手书网站的用户协议里明确写了“禁止使用自动化脚本批量获取数据”。我朋友要的数据量不大，两千条左右，而且他只用来做个人比价，不公开不商用。我帮他抓完之后，建议他把频率降到每天一次，每次不超过500条。如果你要抓的是公开的、无版权争议的数据，比如政府公开的空气质量指数，那相对安全。但要是抓电商价格、社交平台用户信息，最好先看看robots.txt，再想想会不会给对方服务器造成负担。别拿“技术无罪”当挡箭牌，写爬虫的人得自己判断边界。

最后说个反直觉的观察：很多网站的反爬策略其实很粗糙。它们只防住了那些用默认配置的初学者脚本。你只要把请求头改得像样一点，加个合理的延迟，再处理一下Cookie，就能绕过80%的限制。真正难搞的是那些用Cloudflare或者专门的反爬服务（比如Distil Networks）的站点，它们会检测鼠标轨迹、浏览器指纹。遇到这种，我一般直接放弃——有那功夫不如去找找有没有官方API，或者花钱买数据。时间比技术值钱。

(责任编辑：休闲)