打开浏览器开发者工具（F12），扒网站切到Network标签，扒网站刷新页面，扒网站几十个请求瞬间滚出来。扒网站你以为这就开始扒了？扒网站太天真。真正的扒网站扒站，第一步是扒网站看robots.txt，不是扒网站看代码。

我见过太多新手一上来就盯着网页源码找接口，扒网站结果被混淆过的扒网站JS折磨到怀疑人生。扒站的扒网站核心从来不是“看代码”，而是扒网站“找数据源”。数据源藏在三个地方：HTML静态文本、扒网站Ajax异步接口、扒网站或者是扒网站藏在JS变量里的JSON数据。你按F12的瞬间，就该判断出这个站属于哪一类。

拿个真实例子说。上个月我想扒一个旅游攻略站，页面里全是景点介绍。打开源码一看，好家伙，所有文字都在HTML里，干干净净。这种最省事，直接用requests拿HTML，再用lxml解析CSS选择器，十分钟搞定。但另一个电商比价站就恶心了，页面数据全是JS动态渲染，你直接请求HTML只能拿到个空壳子。这时候就得抓包看XHR请求，找到那个返回JSON的接口，模拟请求头里的Referer和User-Agent，才能拿到真实数据。

说到请求头，这是新手最容易栽坑的地方。有的站会校验Cookie，有的看Referer，有的干脆用WebSocket推送数据——遇到这种，你就得考虑用Selenium这类浏览器自动化工具，直接模拟真人操作。但别急着上Selenium，它慢得像蜗牛，而且容易被检测。先试试直接构造请求，加个Session保持会话，有时候换个User-Agent就能骗过去。

反爬手段也在升级。有些站会检测访问频率，你每秒请求超过三次，IP直接被封。破解办法无非是加代理池、加延时，或者用分布式抓取。但我觉得最阴险的是那种返回假数据的站——你扒了半天，数据全是随机生成的，白费力气。判断方法很简单：多刷新几次页面，看看数值是否变化，或者对比不同时间点的数据，如果完全对不上，基本就是假数据。

扒下来的数据怎么存？别用Excel，超过十万行就卡死。直接上SQLite或者MongoDB，前者轻量，后者灵活。我习惯先存成JSON文件，清洗完再导入数据库。清洗这步最花时间，要去重、处理缺失值、统一日期格式。有些字段看起来是数字，实际上是字符串，不转换后面分析全乱套。

最后说点实在的。扒站这事，技术占六成，耐心占四成。遇到加密参数别慌，先找找有没有现成的JS解密函数，用Node.js跑一下就行。实在破解不了，就换条路——APP的接口往往比网页端好扒，抓个安卓模拟器的包，说不定有意外惊喜。但记住，别碰需要登录才能看的数据，那涉及法律风险，犯不着为几百条数据惹麻烦。

工具这东西，顺手就行。requests、BeautifulSoup、Scrapy，哪个顺手用哪个。我见过有人用curl命令扒站，也见过用Postman手动点几千次请求的。别迷信框架，能抓到数据就是好猫。哦对了，扒之前记得看下网站的条款，个人学习用问题不大，商用就得掂量掂量了——这话不是我说的，是法律条文说的。