扒网站的工具

去年冬天，扒网我帮朋友查一个电商店铺的工具底细。对方发来一个链接，扒网页面做得像模像样，工具但朋友说这店刚开两周，扒网销量却显示已售十万件。工具我没急着看商品，扒网先扒了它的工具网站。

扒网站这事，扒网说穿了就是工具绕过前端界面，直接跟服务器对话。扒网浏览器里看到的工具页面是装修好的客厅，扒站工具干的扒网是掀开地板看下面的水管走向。最糙的工具办法是右键“查看网页源代码”，但那只拿到静态的扒网HTML骨架。真正有用的东西藏在网络请求里——按F12打开开发者工具，切到Network标签，刷新页面，所有资源加载过程像流水账一样列出来。哪个接口返回了销量数字，哪个文件里藏着真实库存，一目了然。

我常用的工具是curl和wget。前者像一把手术刀，指定URL和请求头，服务器就把原始响应吐出来。有次查一个限时抢购页面，前端显示“已抢光”，但用curl加了个-H "X-Requested-With: XMLHttpRequest"，返回的JSON里库存字段赫然写着stock: 327。前端骗人，后端没骗。wget更适合批量抓取，递归下载整站，配合--mirror参数能把一个站点的目录结构完整搬下来。我见过有人用wget扒下一个倒闭论坛的全部帖子，二十万条数据，花了四小时。

Python的requests库是进阶选择。写几行代码，带上cookie和user-agent，循环翻页，把数据存进CSV。有个做市场调研的哥们，用requests加BeautifulSoup扒了某招聘网站三万条岗位信息，分析出“数据分析师”这个职位在半年内薪资降了12%。他跟我说，扒站最爽的时刻不是拿到数据，而是发现网站分页参数有个page_size字段，默认20，改成500后服务器照单全收。

但扒站不是没门槛。反爬机制像门卫，有的查IP频率，有的验浏览器指纹，还有的往页面里埋蜜罐链接——正常用户看不见，爬虫一碰就封。我吃过亏。有次用Scrapy扒一个房产网站，跑了两千条就被封IP，后来加了DOWNLOAD_DELAY和随机user-agent才绕过去。更狠的是Cloudflare的Turnstile验证，得用Selenium模拟真人点击，或者直接上Playwright。工具越强，对抗越深。

法律边界得拎清。扒公开数据做分析，多数情况没事；扒用户隐私、绕过付费墙、高频请求搞崩服务器，那就不是技术问题。我给自己定规矩：只扒登录后看不到的公开信息，请求间隔不低于两秒，不碰任何带auth或token的接口。去年有个同行扒某社交平台用户手机号，被判了侵犯公民个人信息罪，工具本身无罪，用的人得有数。

说到底，扒网站的工具像一把螺丝刀。有人用来修家具，有人用来撬锁。我拿它验证过二手交易平台上的虚假房源，也帮人查过竞争对手的定价策略。最朴素的经验是：浏览器里能看到的，未必是真的；服务器返回的原始数据，往往更诚实。下次你看到某个页面数字不对劲，不妨按个F12，或者开个终端敲一行curl。真相有时候就藏在那串没人看的JSON里。