网站源码爬取工具

去年帮一个做外贸的网站朋友查竞品价格，对方网站把产品报价藏在一个动态加载的源码表格里。右键查看源代码，工具什么都没有。网站F12打开开发者工具，源码Network面板一刷，工具数据接口明明白白躺在那儿。网站这件事让我意识到，源码很多人对“网站源码爬取”的工具理解还停留在“右键另存为”的阶段，而真正有用的网站工具链，早就不是源码那回事了。

先说最原始的工具场景。你打开一个网页，网站浏览器拿到的源码是服务器返回的HTML、CSS、工具JavaScript混在一起的东西。右键“查看网页源代码”看到的，是服务器吐出来的第一手内容。但现代网站大量用Ajax、React、Vue，你看到的源码里可能只有一个<div id="app"></div>，剩下的全靠JS在浏览器里跑出来。这时候光看源码没用，得看渲染后的DOM。Chrome DevTools的Elements面板就是干这个的，它展示的是浏览器解析、执行完JS之后的最终结构。我见过有人拿着requests库去抓某电商网站的商品列表，返回的HTML里一条商品都没有，还以为是反爬，其实是根本没搞懂动态渲染这回事。

真正做批量抓取，工具选择取决于目标网站的技术栈。静态页面用requests加BeautifulSoup就够了，轻量、快、代码好写。碰到SPA或者需要登录、翻页、鼠标悬停才出内容的，得上Selenium或者Playwright。Selenium老牌，社区大，但慢，吃内存。Playwright是微软后来推的，API更干净，自动等待机制做得舒服，我最近两年基本转过去了。还有一类专门针对特定CMS的工具，比如WordPress站点可以用WP REST API直接拿JSON，比解析HTML省事得多。

说个具体案例。有个做SEO的同行要批量分析几百个竞品站点的TDK（标题、描述、关键词）和H标签结构。他一开始用Selenium一个个开页面，跑了一晚上才搞完几十个，机器风扇响得像要起飞。后来换成httpx加selectolax，异步并发，同样的量二十分钟跑完。区别在于：大部分企业站的首页和栏目页其实是服务端渲染的，根本不需要浏览器引擎。他之前是拿大炮打蚊子，还嫌蚊子太多。

反爬这块绕不开。User-Agent轮换、代理IP池、请求频率控制，这些是基本功。但更关键的是看懂对方怎么识别你。有的站检查Referer，有的用Cloudflare的JS挑战，有的在你第一次请求时种一个Cookie，后续请求必须带上。我习惯先手动访问目标页面，用开发者工具把完整的请求头复制下来，再在代码里模拟。比盲目加代理有效得多。遇到Cloudflare五秒盾，cloudscraper这类库能应付一部分，再复杂就得上undetected-chromedriver或者直接买打码服务。

法律边界得提一句。爬公开数据、遵守robots.txt、不搞垮对方服务器，这是底线。但“公开”的定义很模糊。用户评论是公开的，用户手机号不是。价格是公开的，库存接口不是。我一般建议：只抓你肉眼在浏览器里能看到的内容，别去碰需要逆向JS才能拿到的私有API。真要做大规模采集，找法务过一遍，比事后补救便宜。

工具本身没有善恶。有人拿它做比价、做舆情监控、做学术研究，也有人拿去薅羊毛、撞库。技术控的乐趣在于把数据拿下来的过程，但拿下来之后怎么用，是另一个问题。我自己的原则很简单：抓可以，别给别人添麻烦，别给自己惹麻烦。

最新评论