上周我需要抓取一个电商网站的免费商品价格，用来做比价分析。网页打开浏览器控制台，数据敲了几行代码，工具突然想到一个问题：大多数人根本不知道，免费浏览器本身就自带数据抓取功能，网页而且完全免费。数据

打开任何一个网页，工具按下F12，免费切换到Console面板，网页输入这样一行代码：

document.querySelectorAll('h2').forEach(el => console.log(el.textContent))

页面上所有二级标题的数据文字就全部打印出来了。这就是工具最基础的网页数据抓取——不需要安装任何软件，不需要付费订阅，免费浏览器就是网页你的工具。

Python + BeautifulSoup：入门首选

如果你需要批量处理，数据比如抓取50个页面的数据，手动敲控制台就不现实了。这时候Python的BeautifulSoup库是最省心的选择。安装只需要一行pip命令，写个循环就能把整站的文章标题、发布时间、作者全部拉下来。

我去年帮一个做自媒体的朋友抓取竞品账号的推文数据，用requests发请求，BeautifulSoup解析HTML，整个脚本不到40行。跑一晚上，3000多条数据整整齐齐躺在CSV文件里。他之前找外包报价800块，其实自己花两小时学一下就能搞定。

BeautifulSoup的好处是容错性强。网页HTML写得再烂，它也能想办法帮你把内容抠出来。坏处是速度偏慢，数据量特别大的时候会卡。

Scrapy：为大规模抓取而生

当你要抓几十万条数据的时候，BeautifulSoup的循环写法就力不从心了。Scrapy是专门为爬虫设计的框架，支持异步请求，能同时处理几百个页面的抓取任务。

它的学习曲线比BeautifulSoup陡一些，需要理解Spider、Item、Pipeline这些概念。但一旦上手，效率提升是数量级的。我见过有人用Scrapy抓取整个招聘网站的所有职位信息，一晚上跑完上百万条记录，机器都没怎么发热。

不过要提醒一句：Scrapy默认不遵守robots.txt，用之前最好手动配置一下，别给目标网站造成压力。

浏览器插件：零代码方案

不是每个人都会写代码。Chrome商店里有几款免费的抓取插件，比如Web Scraper和Data Miner。点几下鼠标，选中你要的数据区域，插件自动生成抓取规则，导出Excel。

我表弟做房产中介，每天要从三个网站上抄房源信息。我给他装了Web Scraper，教了十分钟，现在他每天早上到店第一件事就是点一下插件按钮，五分钟搞定以前两小时的工作量。

这类插件的局限也很明显：只能抓取当前页面能看到的内容，遇到需要登录或者翻页的复杂场景就歇菜了。

抓取之后的数据去哪儿

数据抓下来只是第一步。我习惯先用Pandas做清洗——去重、处理缺失值、统一日期格式。然后再丢进数据库或者直接生成图表。

有个坑要避开：很多网站的数据是动态加载的，你直接请求HTML拿到的可能是空壳。这时候要么分析XHR请求找到真正的数据接口，要么用Selenium模拟浏览器行为。后者更慢但更省心。

法律和道德的边界

技术本身不违法，但用技术做什么事情可能违法。抓取公开数据用于个人分析，一般没问题。绕过登录、破解验证码、高频请求导致对方服务器瘫痪——这些行为可能触犯法律。

我的原则很简单：只抓公开信息，控制请求频率，不碰个人隐私数据。每次写爬虫之前先看一眼网站的robots.txt和用户协议，花不了两分钟，但能省掉很多麻烦。

工具就在那里，免费、开源、触手可及。真正决定你能走多远的，是你怎么用它们。