网页爬虫工具

用Python写爬虫，网页十行代码就能抓下一个网页的爬虫标题。这事听起来简单，工具但真正跑起来，网页坑比想象的爬虫多。

我最早接触爬虫是工具帮朋友抓二手房数据。目标网站看起来干干净净，网页用requests发个GET请求，爬虫返回的工具HTML里却找不到任何房源信息。打开开发者工具一看，网页数据全是爬虫JavaScript动态渲染出来的。requests拿到的工具是空壳，浏览器里看到的网页完整DOM它根本拿不到。这就是爬虫新手最容易撞上的第一堵墙——静态请求和动态渲染的区别。

解决办法有两种。工具一是分析XHR请求，找到真正的数据接口，直接请求JSON。这招效率最高，但需要耐心翻Network面板，有时候接口还带加密参数，得逆向JS。二是上Selenium或Playwright，驱动真实浏览器渲染页面再提取内容。代价是慢，资源消耗大，但胜在直观。我后来抓一个政府公开网站，它的表格数据用Selenium都费劲，因为翻页按钮绑定了奇怪的JS事件，最后用Playwright的自动等待机制才搞定。

解析环节，BeautifulSoup和lxml是绕不开的。BeautifulSoup容错性强，HTML写得再烂它也能啃下来，但速度一般。lxml基于C库，快得多，XPath语法写起来也简洁。我习惯用lxml的XPath定位，比如//div[@class="price"]/text()，一行就能把价格抠出来。不过XPath有个烦人的地方，网站改版后路径全变，爬虫直接报废。CSS选择器相对稳定些，但遇到复杂嵌套结构，还是XPath更灵活。

反爬是另一个永恒话题。User-Agent轮换、IP代理池、请求频率控制，这些是基本功。有个做电商比价的朋友，他维护了一个两千个IP的代理池，每天轮着用。我自己的小项目没那么夸张，但至少会加个随机延时，模拟人类翻页的节奏。Cookie和Session的处理也关键，有些网站登录后才能看到数据，用requests.Session()保持会话状态，比每次重新登录省事得多。

数据存哪儿？小规模用CSV或SQLite就够了，几万条数据SQLite查询速度完全能接受。上百万条就得考虑MySQL或PostgreSQL。我见过有人用MongoDB存爬下来的半结构化数据，字段不固定的时候确实方便，但后期做聚合分析不如关系型数据库顺手。

法律边界得拎清楚。robots.txt不是摆设，它明确写了哪些目录不允许抓取。违反robots协议本身不直接违法，但可能构成不正当竞争。国内有过判例，抓取大众点评点评数据被判赔偿。我的原则是：公开数据、低频抓取、不涉及个人隐私、不用于商业竞争。满足这几条，基本安全。

最后说个实际体验。爬虫写多了会发现，最耗时间的不是写代码，而是维护。网站改版、接口变更、反爬升级，任何一个变动都能让爬虫罢工。所以我现在写爬虫会尽量把解析逻辑和请求逻辑分离，用配置文件管理URL规则和字段映射，改版时只需要调整配置，不用动核心代码。这习惯是被坑出来的——曾经一个爬虫跑了三个月，网站悄悄把class名从"price"改成"price-new"，等我发现时已经丢了半个月数据。