python网页解析

我用Python写爬虫三年，网页最烦的解析不是反爬，是网页解析网页。正则表达式写到怀疑人生，解析xpath查完就忘，网页直到我彻底搞懂了BeautifulSoup和lxml的解析配合逻辑——解析网页的本质就一句话：把HTML变成一棵树，然后在这棵树上找你要的网页节点。

拿个真实例子说事。解析上个月我想抓某招聘网站的网页职位信息，页面结构长这样：每个职位卡片是解析div.job-item，里面嵌套着标题、网页公司、解析薪资三个span。网页用正则硬抠？解析你得写三四个pattern去匹配各种边界情况，一个换行符差异就全盘崩溃。网页用BeautifulSoup呢？

from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') for item in soup.select('div.job-item'): title = item.find('span', class_='title').text company = item.find('span', class_='company').text salary = item.find('span', class_='salary').text 

十行代码搞定。关键区别在于，正则把HTML当纯文本处理，而解析器先读懂HTML的层级关系。浏览器能渲染的页面，解析器就能按DOM结构拆解——前提是你选对了解析器。

lxml和html.parser的差别，我踩过坑。html.parser是Python自带的，简单页面够用，但遇到畸形标签（比如缺闭合的<div>）会直接解析错位。lxml底层是C语言写的libxml2，容错性强得多，速度也快三到五倍。所以我的建议很直接：别犹豫，直接用lxml。代价是得多装一个包，但这点安装成本换来的稳定性绝对值。

再往深一层说，解析不是终点。很多新手卡在“拿到HTML却不知道怎么下手”，是因为没理解CSS选择器的力量。比如你想抓某个表格的第三行第二列，用soup.select('table tr:nth-of-type(3) td:nth-of-type(2)')，一行代码精准定位。这比遍历所有tr再判断索引要优雅得多。平时多翻CSS选择器文档，比背十个解析方法都管用。

有个反直觉的细节：解析动态网页时，requests拿到的HTML和浏览器看到的不一样。因为现代前端框架（React、Vue）都是JS渲染的，初始HTML里根本没有数据。这时候你要么找接口地址直接请求JSON（推荐），要么用selenium模拟浏览器。别指望BeautifulSoup能解析出JS生成的内容——它只认静态HTML。

最后说个性能优化的小技巧。如果你要批量解析上千个页面，别在循环里重复创建BeautifulSoup对象。把解析函数写好后，用concurrent.futures做多线程，每个线程独立解析不同页面。我实测过，四线程能把耗时压到单线程的30%。但注意别开太多线程，目标网站的反爬机制会把你IP封了——这又是另一个故事了。

解析网页这事，工具只是起点。真正的分水岭在于你能否理解页面结构背后的设计逻辑。当你看到一段HTML，脑子里能自动映射出DOM树的样子，知道该往哪个节点钻，那才算真正入了门。多拆几个不同结构的网站，比看十篇教程都管用。