python代码爬取网页内容

我写爬虫，代码多半是网页被逼的。上周想查一下某招聘网站上的内容Python岗位薪资分布，手动翻页翻到第12页就烦了，代码眼睛酸，网页手指还抽筋。内容于是代码花了二十分钟写了个小脚本，跑完三秒钟，网页数据全躺在CSV里了。内容那感觉，代码像雇了个二十四小时不睡觉的网页实习生。

爬网页这事儿，内容核心就三步：把网页拿下来，代码把要的网页东西挑出来，存好。内容Python里最常用的组合是requests加BeautifulSoup。requests负责敲门要数据，BeautifulSoup负责把HTML这堆乱麻捋顺。

先看最简单的写法。拿豆瓣电影Top250开刀，这个页面结构规整，适合练手。代码短得有点寒碜：

import requests from bs4 import BeautifulSoup url = "https://movie.douban.com/top250" headers = { "User-Agent": "Mozilla/5.0"} resp = requests.get(url, headers=headers) soup = BeautifulSoup(resp.text, "html.parser") for item in soup.select(".hd a"): print(item.span.text) 

就这么几行，电影名全出来了。注意那个headers参数，不加的话豆瓣直接甩你一个403，人家服务器不傻，一看你是陌生爬虫，连门都不让进。这年头，不带身份标识的请求，跟裸奔差不多。

挑数据的时候，BeautifulSoup的select方法相当好用，里面写CSS选择器。.hd a意思就是找class为hd的元素里的a标签。你要是不会CSS选择器，用find_all也行，就是写起来啰嗦点。我一开始老记不住这些语法，后来发现直接复制浏览器开发者工具里的选择器，比自己瞎猜快得多。

不过，静态页面只是开胃菜。现在好多网站内容都是JavaScript动态加载的，你直接requests拿回来的HTML，里面全是空壳子。这时候就得换工具，Selenium或者Playwright。这俩是模拟真实浏览器操作，能执行JS，等页面渲染完再抓数据。代价是慢，而且吃内存，跑起来风扇呼呼转。

我踩过一个坑。某次爬一个新闻网站，requests死活拿不到正文，后来用Selenium打开一看，好家伙，页面先加载个假内容，等两秒才换真的。这种反爬手段叫延迟渲染，专门治你这种急性子。后来我在代码里加了个time.sleep(2)，问题就解决了。说白了，爬虫有时候就是跟网站管理员斗智斗勇，你出招我拆招。

存数据这步，小打小闹就写进CSV，用csv模块几行搞定。数据量大了，还是得进数据库。我习惯用SQLite，Python内置支持，不用额外装服务，文件型数据库，搬着走都方便。

写爬虫最忌讳贪心。你一小时请求个上千次，对方服务器扛不住，你的IP也离被封不远了。我一般会在循环里加个time.sleep(1)，慢是慢点，但稳。爬虫这行当，细水长流比一次性捞完强。

哦对了，robots.txt这东西，最好看一眼。虽然它没法律效力，但算是个不成文的规矩。人家网站明确写了不让爬的路径，你就别硬闯。真需要数据，有些网站有公开API，用那个合法又省事。我见过不少新手，放着现成的API不用，非得跟人网页死磕，最后被反爬机制整得怀疑人生。

说到底，爬虫就是个工具，跟螺丝刀差不多。用得好，能帮你省下大把重复劳动时间；用歪了，那就得吃官司。这两年因为爬虫被抓的案例不少，别为了一点数据把自己搭进去。我的原则是：公开数据随便爬，登录后才能看的内容，先掂量掂量再动手。

最后说个实在的。真遇到复杂的页面，别硬啃，先右键查看源代码，看看数据是不是藏在某个JSON接口里。很多网站前端展示的数据，后端都有对应的接口直接返回结构化数据，你只要找到那个接口的URL，requests直接请求，连HTML解析都省了。这个方法我用了无数次，屡试不爽。