用Python的网页requests库抓取豆瓣电影Top250，第一页返回的数据HTML里，电影名称藏在<span class="title">标签中。网页直接写soup.find_all('span',数据 class_='title')就能拿到25个片名。但如果你只抓这一个页面，网页拿到的数据数据永远停在第一页——豆瓣的分页参数是start=25，每次递增25。网页手动翻十页复制粘贴？数据那不如写个循环。

我最初学爬虫时犯过一个蠢错误：用requests.get()拿到页面后，网页直接拿response.text去匹配中文。数据结果全是网页乱码。后来才明白，数据豆瓣返回的网页编码声明在HTTP头里是utf-8，但requests有时候会猜成ISO-8859-1。数据加一行response.encoding = 'utf-8'就解决了。网页这种坑不踩一次，光看教程根本记不住。

真正开始批量抓取时，第一个拦路虎是反爬。豆瓣对频繁请求很敏感。我试过不加延时连续请求十页，第五页开始返回418——一个“I'm a teapot”的状态码，明摆着告诉你“我知道你在爬”。解决办法也简单：time.sleep(2)，每页停两秒。别嫌慢，200多部电影总共十页，二十秒的事。比起被封IP后换代理的麻烦，这点等待根本不算什么。

解析HTML才是体力活。BeautifulSoup用起来舒服，但遇到嵌套复杂的结构容易找错节点。比如要抓每部电影的评分，<span class="rating_num">直接能拿到。但抓导演和主演时，信息全挤在一个<p class="">里，文本长这样：“导演: 弗兰克·德拉邦特 主演: 蒂姆·罗宾斯 / 摩根·弗里曼”。没有单独的标签包裹。这时候正则表达式比BeautifulSoup更顺手：re.findall(r'导演: (.*?) 主演', text)，一行搞定。工具没有优劣，看场景切换。

数据存下来也有讲究。一开始我直接写CSV，结果电影名里带逗号，列全乱了。后来改用csv.writer，它会自动处理转义。再后来数据量大了，换成SQLite，一条INSERT语句搞定，还能用SQL做去重和排序。别小看存储这一步，格式选错了，后面清洗数据的时间比抓取还长。

有个细节值得说：豆瓣Top250的页面结构十年没大改，但2023年有一次小调整，把“评价数”从<span>里挪到了<div>里。我的旧脚本跑了一半报错，NoneType没有text属性。排查了半小时才发现是标签变了。爬虫就是这样，今天能跑的代码，明天可能就挂。所以写的时候尽量别硬编码标签路径，用find加class_属性比用find_all('div')[3]这种索引方式抗造得多。

最后说个真事。我用这套代码抓了豆瓣Top250的全部数据，存进数据库，然后写了个脚本按年份统计各国电影数量。结果发现1994年是个高峰——《肖申克的救赎》《阿甘正传》《这个杀手不太冷》全挤在那一年。这种洞察，手动翻网页是永远看不出来的。爬虫的价值不在于“抓到数据”，而在于“抓完之后你能问出什么问题”。

代码不长，核心就三块：请求、解析、存储。但每一块都有坑。坑踩多了，自然就知道怎么绕。别指望一次写对，先跑通一页，再改循环，再加延时，再换存储。迭代着来，比对着教程抄一遍强得多。