我见过太多人学爬虫，网络第一反应是爬虫去装Scrapy或者Selenium，结果被各种配置折磨得怀疑人生。教程其实，网络一个最简单的爬虫爬虫，用Python自带的教程urllib就能跑通。你看这段代码，网络三行就能把网页源码抓下来：

import urllib.request response = urllib.request.urlopen('https://example.com') print(response.read())

别急着笑它简陋。爬虫爬虫的教程本质就是“请求—响应—解析”三步走。urllib就是网络那个最朴素的快递员，你给它地址，爬虫它把包裹原封不动搬回来。教程至于包裹里有什么，网络那是爬虫你拆开之后的事。很多人一上来就追求高性能框架，教程反而把最核心的HTTP原理给忽略了。

等你用urllib抓了几个页面，很快就会撞上一堵墙——网页返回的是一堆HTML标签，你要的数据像藏在草丛里的蘑菇。这时候正则表达式能救急，但写久了你会抓狂。比如想提取所有链接，那个匹配规则写出来跟天书似的：href="([^"]*)"。我当年用正则硬啃了半个月，直到遇见BeautifulSoup，才明白什么叫“杀鸡焉用牛刀”。

BeautifulSoup的用法直白到令人感动。你把HTML字符串扔给它，它自动解析成一棵标签树。想找所有段落？soup.find_all('p')。想拿某个div里的特定class？soup.select('div.content > p')。这就像从徒手拆快递箱，换成了带锯齿的开箱器——工具对了，效率自然上来。但记住，BeautifulSoup不负责抓取，它只做解析。你得配合requests库使用，后者比urllib更人性化，比如自动处理cookies、session，还能设置headers伪装浏览器。

说到伪装，这是爬虫和反爬虫斗智斗勇的第一道坎。我头一回爬某招聘网站，直接裸奔访问，结果对方返回一个“403 Forbidden”——人家服务器一眼就看出你不是真人浏览器。解决方案很粗暴：在请求头里加上User-Agent，把自己打扮成Chrome浏览器。更狠的网站会检查Referer、Cookie甚至浏览器指纹，这时候就得用Selenium这类工具，直接驱动一个真正的浏览器去操作。但Selenium慢得像老牛拉破车，爬个几百页能急死你。所以我的个人经验是：能静态抓的绝不上动态工具，能用requests解决的绝不引Selenium。

真正让爬虫从玩具变成工具的，是数据清洗。你费劲抓下来的数据往往带着标签、空格、换行符，乱七八糟像刚拆完的毛线团。这时候pandas库就是你的整理师。把解析结果塞进DataFrame，一行drop_duplicates()去重，一行str.strip()清理空白，数据立马服服帖帖。我上次爬一个电商网站的商品价格，原始数据里混着“¥1,299.00”和“1299元”这种不同格式，用正则统一清洗后，才敢丢进数据库做分析。

最后说点得罪人的大实话。爬虫这门手艺，七分在爬，三分在“不爬”。所谓“不爬”，是指你得先想清楚哪些数据值得抓。我见过有人写了个爬虫，日夜不停抓了某论坛十万条帖子，结果发现大部分是水帖，真正有用的信息用几个关键词过滤就能筛出来。爬虫不是越勤快越好，它更像钓鱼——选对鱼塘，备好饵料，比盲目甩杆重要得多。还有，别去碰需要登录才能看的付费内容，也别高频请求人家服务器，那是给自己找官司。技术从来都是双刃剑，用得好是数据助手，用歪了就是法律教材的活案例。

你的第一个爬虫，不必追求完美。抓个天气数据也好，爬个豆瓣书评也罢，先跑通一遍全流程——从请求到解析，从清洗到存储。等你亲手把那些散落在网页角落的数据装进自己的Excel表，那种“拆盲盒”的快感，比看十篇教程都来得真切。