web爬虫

写爬虫最爽的一刻，是看着几千条数据在终端里刷刷往外滚。最崩溃的一刻，是第二天早上发现IP被封了，目标网站改版了，或者干脆收到了律师函。

我第一个像样的爬虫是抓某招聘网站的岗位信息。当时想得特别简单：requests发请求，BeautifulSoup解析HTML，把标题、薪资、公司名抠出来存进CSV。代码不到五十行，跑起来也像模像样。结果第二天再跑，返回的全是空白页。打开浏览器一看，人家加了动态渲染，关键数据全在JavaScript里。

这就是爬虫的第一课：你看到的网页，和代码看到的网页，往往不是同一个东西。

浏览器的“查看源代码”里找不到的数据，大概率是前端渲染出来的。解决办法有两个方向。用Selenium或者Playwright驱动真实浏览器，等页面加载完再抓，简单粗暴，但慢，吃内存。另一个方向是直接找后端接口，打开开发者工具的Network面板，筛选XHR请求，经常能发现返回JSON的API。直接请求那个接口，又快又干净。我后来抓某电商评论就走的这条路，接口返回的数据结构清晰得像专门给我准备的。

但找到接口只是开始。请求头里的User-Agent、Referer、Cookie，少一个都可能被拒。有些网站还会校验签名参数，时间戳加密串之类的，得逆向JS代码去还原算法。这活儿费脑子，但搞定的那一刻确实有成就感。

频率控制是另一个坑。新手容易犯的错是for循环里直接requests.get，一秒发几十个请求。对方服务器不封你封谁。time.sleep(1)是最低成本的礼貌，但光靠sleep也不够。我习惯用随机间隔，比如1到3秒之间随机，再配合代理IP池轮换。免费代理基本不能用，存活时间短，速度慢，还经常返回错误页面。付费代理也不省心，得自己写检测逻辑，定期剔除失效的。

说到法律风险，这个绕不开。爬公开数据、遵守robots.txt、不碰个人隐私、不搞垮对方服务器，这几条底线得守住。我认识一个做数据分析的朋友，抓某平台用户公开动态做情感分析，量不大，频率也低，一直没事。但另一个哥们儿用多线程狂扫某政府网站，直接被打电话警告了。技术本身中立，用法决定性质。

数据存下来之后，清洗往往比抓取更耗时。HTML标签残留、编码乱码、字段缺失、重复记录，这些都得处理。pandas的drop_duplicates和str.replace能解决大部分问题，但遇到结构不规则的页面，还是得写自定义解析逻辑。有次抓一个论坛帖子，楼层回复的嵌套结构用CSS选择器根本定位不准，最后上了XPath的轴定位才搞定。

现在我用爬虫更多是解决具体问题。比如比价、监控库存、汇总行业报告。工具也从requests+BeautifulSoup换到了httpx+parsel，异步请求快不少。偶尔遇到特别复杂的场景，还是得请出Playwright。没有银弹，只有合不合适。

如果你刚入门，别急着写框架。找一个你真正感兴趣的网站，从抓一个字段开始。跑通了，再加字段，再加翻页，再加存储。每一步都会遇到新问题，解决一个就长一点本事。爬虫这东西，看教程看不会，只有自己踩过坑，才知道水有多深。