爬虫技术

写爬虫最怕的爬虫技术不是网站反爬，而是爬虫技术自己把自己送进去。去年有个同行爬了某招聘网站的爬虫技术用户数据，转手卖给了猎头，爬虫技术结果被判了三年。爬虫技术这事在圈子里传开之后，爬虫技术大家写代码之前都会多问一句：这数据能爬吗？爬虫技术

爬虫本质上就是模拟浏览器发请求，把网页拿回来解析。爬虫技术听起来简单，爬虫技术但真动手写起来，爬虫技术坑一个接一个。爬虫技术我最早用 Python 的爬虫技术 requests 库爬一个图片站，代码不到二十行就跑通了，爬虫技术当时觉得这玩意儿也太容易了。爬虫技术结果第二天再跑，爬虫技术全部返回 403。网站加了 Referer 校验，我补上请求头，又能跑了。第三天又挂了，这回是 IP 被封。从那以后我才明白，爬虫是一场和网站之间的拉锯战。

最基础的反爬手段就是检查请求头。浏览器发请求会带一堆信息，User-Agent 告诉服务器我用的是什么浏览器，Referer 说明我是从哪个页面跳过来的。用代码发请求默认的 User-Agent 是 python-requests/2.x，等于直接告诉对方“我是爬虫”。改掉这个是最基本的操作，但很多人就是忘了。

再往上一个级别是频率限制。同一个 IP 一秒钟请求几十次，正常用户不可能这么干。网站要么封 IP，要么返回假数据。应对办法无非是加延时、用代理池。延时好说，time.sleep 就行，但延时太长效率低，太短又容易被识别。代理池就麻烦多了，免费的代理基本不能用，付费的质量也参差不齐。我搭过一个代理池，维护成本比写爬虫本身还高。

验证码是另一个绕不过去的坎。简单的图形验证码可以用 OCR 识别，但现在的网站越来越精，滑动验证、点选验证、行为验证，一个比一个难搞。打码平台能解决一部分问题，但每次都要花钱，量大了成本不低。有些团队直接上机器学习模型来识别，效果确实好，但那是另一个技术栈的事了。

JavaScript 渲染的页面又是另一回事。requests 拿回来的是原始 HTML，但很多网站的内容是 JS 动态加载的。这时候要么分析 XHR 请求直接拿接口数据，要么上 Selenium、Playwright 这类浏览器自动化工具。前者效率高但需要逆向分析，后者简单粗暴但慢得让人着急。我一般先看 Network 面板，能找到接口就绝不模拟浏览器。

法律风险这根线得时刻绷着。爬公开数据、遵守 robots.txt、不碰个人隐私、不影响网站正常运行，这几条底线守住了，一般不会出大问题。但“公开数据”的边界其实很模糊。用户发在社交平台上的内容算公开吗？法院的判例里，有的算，有的不算。这事没有一刀切的答案，得看具体场景。

技术本身没有对错，用在哪里才是关键。我认识一个做学术研究的，爬了几十万条公开论文摘要做文本分析，没人找他麻烦。也见过有人爬电商价格数据做比价工具，被平台发了律师函。区别不在于技术手段，而在于你拿数据去干什么。

写爬虫这些年，最大的体会是：能不用爬虫就不用。很多网站有开放的 API，优先用 API。没有 API 的，看看有没有 RSS 或者数据导出功能。实在不行再考虑爬，而且尽量克制，只拿需要的那部分数据。技术能力强不代表可以随便来，这条线得自己心里有数。