爬虫抓取别人网站数据这事儿，采集我干过，人网也被人干过。站数去年我运营一个小型行业资讯站，采集每天手动复制粘贴竞品价格表，人网累得手腕发酸。站数后来写了段Python脚本，采集定时抓取对方公开页面，人网半小时搞定一周的站数工作量。对方没设防，采集数据裸奔在HTML里，人网像没关门的站数水果店，谁都能顺手拿个苹果。采集

但别高兴太早。人网那次抓取第三天，站数对方网站突然上了Cloudflare验证码，每次请求都弹“我不是机器人”。我脚本直接废掉，像钥匙插进被换过锁的房门。更麻烦的是，对方日志里可能已经记录了我的IP段，若较真起来，一封律师函就能让我吃不了兜着走。

技术层面，采集无非三件事：请求、解析、存储。请求得伪装User-Agent，控制频率，最好用代理IP轮换——别用那种免费池子，十个里有八个是蜜罐。解析优先选CSS选择器而非正则，后者改个class就全崩。存储别直接怼进数据库，先存JSON，清洗后再入库，否则脏数据能让你后续分析全瞎。

可真正要命的不是技术，是边界。我见过有人抓电商评论做情感分析，结果抓到了用户手机号——因为对方前端代码里埋了隐藏字段。这属于越界，哪怕你无心，法律上照样算“非法获取公民个人信息”。另一个朋友抓某招聘网站职位信息，频率太高导致对方服务器宕机两小时，最后被报警处理，罪名是“破坏计算机信息系统罪”。

所以我的经验是：只抓公开数据，不碰登录后内容；只抓业务所需字段，不存无关信息；控制请求速率，别把对方当免费CDN。还有条隐性规则——如果对方robots.txt里明确写了Disallow，最好绕开，虽然它没法律强制力，但真打官司时能作为你“明知故犯”的证据。

现在我做采集前，会先问自己三个问题：这数据是不是公开的？我抓取频率会不会影响对方正常服务？抓下来后用途是否合法？第三个问题最容易被忽略。有人抓竞品价格做自动比价，结果自己平台被反爬策略封了IP，还连累服务器被对方反向扫描漏洞。得不偿失。

说到底，采集他人数据像在公共泳池游泳——能游，但别尿尿，别扑腾水花溅到别人脸上。技术本身中立，用的人得有点自觉。我自己的工具链里，始终留着“君子协议”注释块：每抓一个域名，先查对方服务条款，再评估自身行为合理性。这行字救过我至少三次，比任何反爬绕过技巧都管用。