2024年，爬虫程序员小李收到了一份来自某电商平台的技术律师函。他开发的网站违法爬虫工具，每天抓取该平台约5万条商品价格信息，数据用于自己的爬虫比价网站。对方索赔金额是技术500万元。小李懵了——他觉得自己只是网站违法“复制了公开数据”，怎么就成了侵权？数据

爬虫抓数据违法吗？答案不是简单的“是”或“否”。它取决于你抓了什么、爬虫怎么抓、技术抓了之后干什么。网站违法我见过太多技术人栽在“公开数据”这个幻觉上。数据你以为网页上能看到的爬虫信息就是公共资源？法律可不这么看。

先说最危险的技术红线：个人隐私和账号数据。2021年，网站违法某社交平台起诉一家数据公司，因为后者用爬虫抓取了用户手机号、位置信息，甚至私信内容。法院判决赔偿3000万元。这种案子没什么好争议的——抓隐私数据，基本等同于入室盗窃，只是工具从撬棍换成了Python脚本。

更常见的灰色地带是“公开信息”的抓取。比如商品价格、新闻标题、招聘信息。这类数据确实公开可见，但网站的使用条款往往明确禁止自动化抓取。2019年，领英诉hiQ案曾引发全球关注——美国法院一度裁定“公开数据可以抓”，但2022年第九巡回法院推翻了这一判决，认定hiQ违反合同条款。国内司法实践也趋同：平台对数据有“竞争性利益”，即使数据公开，你大规模抓取用于商业竞争，就可能构成不正当竞争。

我认识一个做市场调研的朋友，他的爬虫每天抓几十万条招聘信息，分析行业薪资趋势。他从来没收到过律师函，为什么？因为他只抓数据，不存储原始内容，只输出统计结果，而且抓取频率控制在“人类浏览速度”范围内。这成了他的护身符——既不影响网站正常运营，也不直接复制核心数据资产。

反过来看，那些被抓的案例几乎都有共同点：高频请求把服务器拖垮、抓取后原样展示在自家网站、或者抓了付费内容。2017年，大众点评诉百度地图案就是典型——百度抓取点评的商户评论，直接展示在地图App里。法院判百度赔偿300万，理由很直接：你抓取的是别人投入成本产生的核心资产，然后拿它来吸引自己的用户。

技术本身没有善恶，但使用技术的人有。爬虫就像一把刀——切菜和砍人用的力道完全不同。如果你只是个人学习，抓几百条数据做分析，没人会找你麻烦。但如果你把它变成商业模式，抓取量级达到几十万、几百万，还直接竞争原平台业务，那你就是在法律边缘试探。

我建议每个写爬虫的人先问自己三个问题：第一，这些数据是不是别人的核心资产？第二，我的抓取行为会不会影响对方网站的正常运营？第三，我抓来的数据是要直接复用，还是经过深度加工产生新价值？第三个问题尤其关键——如果你只是把A平台的内容搬到B平台，那不叫创新，叫搬运。法院对搬运工从不手软。

说到底，爬虫违法与否，本质是利益平衡的博弈。平台方投入成本生产数据，你免费拿走，这违背了商业公平。但法律也留了空间——如果数据经过你创造性加工，形成了不同价值，那就可能是合理使用。这中间的界限，需要法官根据个案的具体情况来画。而你的任务，是在动手前想清楚自己站在线的哪一边。

(责任编辑：知识)