写爬虫被抓，编写这种标题你肯定见过。网络违法点进去一看，爬虫多半是编写爬了人家后台数据、绕过了登录验证、网络违法或者把人家服务器爬崩了。爬虫这跟“写爬虫”本身有什么关系？编写菜刀能切菜也能伤人，问题从来不在菜刀。网络违法

我去年帮一个做电商的爬虫朋友写了个小脚本，每天定时抓取某公开比价网站的编写商品价格，存进本地数据库，网络违法用来调整他自己的爬虫定价策略。跑了三个月，编写什么事没有。网络违法原因很简单：他抓的爬虫是完全公开的信息，没有模拟登录，没有破解加密参数，请求频率控制在每分钟五次以内，robots.txt里没禁止的路径他才碰。这四条底线守住了，法律风险基本为零。

很多人搞混了一件事：“网站不喜欢你爬”和“你爬了违法”是两码事。网站可以在用户协议里写“禁止爬虫”，但用户协议是民事合同，违反它最多算违约，不构成刑事犯罪。真正让爬虫入刑的，是《刑法》第285条——非法获取计算机信息系统数据罪。这条法律针对的是什么行为？是绕过技术防护措施，比如破解密码、伪造token、侵入后台数据库。你老老实实请求一个公开页面，服务器返回200，数据就在HTML里摆着，这跟浏览器做的事一模一样，谈不上“非法获取”。

有个案子我印象很深。2021年上海有个程序员，爬了某招聘网站的用户简历数据，被判了六个月。关键细节是他用了伪造的cookie去模拟已登录用户，绕过了网站的访问控制。法院认定这属于“采用技术手段绕过安全防护”。如果他只是爬公开的职位列表，结果会完全不同。另一个案例是杭州某公司爬取公开的工商注册信息，法院明确判决不构成不正当竞争，因为这些数据本身就是公开的。

那怎么判断自己踩没踩线？我的经验是看三个东西。第一，你要的数据是不是必须“登录后才能看”。如果是，别碰。第二，你有没有“破解”任何东西——验证码、加密参数、签名算法。有，就危险。第三，你的请求量会不会影响对方服务器正常运行。如果对方因为你爬而变慢甚至宕机，那就可能构成破坏计算机信息系统罪。这三条筛下来，大部分正常的公开数据采集项目都是安全的。

我自己写爬虫有个习惯：先打开Chrome的开发者工具，看Network面板。如果所有请求都是GET，返回的是HTML或JSON，没有加密参数，没有token验证，那我就放心写。如果发现请求头里有个sign字段，值是MD5加密的，那我就知道这个站点做了防护，要么放弃，要么走官方API。官方API通常要申请key，有频率限制，但那是人家授权你用的，完全合法。

还有一点很多人忽略：爬取的数据你怎么用，也影响合法性。你爬公开数据做学术研究、做比价工具、做舆情分析，问题不大。但你要是爬下来直接复制人家的内容建站，或者把用户评论打包出售，那就可能侵犯著作权或违反《个人信息保护法》。数据获取和数据使用是两个独立的法律问题，别混在一起。

说到底，Python爬虫就是个HTTP客户端，跟你的浏览器没有本质区别。浏览器能看的页面，你就能爬。浏览器需要登录才能看的页面，你模拟登录去爬，那就越界了。法律管的是“越界”，不是“爬”。

我写了八年爬虫，接过各种项目，从来没出过事。不是运气好，是每次动手前都会花十分钟想清楚：这个数据公不公开？我有没有绕过什么？频率会不会太高？想明白了再写代码，比事后找律师便宜得多。